跳到正文

#数据/训练

今日 0 条
2月14日周五
  1. Hugging Face Blog70

    Hugging Face 修复 Open LLM 排行榜的数学验证问题

    Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的所有模型,解决了之前评估中的问题,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

    推荐理由:Math-Verify 的引入显著提高了 Open LLM Leaderboard 评估的准确性和公平性,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

2月12日周三
  1. Hugging Face Blog40

    Hugging Face 开发视频生成数据集工具,助力构建高质量视频数据集

    Hugging Face 推出视频生成数据集工具,包括视频下载、分割、预处理和过滤等功能,旨在帮助社区构建高质量视频数据集,用于微调视频生成模型。该工具支持使用yt-dlp下载视频,通过Video to Scenes脚本将长视频分割成短片段,并提供了多种过滤选项,如水印检测、美学评分、NSFW内容检测等。此外,还支持使用 Florence-2 和 Qwen2.5 等模型进行视频标注和OCR识别。

2月11日周二
  1. Hugging Face Blog72

    OpenR1-Math-220k:大规模数学推理数据集发布

    Hugging Face 发布了 OpenR1-Math-220k,一个用于数学推理的大规模数据集,包含 220k 个问题及其推理过程,旨在为推理模型训练提供高质量数据。

    推荐理由:OpenR1-Math-220k 数据集的发布为数学推理研究提供了高质量的数据资源,读者可以了解其构建方法和在推理模型训练中的应用。

2月2日周日
  1. Hugging Face Blog70

    Open-R1项目更新:复现DeepSeek-R1的训练流程和合成数据

    Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,项目进展顺利,已成功复现Deepseek的MATH-500基准测试结果,并探讨了生成长响应的挑战和解决方案。

    推荐理由:Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,该项目进展值得关注,特别是其在推理和训练方面的成果。

1月28日周二
  1. Hugging Face Blog70

    Open-R1:DeepSeek-R1的完全开源复现

    DeepSeek发布了DeepSeek-R1推理模型及其训练方法,Open-R1项目旨在重建其数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

    推荐理由:Open-R1项目旨在重建DeepSeek-R1的数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

12月9日周一
12月4日周三
12月3日周二
  1. Hugging Face Blog67

    Hugging Face 案例研究:利用 LLM 优化金融数据命名实体识别

    Hugging Face 案例研究:Hugging Face 与 Capital Fund Management 合作,利用大型语言模型和 Hugging Face 生态系统优化金融数据中的命名实体识别,通过 LLM 辅助标注和微调小型模型,提高了准确率并降低了运营成本。

    推荐理由:该案例展示了如何利用大型语言模型优化金融数据中的命名实体识别,为读者提供了实际应用中的性能和成本效益分析。

11月4日周一
10月24日周四
  1. Hugging Face Blog85

    Cohere 发布 Aya Expanse 模型:推动多语言性能前沿

    Cohere 发布了 Aya Expanse 模型家族,包括 8B 和 32B 参数模型,旨在解决 AI 领域多语言模型性能不足的问题。Aya Expanse 在多语言性能上取得了突破,并在多个评估中超越了其他模型。

    推荐理由:Aya Expanse 模型在多语言性能上取得了突破,为读者提供了评估多语言模型的新基准。

10月9日周三
9月18日周三
8月27日周二
8月8日周四
8月6日周二
  1. Hugging Face Blog40

    Hugging Face 推出 TextImage 数据增强技术,助力文档图像模型训练

    Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强技术,旨在提高文档图像模型训练效果。该技术通过同时增强图像和文本,确保文本和图像在训练过程中的互动,从而提升模型对文档图像的识别准确率。TextImage 可用于在图像上插入文本,生成合成数据,并支持多种文本增强方法,如随机删除、替换和插入停用词等。

7月25日周四
  1. Hugging Face Blog40

    LAVE:基于LLM的零样本VQA评估在Docmatix上的应用——我们是否还需要微调?

    Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估,发现微调模型在DocVQA上的表现良好,但在基准测试中得分较低。研究提出了LAVE(LLM-Assisted VQA Evaluation)评估指标,以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明,LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。

7月23日周二
  1. Hugging Face Blog85

    Hugging Face 发布 Llama 3.1 模型,支持多语言和长上下文

    Hugging Face 发布了 Llama 3.1 模型,包括 8B、70B 和 405B 参数的模型,支持多语言和长上下文,并引入了 Llama Guard 3 和 Prompt Guard,同时提供了多种集成和优化工具。

    推荐理由:Llama 3.1 的发布引入了多个新功能和模型,包括 8B、70B 和 405B 参数的模型,以及 Llama Guard 3 和 Prompt Guard,读者可以了解这些新功能和模型如何影响现有工作流。

7月18日周四
  1. Hugging Face Blog62

    Hugging Face 发布 Docmatix:大规模文档视觉问答数据集

    Hugging Face 发布了 Docmatix,一个用于文档视觉问答(DocVQA)的大规模数据集,包含 240 万张图像和 950 万个问答对。使用该数据集对 Florence-2 模型进行微调,在 DocVQA 任务上性能提升了 20%。

    推荐理由:该数据集的发布有助于提升 DocVQA 模型的性能,对开源社区具有重要意义。

7月16日周二
  1. Hugging Face Blog85

    Hugging Face 发布 SmolLM 模型:高效且强大的小语言模型家族

    Hugging Face 发布了 SmolLM 模型,这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练,并在多个基准测试中表现出色。

    推荐理由:SmolLM 模型展示了小语言模型在高质量数据集上的高效训练,实现了性能和规模的强平衡,为读者提供了关于小语言模型性能的参考。

7月10日周三
6月24日周一
  1. Hugging Face Blog62

    微软发布 Florence-2:前沿视觉语言模型

    微软发布 Florence-2 模型,具有小尺寸和强性能,支持多种计算机视觉和视觉语言任务。文章介绍了模型的结构、预训练细节和微调方法,并展示了模型在视觉问答任务上的实验结果。

    推荐理由:介绍了 Florence-2 模型的预训练细节和微调方法,对视觉问答任务进行了实验,展示了模型在下游任务上的潜力。

6月12日周三
  1. Hugging Face Blog65

    Hugging Face 推出 RLOO 训练器,为在线 RLHF 训练提供高效替代方案

    Hugging Face 推出 RLOO 训练器,旨在为在线 RLHF 训练提供更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

    推荐理由:RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

5月24日周五
  1. Hugging Face Blog62

    CyberSecEval 2 - 大型语言模型网络安全风险全面评估框架

    Hugging Face 发布了 CyberSecEval 2 评测框架,用于评估大型语言模型(LLM)的网络安全风险,包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。

    推荐理由:CyberSecEval 2 评测框架为评估大型语言模型(LLM)的网络安全风险提供了全面的基准,揭示了行业改进和持续挑战。

5月5日周日
4月16日周二
  1. Hugging Face Blog70

    Hugging Face 推出 LiveCodeBench 评测基准,全面评估代码 LLMs

    Hugging Face 推出 LiveCodeBench 评测基准,基于 LiveCodeBench,由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发,用于衡量 LLMs 的代码生成能力。

    推荐理由:LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估,有助于了解不同模型的能力和泛化能力。

4月4日周四
3月20日周三
  1. Hugging Face Blog70

    Hugging Face 发布 Cosmopedia:大规模合成数据集用于预训练大型语言模型

    Hugging Face 发布了 Cosmopedia,一个用于预训练大型语言模型的大规模合成数据集。该数据集包含超过 30 亿个 token,旨在解决传统数据集的局限性,并推动合成数据在 AI 领域的应用。

    推荐理由:Cosmopedia 的发布为 LLM 预训练提供了新的数据集,有助于推动合成数据在 AI 领域的应用。

  2. Hugging Face Blog82

    GaLore:推动消费级硬件上的大型模型训练

    GaLore是一种新的工具,它通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。

    推荐理由:GaLore通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。

2月2日周五
  1. Hugging Face Blog65

    NPHardEval 推理能力排行榜:通过复杂度和动态更新评估大型语言模型

    NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。

    推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。

1月19日周五
12月11日周一
  1. Hugging Face Blog82

    混合专家(MoE)模型详解

    本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。

    推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。

11月9日周四
10月25日周三
  1. Hugging Face Blog45

    Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具

    Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具,用户只需一行代码即可创建交互式可视化,识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入,深入了解数据段和模型失败模式。此外,Spotlight 还允许用户自定义数据检查工作流程,并找到相关的数据样本和聚类进行检查。

9月29日周五
9月26日周二
8月8日周二
6月19日周一
6月16日周五
6月7日周三
5月23日周二
  1. Hugging Face Blog42

    InstructPix2Pix:通过指令微调 Stable Diffusion 进行图像处理

    Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion,使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集,研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务,如卡通化、去雨和去噪。实验结果表明,这种方法能够有效地提高模型对特定图像编辑指令的执行能力。