跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

120条精选相关主题论文研究部署工程模型发布

最新精选

第 81–100 条 · 共 120 条
8月21日周四
8月14日周四
  1. Hugging Face Blog65

    Hugging Face 发布开源训练管道 Kimina-Prover-RL 用于形式化定理证明

    Hugging Face 发布了开源训练管道 Kimina-Prover-RL,用于 Lean 4 中的形式化定理证明,包括两个模型 AI-MO/Kimina-Prover-RL-1.7B 和 AI-MO/Kimina-Prover-RL-0.6B,均达到新的开源模型性能水平。

    推荐理由:Kimina-Prover-RL 是一个开源的训练管道,旨在训练大型语言模型解决 Lean 4 中的形式化证明目标,读者可以了解其结构和应用场景。

8月1日周五
7月8日周二
  1. Hugging Face Blog85

    Hugging Face 发布 SmolLM3:小型、多语言、长上下文推理模型

    Hugging Face 发布了 SmolLM3,一个具有 3B 参数的小型语言模型,支持多语言和长上下文推理。该模型在多个基准测试中表现出色,并提供了详细的工程细节和训练方法。

    推荐理由:SmolLM3 是一个开源的 3B 模型,具有多语言和长上下文推理能力,读者可以了解其性能和工程细节。

6月4日周三
  1. Hugging Face Blog62

    nanoVLM中KV Cache从零开始

    nanoVLM团队在nanoVLM仓库中实现了KV Caching,提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程,适用于所有自回归语言模型的生成。

    推荐理由:原文详细介绍了KV Caching在nanoVLM中的实现,读者可以学习到如何优化自回归语言模型的生成效率。

5月11日周日
4月16日周三
  1. Hugging Face Blog72

    HELMET:全面评估长上下文语言模型

    HELMET 是一个用于评估长上下文语言模型的综合基准,通过多样化的任务、可控的长度和复杂性以及可靠的评估方法,对 59 个 LCLMs 进行了评估,发现长上下文语言模型在复杂任务上仍有局限性。

    推荐理由:原文提出了 HELMET 评测框架,旨在评估长上下文语言模型,读者可以了解其在不同任务上的表现和局限性。

3月12日周三
  1. Hugging Face Blog85

    Google 发布 Gemma 3:全新多模态、多语言、长上下文开源大语言模型

    Google 发布了 Gemma 3,这是一个全新的多模态、多语言、长上下文开源大语言模型。Gemma 3 模型系列从 1B 到 27B 参数不等,支持 140 多种语言,并具有处理图像和文本的能力。

    推荐理由:Gemma 3 的发布标志着 Google 在多模态、多语言大语言模型领域的最新进展,其强大的功能和开放性为读者提供了了解和评估该模型的机会。

2月14日周五
  1. Hugging Face Blog70

    Hugging Face 修复 Open LLM 排行榜的数学验证问题

    Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的所有模型,解决了之前评估中的问题,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

    推荐理由:Math-Verify 的引入显著提高了 Open LLM Leaderboard 评估的准确性和公平性,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

2月11日周二
  1. Hugging Face Blog72

    OpenR1-Math-220k:大规模数学推理数据集发布

    Hugging Face 发布了 OpenR1-Math-220k,一个用于数学推理的大规模数据集,包含 220k 个问题及其推理过程,旨在为推理模型训练提供高质量数据。

    推荐理由:OpenR1-Math-220k 数据集的发布为数学推理研究提供了高质量的数据资源,读者可以了解其构建方法和在推理模型训练中的应用。

2月2日周日
  1. Hugging Face Blog70

    Open-R1项目更新:复现DeepSeek-R1的训练流程和合成数据

    Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,项目进展顺利,已成功复现Deepseek的MATH-500基准测试结果,并探讨了生成长响应的挑战和解决方案。

    推荐理由:Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,该项目进展值得关注,特别是其在推理和训练方面的成果。

1月28日周二
  1. Hugging Face Blog70

    Open-R1:DeepSeek-R1的完全开源复现

    DeepSeek发布了DeepSeek-R1推理模型及其训练方法,Open-R1项目旨在重建其数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

    推荐理由:Open-R1项目旨在重建DeepSeek-R1的数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

1月9日周四
  1. Hugging Face Blog60

    开源语言模型碳排放与性能分析:来自 Open LLM 排行榜的洞察

    Hugging Face 对 Open LLM 排行榜上的 3000 多个模型进行了碳排放评估,分析了模型推理过程中的碳排放,并探讨了社区微调模型在降低碳排放方面的优势。

    推荐理由:分析了开源语言模型在推理过程中的碳排放,揭示了社区微调和官方模型之间的差异,为模型创建者提供了性能与环保平衡的参考。

12月4日周三
12月3日周二
  1. Hugging Face Blog67

    Hugging Face 案例研究:利用 LLM 优化金融数据命名实体识别

    Hugging Face 案例研究:Hugging Face 与 Capital Fund Management 合作,利用大型语言模型和 Hugging Face 生态系统优化金融数据中的命名实体识别,通过 LLM 辅助标注和微调小型模型,提高了准确率并降低了运营成本。

    推荐理由:该案例展示了如何利用大型语言模型优化金融数据中的命名实体识别,为读者提供了实际应用中的性能和成本效益分析。

12月2日周一
  1. Hugging Face Blog70

    欧盟AI法案开源开发者指南发布

    欧盟AI法案正式生效,对AI开发和开源社区产生影响。Hugging Face发布了针对开源开发者的指南,解读法案要点,并提供合规工具。

    推荐理由:该指南为开源开发者提供了关于欧盟AI法案的详细解读,有助于理解其对开源AI系统的影响和合规要求。

10月24日周四
  1. Hugging Face Blog85

    Cohere 发布 Aya Expanse 模型:推动多语言性能前沿

    Cohere 发布了 Aya Expanse 模型家族,包括 8B 和 32B 参数模型,旨在解决 AI 领域多语言模型性能不足的问题。Aya Expanse 在多语言性能上取得了突破,并在多个评估中超越了其他模型。

    推荐理由:Aya Expanse 模型在多语言性能上取得了突破,为读者提供了评估多语言模型的新基准。

9月18日周三
8月8日周四
7月23日周二
  1. Hugging Face Blog85

    Hugging Face 发布 Llama 3.1 模型,支持多语言和长上下文

    Hugging Face 发布了 Llama 3.1 模型,包括 8B、70B 和 405B 参数的模型,支持多语言和长上下文,并引入了 Llama Guard 3 和 Prompt Guard,同时提供了多种集成和优化工具。

    推荐理由:Llama 3.1 的发布引入了多个新功能和模型,包括 8B、70B 和 405B 参数的模型,以及 Llama Guard 3 和 Prompt Guard,读者可以了解这些新功能和模型如何影响现有工作流。