跳到正文

#数据/训练

今日 0 条
8月14日周四
  1. Hugging Face Blog65

    Hugging Face 发布开源训练管道 Kimina-Prover-RL 用于形式化定理证明

    Hugging Face 发布了开源训练管道 Kimina-Prover-RL,用于 Lean 4 中的形式化定理证明,包括两个模型 AI-MO/Kimina-Prover-RL-1.7B 和 AI-MO/Kimina-Prover-RL-0.6B,均达到新的开源模型性能水平。

    推荐理由:Kimina-Prover-RL 是一个开源的训练管道,旨在训练大型语言模型解决 Lean 4 中的形式化证明目标,读者可以了解其结构和应用场景。

8月12日周二
8月1日周五
  1. Mistral AI38

    Mistral 通过 LoRA 微调 Pixtral-12B 提升卫星图像分类性能

    Mistral AI 展示利用 LoRA 技术对 Pixtral-12B 进行微调,显著提升了其在卫星图像场景分类任务中的表现。针对 Aerial Image Dataset 基准测试,基础模型在区分密集住宅等模糊类别时存在幻觉且精度不足,而经过领域适配的微调版本能更准确捕捉视觉细微差异。该方案证明了通过少量精选样本即可高效实现特定领域的模型优化,优于纯提示词工程方法。

7月25日周五
7月23日周三
7月8日周二
  1. Hugging Face Blog85

    Hugging Face 发布 SmolLM3:小型、多语言、长上下文推理模型

    Hugging Face 发布了 SmolLM3,一个具有 3B 参数的小型语言模型,支持多语言和长上下文推理。该模型在多个基准测试中表现出色,并提供了详细的工程细节和训练方法。

    推荐理由:SmolLM3 是一个开源的 3B 模型,具有多语言和长上下文推理能力,读者可以了解其性能和工程细节。

6月4日周三
  1. Hugging Face Blog62

    nanoVLM中KV Cache从零开始

    nanoVLM团队在nanoVLM仓库中实现了KV Caching,提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程,适用于所有自回归语言模型的生成。

    推荐理由:原文详细介绍了KV Caching在nanoVLM中的实现,读者可以学习到如何优化自回归语言模型的生成效率。

5月11日周日
4月16日周三
  1. Hugging Face Blog72

    HELMET:全面评估长上下文语言模型

    HELMET 是一个用于评估长上下文语言模型的综合基准,通过多样化的任务、可控的长度和复杂性以及可靠的评估方法,对 59 个 LCLMs 进行了评估,发现长上下文语言模型在复杂任务上仍有局限性。

    推荐理由:原文提出了 HELMET 评测框架,旨在评估长上下文语言模型,读者可以了解其在不同任务上的表现和局限性。

3月12日周三
  1. Hugging Face Blog85

    Google 发布 Gemma 3:全新多模态、多语言、长上下文开源大语言模型

    Google 发布了 Gemma 3,这是一个全新的多模态、多语言、长上下文开源大语言模型。Gemma 3 模型系列从 1B 到 27B 参数不等,支持 140 多种语言,并具有处理图像和文本的能力。

    推荐理由:Gemma 3 的发布标志着 Google 在多模态、多语言大语言模型领域的最新进展,其强大的功能和开放性为读者提供了了解和评估该模型的机会。

2月14日周五
  1. Hugging Face Blog70

    Hugging Face 修复 Open LLM 排行榜的数学验证问题

    Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的所有模型,解决了之前评估中的问题,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

    推荐理由:Math-Verify 的引入显著提高了 Open LLM Leaderboard 评估的准确性和公平性,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。

2月12日周三
  1. Hugging Face Blog40

    Hugging Face 开发视频生成数据集工具,助力构建高质量视频数据集

    Hugging Face 推出视频生成数据集工具,包括视频下载、分割、预处理和过滤等功能,旨在帮助社区构建高质量视频数据集,用于微调视频生成模型。该工具支持使用yt-dlp下载视频,通过Video to Scenes脚本将长视频分割成短片段,并提供了多种过滤选项,如水印检测、美学评分、NSFW内容检测等。此外,还支持使用 Florence-2 和 Qwen2.5 等模型进行视频标注和OCR识别。

2月11日周二
  1. Hugging Face Blog72

    OpenR1-Math-220k:大规模数学推理数据集发布

    Hugging Face 发布了 OpenR1-Math-220k,一个用于数学推理的大规模数据集,包含 220k 个问题及其推理过程,旨在为推理模型训练提供高质量数据。

    推荐理由:OpenR1-Math-220k 数据集的发布为数学推理研究提供了高质量的数据资源,读者可以了解其构建方法和在推理模型训练中的应用。

2月2日周日
  1. Hugging Face Blog70

    Open-R1项目更新:复现DeepSeek-R1的训练流程和合成数据

    Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,项目进展顺利,已成功复现Deepseek的MATH-500基准测试结果,并探讨了生成长响应的挑战和解决方案。

    推荐理由:Open-R1项目旨在复现DeepSeek-R1的训练流程和合成数据,该项目进展值得关注,特别是其在推理和训练方面的成果。

1月28日周二
  1. Hugging Face Blog70

    Open-R1:DeepSeek-R1的完全开源复现

    DeepSeek发布了DeepSeek-R1推理模型及其训练方法,Open-R1项目旨在重建其数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

    推荐理由:Open-R1项目旨在重建DeepSeek-R1的数据和训练流程,为开源社区提供透明度,并推动开放推理模型的发展。

1月9日周四
  1. Hugging Face Blog60

    开源语言模型碳排放与性能分析:来自 Open LLM 排行榜的洞察

    Hugging Face 对 Open LLM 排行榜上的 3000 多个模型进行了碳排放评估,分析了模型推理过程中的碳排放,并探讨了社区微调模型在降低碳排放方面的优势。

    推荐理由:分析了开源语言模型在推理过程中的碳排放,揭示了社区微调和官方模型之间的差异,为模型创建者提供了性能与环保平衡的参考。

12月9日周一
12月4日周三
12月3日周二
  1. Hugging Face Blog67

    Hugging Face 案例研究:利用 LLM 优化金融数据命名实体识别

    Hugging Face 案例研究:Hugging Face 与 Capital Fund Management 合作,利用大型语言模型和 Hugging Face 生态系统优化金融数据中的命名实体识别,通过 LLM 辅助标注和微调小型模型,提高了准确率并降低了运营成本。

    推荐理由:该案例展示了如何利用大型语言模型优化金融数据中的命名实体识别,为读者提供了实际应用中的性能和成本效益分析。

12月2日周一
  1. Hugging Face Blog70

    欧盟AI法案开源开发者指南发布

    欧盟AI法案正式生效,对AI开发和开源社区产生影响。Hugging Face发布了针对开源开发者的指南,解读法案要点,并提供合规工具。

    推荐理由:该指南为开源开发者提供了关于欧盟AI法案的详细解读,有助于理解其对开源AI系统的影响和合规要求。

11月4日周一
10月24日周四
  1. Hugging Face Blog85

    Cohere 发布 Aya Expanse 模型:推动多语言性能前沿

    Cohere 发布了 Aya Expanse 模型家族,包括 8B 和 32B 参数模型,旨在解决 AI 领域多语言模型性能不足的问题。Aya Expanse 在多语言性能上取得了突破,并在多个评估中超越了其他模型。

    推荐理由:Aya Expanse 模型在多语言性能上取得了突破,为读者提供了评估多语言模型的新基准。

10月9日周三
9月18日周三
8月27日周二
8月14日周三
8月8日周四
8月6日周二
  1. Hugging Face Blog40

    Hugging Face 推出 TextImage 数据增强技术,助力文档图像模型训练

    Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强技术,旨在提高文档图像模型训练效果。该技术通过同时增强图像和文本,确保文本和图像在训练过程中的互动,从而提升模型对文档图像的识别准确率。TextImage 可用于在图像上插入文本,生成合成数据,并支持多种文本增强方法,如随机删除、替换和插入停用词等。

7月25日周四
  1. Hugging Face Blog40

    LAVE:基于LLM的零样本VQA评估在Docmatix上的应用——我们是否还需要微调?

    Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估,发现微调模型在DocVQA上的表现良好,但在基准测试中得分较低。研究提出了LAVE(LLM-Assisted VQA Evaluation)评估指标,以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明,LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。

7月23日周二
  1. Hugging Face Blog85

    Hugging Face 发布 Llama 3.1 模型,支持多语言和长上下文

    Hugging Face 发布了 Llama 3.1 模型,包括 8B、70B 和 405B 参数的模型,支持多语言和长上下文,并引入了 Llama Guard 3 和 Prompt Guard,同时提供了多种集成和优化工具。

    推荐理由:Llama 3.1 的发布引入了多个新功能和模型,包括 8B、70B 和 405B 参数的模型,以及 Llama Guard 3 和 Prompt Guard,读者可以了解这些新功能和模型如何影响现有工作流。

7月18日周四
  1. Hugging Face Blog62

    Hugging Face 发布 Docmatix:大规模文档视觉问答数据集

    Hugging Face 发布了 Docmatix,一个用于文档视觉问答(DocVQA)的大规模数据集,包含 240 万张图像和 950 万个问答对。使用该数据集对 Florence-2 模型进行微调,在 DocVQA 任务上性能提升了 20%。

    推荐理由:该数据集的发布有助于提升 DocVQA 模型的性能,对开源社区具有重要意义。

7月16日周二
  1. Hugging Face Blog85

    Hugging Face 发布 SmolLM 模型:高效且强大的小语言模型家族

    Hugging Face 发布了 SmolLM 模型,这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练,并在多个基准测试中表现出色。

    推荐理由:SmolLM 模型展示了小语言模型在高质量数据集上的高效训练,实现了性能和规模的强平衡,为读者提供了关于小语言模型性能的参考。

7月10日周三
6月24日周一
  1. Hugging Face Blog62

    微软发布 Florence-2:前沿视觉语言模型

    微软发布 Florence-2 模型,具有小尺寸和强性能,支持多种计算机视觉和视觉语言任务。文章介绍了模型的结构、预训练细节和微调方法,并展示了模型在视觉问答任务上的实验结果。

    推荐理由:介绍了 Florence-2 模型的预训练细节和微调方法,对视觉问答任务进行了实验,展示了模型在下游任务上的潜力。

6月12日周三
  1. Hugging Face Blog65

    Hugging Face 推出 RLOO 训练器,为在线 RLHF 训练提供高效替代方案

    Hugging Face 推出 RLOO 训练器,旨在为在线 RLHF 训练提供更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

    推荐理由:RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

5月24日周五
  1. Hugging Face Blog62

    CyberSecEval 2 - 大型语言模型网络安全风险全面评估框架

    Hugging Face 发布了 CyberSecEval 2 评测框架,用于评估大型语言模型(LLM)的网络安全风险,包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。

    推荐理由:CyberSecEval 2 评测框架为评估大型语言模型(LLM)的网络安全风险提供了全面的基准,揭示了行业改进和持续挑战。

5月5日周日
4月16日周二
  1. Hugging Face Blog70

    Hugging Face 推出 LiveCodeBench 评测基准,全面评估代码 LLMs

    Hugging Face 推出 LiveCodeBench 评测基准,基于 LiveCodeBench,由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发,用于衡量 LLMs 的代码生成能力。

    推荐理由:LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估,有助于了解不同模型的能力和泛化能力。