跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

120条精选相关主题论文研究部署工程模型发布

最新精选

第 101–120 条 · 共 120 条
7月18日周四
  1. Hugging Face Blog62

    Hugging Face 发布 Docmatix:大规模文档视觉问答数据集

    Hugging Face 发布了 Docmatix,一个用于文档视觉问答(DocVQA)的大规模数据集,包含 240 万张图像和 950 万个问答对。使用该数据集对 Florence-2 模型进行微调,在 DocVQA 任务上性能提升了 20%。

    推荐理由:该数据集的发布有助于提升 DocVQA 模型的性能,对开源社区具有重要意义。

7月16日周二
  1. Hugging Face Blog85

    Hugging Face 发布 SmolLM 模型:高效且强大的小语言模型家族

    Hugging Face 发布了 SmolLM 模型,这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练,并在多个基准测试中表现出色。

    推荐理由:SmolLM 模型展示了小语言模型在高质量数据集上的高效训练,实现了性能和规模的强平衡,为读者提供了关于小语言模型性能的参考。

6月24日周一
  1. Hugging Face Blog62

    微软发布 Florence-2:前沿视觉语言模型

    微软发布 Florence-2 模型,具有小尺寸和强性能,支持多种计算机视觉和视觉语言任务。文章介绍了模型的结构、预训练细节和微调方法,并展示了模型在视觉问答任务上的实验结果。

    推荐理由:介绍了 Florence-2 模型的预训练细节和微调方法,对视觉问答任务进行了实验,展示了模型在下游任务上的潜力。

6月12日周三
  1. Hugging Face Blog65

    Hugging Face 推出 RLOO 训练器,为在线 RLHF 训练提供高效替代方案

    Hugging Face 推出 RLOO 训练器,旨在为在线 RLHF 训练提供更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

    推荐理由:RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。

5月24日周五
  1. Hugging Face Blog62

    CyberSecEval 2 - 大型语言模型网络安全风险全面评估框架

    Hugging Face 发布了 CyberSecEval 2 评测框架,用于评估大型语言模型(LLM)的网络安全风险,包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。

    推荐理由:CyberSecEval 2 评测框架为评估大型语言模型(LLM)的网络安全风险提供了全面的基准,揭示了行业改进和持续挑战。

4月16日周二
  1. Hugging Face Blog70

    Hugging Face 推出 LiveCodeBench 评测基准,全面评估代码 LLMs

    Hugging Face 推出 LiveCodeBench 评测基准,基于 LiveCodeBench,由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发,用于衡量 LLMs 的代码生成能力。

    推荐理由:LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估,有助于了解不同模型的能力和泛化能力。

3月20日周三
  1. Hugging Face Blog70

    Hugging Face 发布 Cosmopedia:大规模合成数据集用于预训练大型语言模型

    Hugging Face 发布了 Cosmopedia,一个用于预训练大型语言模型的大规模合成数据集。该数据集包含超过 30 亿个 token,旨在解决传统数据集的局限性,并推动合成数据在 AI 领域的应用。

    推荐理由:Cosmopedia 的发布为 LLM 预训练提供了新的数据集,有助于推动合成数据在 AI 领域的应用。

  2. Hugging Face Blog82

    GaLore:推动消费级硬件上的大型模型训练

    GaLore是一种新的工具,它通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。

    推荐理由:GaLore通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。

2月2日周五
  1. Hugging Face Blog65

    NPHardEval 推理能力排行榜:通过复杂度和动态更新评估大型语言模型

    NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。

    推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。

12月11日周一
  1. Hugging Face Blog82

    混合专家(MoE)模型详解

    本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。

    推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。

5月23日周二
  1. Hugging Face Blog70

    Hugging Face 安全审计确认 Safetensors 库安全,将成为默认格式

    Hugging Face 与 EleutherAI 和 Stability AI 合作,对 Safetensors 库进行了安全审计,确认其安全性,并计划将其作为默认格式。Safetensors 是一个用于保存和加载张量的库,具有安全、懒加载和快速加载等特性。

    推荐理由:Hugging Face 对 safetensors 库进行了安全审计,确认其安全性,并计划将其作为默认格式。读者可以了解其安全特性和应用场景。

2月3日周五
  1. Hugging Face Blog70

    深入探讨视觉-语言模型

    本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。

    推荐理由:本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。

12月15日周四
  1. Hugging Face Blog65

    Hugging Face探讨机器学习中的偏见问题

    Hugging Face团队探讨了机器学习中的偏见问题,并分享了他们的工具和方法,以帮助识别和减轻偏见,构建更公平、更安全的机器学习系统。

    推荐理由:文章深入探讨了机器学习中的偏见问题,并提供了Hugging Face团队开发的工具和方法,读者可以了解如何识别和减轻偏见,以及如何构建更公平、更安全的机器学习系统。

12月9日周五
11月30日周三
  1. Hugging Face Blog70

    VQ-Diffusion:一种基于离散潜在空间的图像生成模型

    VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型,它使用离散潜在空间进行噪声和去噪过程,为图像生成领域带来了新的研究方向。

    推荐理由:VQ-Diffusion 是一种新颖的图像生成模型,其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。

10月24日周一
  1. Hugging Face Blog62

    Hugging Face 发布评估语言模型偏见的工具 🤗 Evaluate

    Hugging Face 发布了 🤗 Evaluate 工具,用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法,帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。

    推荐理由:该工具提供了评估大型语言模型偏见的方法,有助于读者了解模型在偏见方面的表现。

10月19日周三
  1. Hugging Face Blog60

    MTEB:大规模文本嵌入基准发布

    MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务,目前汇总了超过 2000 个结果。MTEB 还支持多语言模型,并提供了开源代码库供用户提交模型和结果。

    推荐理由:MTEB 提供了一个全面的文本嵌入模型性能基准,读者可以了解不同模型在不同任务上的表现,从而选择最适合自己的模型。

10月3日周一
  1. Hugging Face Blog70

    Hugging Face 推出零样本评估工具

    Hugging Face 推出零样本评估工具,支持研究人员评估大型语言模型,无需编写代码,并支持开源生态和评测基准。

    推荐理由:该工具使研究人员能够轻松评估大型语言模型,并支持零样本评估,有助于推动开源生态和评测基准的发展。

5月5日周二
  1. OpenAI News62

    OpenAI 发布 AI 与效率分析报告

    OpenAI 发布报告显示,自 2012 年以来,训练神经网络所需的计算量每 16 个月减少一倍,算法进步带来的收益超过传统硬件效率提升。

    推荐理由:原文展示了 AI 训练效率的提升,读者可以了解算法进步对 AI 任务的贡献。

12月24日周四