NVIDIA 发布物理AI开发者GTC 2025公告:新开源模型和数据集
NVIDIA在GTC大会上发布了三款开源产品,包括新的世界基础模型Cosmos Transfer、物理AI数据集和用于通用人形机器人推理的开源模型NVIDIA Isaac GR00T N1,旨在加速物理AI的发展。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
NVIDIA在GTC大会上发布了三款开源产品,包括新的世界基础模型Cosmos Transfer、物理AI数据集和用于通用人形机器人推理的开源模型NVIDIA Isaac GR00T N1,旨在加速物理AI的发展。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 的 Xet 团队将第一个模型和数据集存储库从 LFS 迁移到 Xet 存储,标志着 Hugging Face 实现其 Hub 愿景的又一步,使 AI 构建者能够更有效地构建、迭代和协作大型模型和数据集。Xet 存储使用内容定义的块分割(CDC)来重复数据删除,在字节级别(约 64KB 的数据块)进行重复数据删除。与 LFS 相比,Xet 存储可以显著提高大文件传输的效率。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Mistral AI 发布 Mistral Small 3.1,这是一款基于 Mistral Small 3 的开源多模态模型,采用 Apache 2.0 许可证。
推荐理由:Mistral Small 3.1 以 Apache 2.0 协议开源,在保持轻量部署的同时提升了多模态与长文本能力,为端侧应用提供了高性价比选择。
Google 发布了 Gemma 3,这是一个全新的多模态、多语言、长上下文开源大语言模型。Gemma 3 模型系列从 1B 到 27B 参数不等,支持 140 多种语言,并具有处理图像和文本的能力。
推荐理由:Gemma 3 的发布标志着 Google 在多模态、多语言大语言模型领域的最新进展,其强大的功能和开放性为读者提供了了解和评估该模型的机会。
Hugging Face 发布了名为 L2D 的世界最大开源自动驾驶数据集,包含来自德国 30 个城市的 90+ TB 多模态数据,旨在训练基于自然语言指令的端到端模型。
推荐理由:L2D 数据集的发布为自动驾驶领域提供了大规模、多模态的数据集,有助于推动机器人 AI 的发展。
Hugging Face 推出使用 React Native 在手机上运行大型语言模型(LLM)的教程,以 DeepSeek R1 Distil Qwen 2.5 模型为例,指导开发者创建移动端聊天应用,实现本地交互。教程涵盖模型选择、环境搭建和应用开发,支持 Android 和 iOS 平台。
Hugging Face 与 JFrog 合作,将 JFrog 的扫描器集成到 Hugging Face Hub 平台,旨在提高模型安全性。JFrog 的扫描器可减少误报,并分析模型权重中的代码,以检测潜在恶意使用。所有公开模型存储库将自动进行扫描,无需用户操作。
Cohere 发布了 Aya Vision 多语言多模态模型家族,包括 8B 和 32B 参数的视觉语言模型 (VLMs),旨在解决 AI 领域的挑战,将多语言性能引入多模态模型。Aya Vision 基于 Aya Expanse 模型,并采用合成注释、多语言数据扩展和多模态模型合并等技术,在图像描述、视觉问答、文本生成和图像翻译等任务中表现出色。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Arize Phoenix 提供了一个集中平台,用于实时追踪、评估和调试智能体的决策。通过 Arize Phoenix,用户可以追踪智能体的内部工作流程,评估其性能,并确保其行为符合预期。此外,Arize Phoenix 还支持使用 OpenAI 的 GPT-4o 等大型语言模型来评估搜索工具的响应相关性。
Hugging Face与印度科学研究所和ARTPARK合作,开放了Vaani数据集,这是一个涵盖印度多种语言和方言的多模态数据集,旨在促进AI系统对印度多元语言的更好理解和应用。
推荐理由:原文介绍了Vaani数据集的开放和其在AI领域的应用潜力,读者可以了解其对语言模型和AI系统的影响。
Hugging Face 发布了 SmolVLM2,这是一个能够进行视频理解的新模型,旨在让视频理解在所有设备上变得可行。该模型提供了三种不同大小的版本,并支持 Python 和 Swift API。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Google 发布了新的 PaliGemma 2 Mix 智能体功能,包括三种不同规模和分辨率的模型,以及针对多种视觉语言任务的微调。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face Hub新增三大无服务器推理提供商:Hyperbolic、Nebius AI Studio和Novita,增强平台模型页面的推理能力。这些提供商已集成到客户端SDK中,支持多种模型,包括DeepSeek-R1和Flux.1等。用户可通过设置自定义API密钥、按偏好排序提供商等方式使用这些服务。
Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的所有模型,解决了之前评估中的问题,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。
推荐理由:Math-Verify 的引入显著提高了 Open LLM Leaderboard 评估的准确性和公平性,导致排行榜发生重大变动,许多模型在分数上显示出显著改进。
Hugging Face Hub 推出基于块的优化功能,通过将数据分块并聚合存储,显著提高了上传和下载速度,从而加速 AI 建模和协作过程。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 OpenR1-Math-220k,一个用于数学推理的大规模数据集,包含 220k 个问题及其推理过程,旨在为推理模型训练提供高质量数据。
推荐理由:OpenR1-Math-220k 数据集的发布为数学推理研究提供了高质量的数据资源,读者可以了解其构建方法和在推理模型训练中的应用。
OpenAI 发布 Deep Research 智能体功能,该系统可浏览网页并基于总结回答问题。Deep Research 由 LLM 和内部“智能体框架”组成,可指导 LLM 使用工具如网络搜索并按步骤组织其操作。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了由 Physical Intelligence 开发的 π0 和 π0-FAST,两款视觉-语言-动作(VLA)模型,旨在为通用机器人控制提供支持。这些模型在 Hugging Face LeRobot 仓库中可用,并展示了在复杂现实任务上的强大能力。π0-FAST 引入了新的 tokenization 方案,提高了效率和性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
DABStep 是由 Adyen 和 Hugging Face 共同构建的,用于评估最先进 LLM 和 AI 智能体能力的多步推理数据智能体基准。该基准包含 450 多个数据分析任务,旨在解决现实世界问题,并揭示了当前 AI 模型在解决复杂数据分析任务方面的巨大挑战。
推荐理由:DABstep 是一个针对多步推理的数据智能体基准,旨在评估和推进数据分析中的智能体工作流程。读者可以了解其设计、构建和评估结果,以及当前模型与有效解决复杂数据分析任务之间的差距。
Hugging Face发布了AI艺术工具新闻简报第1期,回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,包括开源模型、图像生成、视频生成、音频生成和文本生成等领域的进展。
推荐理由:本文回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,读者可以了解AI艺术领域的最新动态和未来方向。
DeepSeek AI 发布了 DeepSeek-R1 模型,并与 AWS 合作,简化了开发者部署和微调 DeepSeek R1 模型的过程。开发者可以通过 Hugging Face Inference Endpoints 或 Amazon SageMaker AI 在 AWS 上部署模型,并使用 Hugging Face Neuron Deep Learning AMI 进行微调。
Hugging Face 推出模型推理提供商集成,包括 fal、Replicate、Sambanova 和 Together AI,并已无缝集成到客户端 SDK 中,使探索各种模型的无服务器推理变得更加容易。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
smolagents 添加了视觉支持,使视觉语言模型在智能体管道中能够原生使用,解锁了在智能体中实现自主网页浏览等功能;通过两种方式传递图像给智能体,包括在启动时一次性传递图像列表以及在每个步骤中动态添加图像;使用 helium 和 selenium 等工具构建网页浏览智能体。
NVIDIA发布KVPress工具,旨在解决长上下文LLMs的内存问题,通过压缩KV Cache提高内存效率,并支持多种压缩算法。
推荐理由:原文介绍了KVPress工具,它能够有效压缩KV Cache,提高长上下文LLMs的内存效率,读者可以了解其工作原理和应用场景。
Hugging Face 发布了 SmolVLM-256M 和 SmolVLM-500M 模型,这是世界上参数量最小的视觉语言模型。新模型在保持高效能的同时,进一步缩小了模型尺寸,适用于资源受限的设备。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 与 FriendliAI 合作,将 FriendliAI 的推理基础设施集成到 Hugging Face Hub,简化并加速生成式 AI 模型的服务。FriendliAI 提供高性能、成本效益的推理基础设施,支持连续批处理、原生量化和最佳自动缩放技术。用户可以通过 Hugging Face Hub 直接部署模型,并使用 Friendli Suite 账户进行部署。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出的 Text Generation Inference (TGI) 现在支持多后端,包括 TRT-LLM 和 vLLM,为大型语言模型的部署提供了更多灵活性,用户可以根据建模、硬件和性能需求选择最佳后端,提高生产工作负载的性能。
推荐理由:TGI多后端支持功能为大型语言模型的部署提供了更多灵活性,有助于用户根据建模、硬件和性能需求选择最佳后端,提高生产工作负载的性能。
Hugging Face发布了两款新的静态嵌入模型,sentence-transformers/static-retrieval-mrl-en-v1用于英语检索,sentence-transformers/static-similarity-mrl-multilingual-v1用于多语言相似度任务。这些模型在CPU上的速度比常见的模型快100倍到400倍,同时达到了至少85%的性能。
推荐理由:原文介绍了两种新的静态嵌入模型,它们在CPU上的速度比现有模型快100倍到400倍,同时保持了大部分质量。读者可以据此判断这些模型将如何改变现有工作流。
Hugging Face 发布了多语言视觉文档检索模型 vdr-2b-multi-v1,这是目前最好的多语言嵌入模型,用于跨语言和领域的视觉文档检索。该模型基于 MrLight/dse-qwen2-2b-mrl-v1,并在一个包含 500k 高质量样本的多语言查询-图像对数据集上训练。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 对 Open LLM 排行榜上的 3000 多个模型进行了碳排放评估,分析了模型推理过程中的碳排放,并探讨了社区微调模型在降低碳排放方面的优势。
推荐理由:分析了开源语言模型在推理过程中的碳排放,揭示了社区微调和官方模型之间的差异,为模型创建者提供了性能与环保平衡的参考。
Hugging Face 推出 smolagents,一个简单的库,为语言模型解锁了智能体功能,支持代码智能体和工具调用智能体,并支持任何 LLM。
推荐理由:smolagents 是一个简单的库,为语言模型解锁了智能体功能,读者可以了解其如何改变现有工作流。
NVIDIA发布了LogitsProcessorZoo,这是一个强大的、模块化的logits处理器集合,旨在控制语言模型的生成过程,包括控制序列长度、强制使用关键短语或引导多选题答案等。
推荐理由:NVIDIA的LogitsProcessorZoo扩展了Hugging Face的Transformer库功能,提供了对语言模型生成过程的细粒度控制,有助于优化AI工作流程。
Hugging Face 发布了 Big Bench Audio 数据集,用于评估语音语言模型的推理能力,并对比了 GPT-4o 和 Gemini 1.5 系列模型在不同语音推理配置下的表现。
推荐理由:该研究评估了语音推理能力,揭示了文本推理和语音推理之间的性能差距,为语音智能体的发展提供了重要参考。
Hugging Face 推出 ModernBERT,这是一系列最先进的编码器模型,在速度和准确性方面都优于 BERT。ModernBERT 可作为任何类似 BERT 模型的插槽式替代品,包括基础(149M 参数)和大型(395M 参数)模型大小。
推荐理由:ModernBERT 在速度和准确性方面都优于 BERT,为各种编码器任务提供了新的标准,读者可以了解其性能和潜在应用。
Hugging Face 发布了 Bamba-9B 模型,该模型在推理效率方面比标准 Transformer 模型提升了 2.5 倍,并支持在 transformers、vLLM、TRL 和 llama.cpp 中使用。
推荐理由:原文介绍了 Bamba-9B 模型的性能和效率,读者可以了解其在推理效率方面的优势以及与其他模型的比较。
Technology Innovation Institute 发布了 Falcon3 模型家族,包括多个参数量小于 10 亿的解码器大型语言模型,强调科学、数学和代码能力。
推荐理由:Falcon3 模型家族的发布展示了其在科学、推理和通用知识能力方面的提升,读者可以了解其性能和潜力。
"Hugging Face 在 GCP 的 N2 和 C4 Xeon CPU 实例上对文本嵌入和文本生成进行了基准测试,结果显示 C4 在文本嵌入和文本生成方面比 N2 高 10 到 24 倍和 2.3 到 3.6 倍,同时 C4 的每小时价格是 N2 的 1.3 倍,表明 C4 在文本嵌入和文本生成方面具有 7 到 19 倍和 1.7 到 2.9 倍的 TCO 优势。"
Hugging Face 推出 Synthetic Data Generator,一款无需代码即可创建自定义数据集的应用。该工具支持文本分类和聊天数据集,通过简单的三步流程,用户可在几分钟内创建数据集和模型。此外,用户还可以通过 Argilla 和 Hugging Face Hub 进行数据集的探索和评估。
Hugging Face 社区发布 Apache 2.0 许可的文本到图像生成偏好数据集,包含不同模型家族和复杂度的文本到图像偏好对,数据集可在 Hugging Face Hub 和 GitHub 仓库找到。
Hugging Face 推出的 83 个开源模型现已可在 Amazon Bedrock 的 Bedrock Marketplace 上使用,支持 AWS 客户构建生成式 AI 应用。用户可通过 Bedrock Model Catalog 部署模型,如 Google Gemma 2 27B Instruct,并使用 Amazon Bedrock API 进行调用。