NVIDIA 发布 Isaac GR00T N1.5 机器人技能微调工具
NVIDIA 发布了 Isaac GR00T N1.5,这是一个用于构建机器人基础模型和数据管道的研究和开发平台,支持使用 LeRobot SO-101 机械臂进行模型微调。
NVIDIA 发布了 Isaac GR00T N1.5,这是一个用于构建机器人基础模型和数据管道的研究和开发平台,支持使用 LeRobot SO-101 机械臂进行模型微调。
Hugging Face 与 NVIDIA 合作推出训练集群服务,旨在使大型 GPU 集群更容易为全球研究机构获取,以训练各个领域的未来基础模型。服务提供 GPU 集群的可访问性,并允许根据训练运行的时间付费。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 ScreenSuite,这是一个用于评估 GUI 代理性能的全面基准测试套件。它涵盖了 13 个基准测试,用于评估 GUI 代理的感知、定位、单步动作和多步代理能力。ScreenSuite 支持多种环境,包括桌面和移动设备,并提供自定义 Docker 容器以简化部署。
推荐理由:ScreenSuite 提供了一个全面的 GUI 代理评估套件,有助于评估 VLM 在多个代理能力方面的表现,读者可以据此了解 GUI 代理的最新进展和评估方法。
nanoVLM团队在nanoVLM仓库中实现了KV Caching,提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程,适用于所有自回归语言模型的生成。
推荐理由:原文详细介绍了KV Caching在nanoVLM中的实现,读者可以学习到如何优化自回归语言模型的生成效率。
Arm 架构的实时 AI 音频生成应用,基于 Stability AI 的 Stable Audio Open 模型,可在设备上直接运行,无需云端推理,支持 PyTorch 和 TorchAudio,与 Ableton Live 无缝协作,实现快速、高效的音频生成。
H Company 发布了 Holo1,一套用于深度网络 UI 理解和精确定位的开源 Action VLMs,以及 WebClick 多模态定位基准。Holo1 模型基于 Qwen2.5-VL 架构,与 Transformers 兼容。Surfer-H,一个基于 Holo1 的网络原生代理,能够像人类一样与浏览器交互。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
某产品发布新的智能体功能,给出了开放入口和主要能力变化。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
SmolVLA是一个紧凑型(450M)、开源的视觉-语言-动作模型,适用于机器人,可在消费级硬件上运行。该模型仅在兼容许可的开源社区共享数据集上预训练,包括Lerobot标签下的数据集。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了关于 CodeAgents 和结构化生成的研究,展示了其在多个基准测试中的优势,并讨论了其应用场景。
推荐理由:原文介绍了 CodeAgents 和结构化生成的新方法,读者可以了解其对现有工作流的影响。
用户在尝试使用 Qwen/Qwen2.5-0.5B-Instruct 和 DeepSpeed Zero3 进行 Liger 损失训练时遇到了形状不匹配的问题,这表明在模型训练过程中可能存在兼容性问题。
Dell Enterprise Hub 发布新版本,提供一系列模型和应用,支持在本地使用 Dell AI 服务器和 AI PC 构建人工智能。支持部署和训练 Meta Llama 4 Maverick、DeepSeek R1 和 Google Gemma 3 等模型。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 Falcon-H1 系列模型,包括 0.5B 到 34B 参数的六个开源模型,结合 Transformer 和 State Space Model 架构,提供高效性能。
推荐理由:Falcon-H1 系列模型在效率与性能方面进行了创新,读者可以了解其架构和数据策略,以及其在不同任务上的表现。
Falcon-Arabic 是一个 70 亿参数的语言模型,支持阿拉伯语、英语和其他语言。它在阿拉伯语语法、数学推理、复杂问题解决和阿拉伯方言理解方面表现出色。Falcon-Arabic 在阿拉伯语自然语言处理领域取得了突破性进展,为阿拉伯语社区带来了先进的语言理解和生成能力。
推荐理由:Falcon-Arabic 是首个针对阿拉伯语设计的语言模型,具有多语言能力,在阿拉伯语自然语言处理领域取得了突破性进展,对阿拉伯语社区具有重要意义。
nanoVLM是一个轻量级的工具包,允许用户使用纯PyTorch在Colab笔记本上启动视觉语言模型(VLM)的训练。该工具包基于Andrej Karpathy的nanoGPT,旨在帮助用户构建和训练能够理解图像和文本,并基于此生成文本的模型。
Hugging Face Diffusers 探索了多种量化后端,如 bitsandbytes、GGUF、torchao、Quanto 和 native FP8,以降低大型扩散模型的内存和计算资源需求,同时保持性能。通过实验,用户可以识别出不同量化版本的模型生成的图像,展示了量化技术在保持图像质量的同时显著降低内存消耗的优势。
微软与Hugging Face扩大合作,Azure AI Foundry新增10,000+ Hugging Face模型,支持文本、音频和图像等多种任务,并确保模型安全部署。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Falcon-Edge系列是Hugging Face发布的一系列强大的、通用的、可微调的语言模型,基于BitNet架构,以三进制格式提供。该系列模型通过预训练数据策略,在内部数据混合上进行了大约1.5Tera Tokens的预训练,并在Hugging Face leaderboard v2基准测试中取得了与同类模型相当甚至更好的性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Transformers库支持300+模型架构,与流行训练框架和推理引擎集成,提高模型可互操作性。
推荐理由:Transformers库成为Python生态系统中LLMs和VLMs的默认库,支持300+模型架构,并与其他流行训练框架和推理引擎集成,提高了模型的可互操作性。
Hugging Face 推出新的快速 Whisper 语音识别服务,性能比之前版本提高 8 倍,并允许用户通过 Hugging Face 平台部署强大的转录模型。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
推荐理由:本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
LeRobot 社区数据集旨在解决机器人数据收集和整理的挑战,通过开源和社区合作,促进机器人领域的数据共享和通用化。
推荐理由:本文探讨了机器人数据收集和整理的挑战,并介绍了 LeRobot 社区数据集,旨在促进机器人领域的数据共享和通用化。
英特尔发布了 AutoRound,一款用于 LLM 和 VLM 的先进量化工具,通过优化权重舍入和剪裁范围,实现低精度量化,同时保持高精度。
推荐理由:AutoRound 作为一款先进的量化工具,在保持高精度和效率的同时,支持多种模型和设备,对 LLM 和 VLM 的部署具有重要意义。
Hugging Face 开源了 PipelineRL,一种实验性的强化学习实现,旨在解决大规模语言模型强化学习中的推理吞吐量和在线策略数据收集之间的权衡问题。
推荐理由:原文介绍了 PipelineRL 的创新点和优势,读者可以了解其在强化学习领域的应用潜力。
Hugging Face发布Tiny Agents,一个基于MCP(模型上下文协议)的智能体,通过50行代码实现,简化了Agentic AI的开发。
推荐理由:原文介绍了如何使用MCP(模型上下文协议)构建智能体,读者可以了解如何简化Agentic AI的开发。
TNG 团队使用 Qwen2.5-VL-72B-Instruct 微调 olmOCR-7B-0225-preview 模型,使其能够从文档中提取包括头部和尾部在内的所有信息,适用于发票解析等商业场景。微调后的模型在 Hugging Face 上开源。
Hugging Face Blog 发表了关于优化大型语言模型(LLM)性能的文章,重点介绍了并发请求处理中的预填充和解码阶段,以及其对延迟、吞吐量和GPU资源利用率的影响。文章指出,预填充阶段可以并行处理输入标记,而解码阶段则需按顺序处理单个输出标记,这对交互式应用如聊天机器人至关重要。此外,文章还讨论了资源利用率和总吞吐量之间的关系。
HELMET 是一个用于评估长上下文语言模型的综合基准,通过多样化的任务、可控的长度和复杂性以及可靠的评估方法,对 59 个 LCLMs 进行了评估,发现长上下文语言模型在复杂任务上仍有局限性。
推荐理由:原文提出了 HELMET 评测框架,旨在评估长上下文语言模型,读者可以了解其在不同任务上的表现和局限性。
Cohere 模型在 Hugging Face Inference Providers 上提供,支持多种企业级应用,包括多语言支持、RAG 和工具使用。
推荐理由:Cohere 模型在 Hugging Face Inference Providers 上提供,支持多种企业级应用,包括多语言支持、RAG 和工具使用,读者可以了解其对企业工作流的影响。
Gradio 发布了 17 项新功能,包括通用 API 访问、交互式 API 记录器、服务器端渲染、自动队列管理、高性能流式传输、集成多页面应用支持、新的客户端函数执行。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 通过收购 Pollen Robotics 推出开源机器人,旨在让机器人技术更加开放、可负担和私密。首款机器人 Reachy 2 已开放预订,旨在为研究、教育和 AI 实验提供支持。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Protect AI 与 Hugging Face 合作,通过 Guardian 的扫描技术增强机器学习模型的安全性,已扫描 4.47 百万独特模型版本,识别 35.2 万不安全/可疑问题。
推荐理由:Protect AI 与 Hugging Face 的合作提升了机器学习模型的安全性,通过 Guardian 的扫描技术,为开发者提供了更全面的模型安全信息,有助于用户做出更明智的决策。
视觉萨拉丁马模型基于 Salamandra 大语言模型,扩展到图像和视频处理,通过融合视觉和文本模态,实现多模态理解。
推荐理由:Visual Salamandra 模型在多模态理解方面取得突破,结合视觉和文本模态,具有广泛的应用前景。
Hugging Face发布了阿拉伯语排行榜,包括阿拉伯指令遵循和AraGen的更新,旨在提升阿拉伯语AI模型的评估和性能。
推荐理由:该研究为阿拉伯语AI模型评估提供了新的基准和工具,对相关领域的研究和应用具有重要意义。
Hugging Face 与 Meta 合作发布了 Llama 4 Maverick 和 Llama 4 Scout 模型,这两个模型都是 MoE 架构,具有 17B 活跃参数,支持多模态输入。
推荐理由:原文介绍了 Llama 4 Maverick 和 Llama 4 Scout 的主要特性和能力,读者可以了解这些模型如何改变现有工作流。
Gradio 发布了 100 万用户里程碑,介绍了其发展历程和成功经验,包括专注于机器学习应用、快速迭代和最大化用户使用方式等。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
HuggingFace TGI 模型在处理大量并发请求时,通过引入高效请求队列策略优化性能。该策略包括使用非 FIFO 调度器实现公平调度,以及动态调整请求发送速率以保持后端队列长度,从而降低延迟并提高资源利用率。
Hugging Face 发布了新的秘密管理功能,通过迁移到 Infisical,实现了更高效、更安全的管理方式,提高了工程师的工作效率。
推荐理由:Hugging Face 通过迁移到 Infisical,展示了如何通过技术驱动、以工程为中心的方法在多个云平台上管理秘密,从而带来显著的好处。对于解决类似挑战,使用 Infisical 是一种更高效同时保持安全性的实用方式。当安全路径成为最容易的路径时,团队可以专注于构建创新产品而不是担心管理秘密。
Hugging Face 推出基于 Intel Gaudi 的 Text Generation Inference (TGI) 推理加速功能,支持 Gaudi 硬件,提供更多部署选项,并支持多种模型和高级功能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 Inference Endpoints 新版分析仪表盘,提供实时数据更新、自定义时间范围和自动刷新功能,以及副本生命周期视图,提升监控和调试体验。
Open R1 的 7B 参数变体在 LiveCodeBench 评测中优于 Claude 3.7 Sonnet 和 GPT-4o。本文介绍了如何使用 OlympicCoder 7B 和 LM Studio 在本地集成这些模型,并通过 VS Code 扩展实现代码补全、生成、解释、重构和测试等功能。OlympicCoder 专注于 CodeForces-CoTs 数据集,适合解决竞争性编码挑战。