DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2
DeepMind 发布了开源多模态嵌入模型 EmbeddingGemma 2，该模型基于 Gemma 4 架构，具有轻量级、高效能和开源的特点，适用于设备端的多模态嵌入。
推荐理由：EmbeddingGemma 2 是一款开源的多模态嵌入模型，具有轻量级和高效能的特点，适用于设备端的多模态嵌入。其发布为开发者提供了在设备端进行多模态搜索和检索的新工具，有助于保护数据隐私并减少延迟。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 1–13 条 · 共 13 条Google DeepMind精选AI 评分8585
Hugging Face Blog精选AI 评分7878 SkyPilot 集成 Hugging Face Storage 实现跨云零出口流量存储
SkyPilot 正式将 Hugging Face Storage 作为一等后端支持，允许用户通过 hf:// URL 和现有 HF_TOKEN 在任意云端集群挂载 Hub 上的模型和数据集。
推荐理由：原文给出了跨云调度与零出口流量存储的集成方案，读者可以据此判断它如何降低多云环境下的数据读取成本。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布在 Jobs 平台一键运行 vLLM 服务器的教程
Hugging Face 推出使用 `hf jobs run` 命令在 HF Jobs 基础设施上快速部署 vLLM 服务器并获取 OpenAI 兼容端点的方法。
推荐理由：原文提供了在 Hugging Face Jobs 上通过单条命令启动 vLLM 服务并对接 OpenAI 兼容接口的完整流程，适合需要快速搭建私有推理端点的开发者参考。
Google Research精选AI 评分6767 Google Research 提出线性弹性缓存方法优化云经济
Google Research 提出了线性弹性缓存方法，通过将页面淘汰视为滑雪租赁问题，并使用轻量级机器学习来优化内存占用和缓存缺失之间的权衡，以降低总拥有成本。
推荐理由：原文提出了线性弹性缓存方法，通过动态调整缓存大小以降低总拥有成本，读者可以了解其原理和应用效果。
Hugging Face Blog精选AI 评分6565 AWS 基础模型训练和推理构建模块
本文分析了 AWS 基础模型训练和推理的基础架构，包括基础设施、资源编排、机器学习软件栈和可观察性。
推荐理由：本文深入探讨了在 AWS 上进行基础模型训练和推理的基础架构，对机器学习工程师和研究人员具有参考价值。
Google Research精选AI 评分8585 Google Research 发布 TurboQuant：重新定义 AI 效率与极端压缩
Google Research 发布了 TurboQuant 算法，该算法通过极端压缩技术优化了 AI 模型的效率和内存使用，适用于搜索和 AI 领域。
推荐理由：原文介绍了 TurboQuant 算法及其在 AI 模型压缩和搜索中的应用，对理解和应用该算法的读者具有参考价值。
Google DeepMind精选AI 评分8585 DeepMind 发布 WeatherNext 2：最先进的天气预报模型
DeepMind 发布了 WeatherNext 2 模型，该模型能够提供更高效、更准确和更高分辨率的全球天气预报。模型基于新的 AI 模型架构，能够预测数百种可能的天气情况，并已在多个 Google 产品中应用。
推荐理由：原文介绍了 WeatherNext 2 模型的最新进展，包括其预测能力、技术细节和应用场景，读者可以了解该模型如何提升天气预报的准确性和效率。
Mistral AI精选AI 评分6868 Mistral AI 发布 Mistral Compute 基础设施服务
Mistral AI 正式推出名为 Mistral Compute 的新 AI 基础设施服务，为客户提供包含 GPU、编排、API 及产品的私有集成技术栈。该服务支持从裸金属服务器到全托管 PaaS 等多种形态，由拥有数十年 HPC 和 AI 构建经验的团队管理，并作为 NVIDIA 合作伙伴提供最新参考架构及数万个 GPU 资源。
推荐理由：Mistral AI 推出面向全球用户的私有化 AI 基础设施服务，提供从裸金属到全托管 PaaS 的集成栈，旨在打破少数巨头对算力资源的垄断。
Hugging Face Blog精选AI 评分6262 nanoVLM中KV Cache从零开始
nanoVLM团队在nanoVLM仓库中实现了KV Caching，提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程，适用于所有自回归语言模型的生成。
推荐理由：原文详细介绍了KV Caching在nanoVLM中的实现，读者可以学习到如何优化自回归语言模型的生成效率。
Hugging Face Blog精选AI 评分7070 Hugging Face发布BitNet架构：LLM极端量化新方法
Hugging Face发布BitNet架构，通过极端量化将LLM参数精度降低至1.58位，显著降低计算和内存需求。
推荐理由：原文介绍了BitNet架构及其在LLM中的应用，读者可以了解其性能和适用性。
Hugging Face Blog精选AI 评分6565 Hugging Face 推出 RLOO 训练器，为在线 RLHF 训练提供高效替代方案
Hugging Face 推出 RLOO 训练器，旨在为在线 RLHF 训练提供更易于使用和高效的替代方案，通过减少 GPU 内存使用和简化训练过程，使 RLOO 能够处理更大的批量数据和更快的训练时间。
推荐理由：RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案，通过减少 GPU 内存使用和简化训练过程，使 RLOO 能够处理更大的批量数据和更快的训练时间。
Hugging Face Blog精选AI 评分6060 Hugging Face 优化 BLOOM 模型推理服务器
Hugging Face 优化了 BLOOM 模型的推理服务器，实现了 5 倍的延迟降低和 50 倍的吞吐量提升，并分享了优化过程中的挑战和经验。
推荐理由：本文详细介绍了如何优化 BLOOM 模型的推理服务器，包括多种优化策略和技术，读者可以从中学习到模型优化的方法和经验。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出零样本评估工具
Hugging Face 推出零样本评估工具，支持研究人员评估大型语言模型，无需编写代码，并支持开源生态和评测基准。
推荐理由：该工具使研究人员能够轻松评估大型语言模型，并支持零样本评估，有助于推动开源生态和评测基准的发展。