Amazon Bedrock with managed entitlements 简化 AWS 账户间 AI 模型访问管理
Amazon Bedrock with managed entitlements 通过 AWS License Manager 激活 AWS Marketplace Private Pricing Offer (MPPO) 授权，简化了多账户访问第三方 AI 模型，支持一次性脚本和基于 AWS CDK 的自动化流程，提高定价协商速度和跨账户一致性，并记录审计日志。
#部署/工程
#部署/工程
今日 0 条AWS Machine Learning BlogAI 评分3737
AWS Machine Learning BlogAI 评分4545 Amazon SageMaker HyperPod：跨团队共享 GPU 集群的隔离与公平性解决方案
Amazon SageMaker HyperPod 是一款专为 AI 工作负载设计的 AI 服务，它通过 Amazon Elastic Kubernetes Service (Amazon EKS) 或 Slurm 简化了大规模计算集群的管理。
Google DeepMind精选AI 评分8585 DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2
DeepMind 发布了开源多模态嵌入模型 EmbeddingGemma 2，该模型基于 Gemma 4 架构，具有轻量级、高效能和开源的特点，适用于设备端的多模态嵌入。
推荐理由：EmbeddingGemma 2 是一款开源的多模态嵌入模型，具有轻量级和高效能的特点，适用于设备端的多模态嵌入。其发布为开发者提供了在设备端进行多模态搜索和检索的新工具，有助于保护数据隐私并减少延迟。
AWS Machine Learning BlogAI 评分3535 Amazon SageMaker HyperPod 管理与治理最佳实践
Amazon SageMaker HyperPod 提供机器学习团队加速计算资源，本文介绍了如何通过 SageMaker Unified Studio 进行 HyperPod 管理与治理，包括组织、项目、集群和工作负载四个层面的控制策略，以实现高效协作和资源分配。
AWS Machine Learning BlogAI 评分4545 Amazon Quick 资源跨账户迁移：自动化、可审计的解决方案
Amazon Quick 推出自动化跨账户资源迁移解决方案，通过 Model Context Protocol (MCP) 服务器实现资源（如聊天代理、连接器、知识库等）的自动化迁移，提高企业资源管理效率。该方案支持资源驱动选择、权限忠实复制和幂等性设计，确保迁移过程安全可靠。
The DecoderAI 评分7070 AI 在策略游戏中超越人类顶尖玩家，为战略决策问题提供新可能性
这篇论文介绍了 Ataraxos 系统，它能够在具有大量隐藏信息的策略游戏中超越人类顶尖玩家，例如 Stratego。该系统通过高效的搜索和学习方法，在多个策略游戏中取得了显著成果，为强化学习和搜索在更多战略决策问题中的应用提供了新的可能性。
Hugging Face Blog精选AI 评分7878 SkyPilot 集成 Hugging Face Storage 实现跨云零出口流量存储
SkyPilot 正式将 Hugging Face Storage 作为一等后端支持，允许用户通过 hf:// URL 和现有 HF_TOKEN 在任意云端集群挂载 Hub 上的模型和数据集。
推荐理由：原文给出了跨云调度与零出口流量存储的集成方案，读者可以据此判断它如何降低多云环境下的数据读取成本。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布在 Jobs 平台一键运行 vLLM 服务器的教程
Hugging Face 推出使用 `hf jobs run` 命令在 HF Jobs 基础设施上快速部署 vLLM 服务器并获取 OpenAI 兼容端点的方法。
推荐理由：原文提供了在 Hugging Face Jobs 上通过单条命令启动 vLLM 服务并对接 OpenAI 兼容接口的完整流程，适合需要快速搭建私有推理端点的开发者参考。
Google Research精选AI 评分6767 Google Research 提出线性弹性缓存方法优化云经济
Google Research 提出了线性弹性缓存方法，通过将页面淘汰视为滑雪租赁问题，并使用轻量级机器学习来优化内存占用和缓存缺失之间的权衡，以降低总拥有成本。
推荐理由：原文提出了线性弹性缓存方法，通过动态调整缓存大小以降低总拥有成本，读者可以了解其原理和应用效果。
Hugging Face Blog精选AI 评分6565 AWS 基础模型训练和推理构建模块
本文分析了 AWS 基础模型训练和推理的基础架构，包括基础设施、资源编排、机器学习软件栈和可观察性。
推荐理由：本文深入探讨了在 AWS 上进行基础模型训练和推理的基础架构，对机器学习工程师和研究人员具有参考价值。
Google Research精选AI 评分8585 Google Research 发布 TurboQuant：重新定义 AI 效率与极端压缩
Google Research 发布了 TurboQuant 算法，该算法通过极端压缩技术优化了 AI 模型的效率和内存使用，适用于搜索和 AI 领域。
推荐理由：原文介绍了 TurboQuant 算法及其在 AI 模型压缩和搜索中的应用，对理解和应用该算法的读者具有参考价值。
Google DeepMind精选AI 评分8585 DeepMind 发布 WeatherNext 2：最先进的天气预报模型
DeepMind 发布了 WeatherNext 2 模型，该模型能够提供更高效、更准确和更高分辨率的全球天气预报。模型基于新的 AI 模型架构，能够预测数百种可能的天气情况，并已在多个 Google 产品中应用。
推荐理由：原文介绍了 WeatherNext 2 模型的最新进展，包括其预测能力、技术细节和应用场景，读者可以了解该模型如何提升天气预报的准确性和效率。
Hugging Face BlogAI 评分4545 Hugging Face 博客：Efficient MultiModal Data Pipeline
Hugging Face 博客发布了一篇关于高效多模态数据管道的文章，介绍了如何通过五个阶段优化数据管道，减少GPU闲置时间和无用填充token，提高训练效率。文章详细介绍了从数据可视化到使用背包问题优化批处理的过程，并提供了相应的代码示例。
Mistral AI精选AI 评分6868 Mistral AI 发布 Mistral Compute 基础设施服务
Mistral AI 正式推出名为 Mistral Compute 的新 AI 基础设施服务，为客户提供包含 GPU、编排、API 及产品的私有集成技术栈。该服务支持从裸金属服务器到全托管 PaaS 等多种形态，由拥有数十年 HPC 和 AI 构建经验的团队管理，并作为 NVIDIA 合作伙伴提供最新参考架构及数万个 GPU 资源。
推荐理由：Mistral AI 推出面向全球用户的私有化 AI 基础设施服务，提供从裸金属到全托管 PaaS 的集成栈，旨在打破少数巨头对算力资源的垄断。
Hugging Face Blog精选AI 评分6262 nanoVLM中KV Cache从零开始
nanoVLM团队在nanoVLM仓库中实现了KV Caching，提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程，适用于所有自回归语言模型的生成。
推荐理由：原文详细介绍了KV Caching在nanoVLM中的实现，读者可以学习到如何优化自回归语言模型的生成效率。
Hugging Face Blog精选AI 评分7070 Hugging Face发布BitNet架构：LLM极端量化新方法
Hugging Face发布BitNet架构，通过极端量化将LLM参数精度降低至1.58位，显著降低计算和内存需求。
推荐理由：原文介绍了BitNet架构及其在LLM中的应用，读者可以了解其性能和适用性。
Hugging Face Blog精选AI 评分6565 Hugging Face 推出 RLOO 训练器，为在线 RLHF 训练提供高效替代方案
Hugging Face 推出 RLOO 训练器，旨在为在线 RLHF 训练提供更易于使用和高效的替代方案，通过减少 GPU 内存使用和简化训练过程，使 RLOO 能够处理更大的批量数据和更快的训练时间。
推荐理由：RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案，通过减少 GPU 内存使用和简化训练过程，使 RLOO 能够处理更大的批量数据和更快的训练时间。
Hugging Face BlogAI 评分4545 Hugging Face Embedding Container for Amazon SageMaker 正式发布
Hugging Face 推出适用于 Amazon SageMaker 的新嵌入式容器，支持高效部署嵌入模型，包括 Snowflake/snowflake-arctic-embed-m-v1.5 等模型，用于构建生成式 AI 应用。该容器基于 Text Embedding Inference (TEI) 技术，支持多种模型架构，并具备快速启动、动态批处理等功能。
Hugging Face BlogAI 评分3737 Hugging Face LLM Inference Container for Amazon SageMaker 推出
Hugging Face 推出专为 Amazon SageMaker 定制的 LLM 推理容器，支持部署开源 LLM 如 BLOOM，并优化了 Pythia Open Assistant Model 的部署，提供高性能文本生成和推理功能。
Hugging Face BlogAI 评分4545 Hugging Face Inference Endpoints：解决Transformer在生产中的部署难题
Hugging Face推出Inference Endpoints服务，旨在简化Transformer模型的部署。该服务支持在AWS、Azure和GCP等云平台上部署模型，并支持多种实例类型，包括GPU。
OpenAI NewsAI 评分1111 OpenAI 超级计算团队工程师 Christian Gibson 探索后端系统细节
OpenAI 超级计算团队工程师 Christian Gibson 正在探索后端系统的细微之处。该文章聚焦于这位工程师在 OpenAI 内部负责的高性能计算基础设施相关工作，未披露具体技术突破或产品发布细节。
Hugging Face BlogAI 评分4545 Hugging Face Inference Endpoints：简化机器学习模型部署
Hugging Face 推出 Inference Endpoints，简化机器学习模型部署流程，支持从 Hugging Face hub 一键部署至云基础设施，提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限，并通过 API 调用或界面测试模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 优化 BLOOM 模型推理服务器
Hugging Face 优化了 BLOOM 模型的推理服务器，实现了 5 倍的延迟降低和 50 倍的吞吐量提升，并分享了优化过程中的挑战和经验。
推荐理由：本文详细介绍了如何优化 BLOOM 模型的推理服务器，包括多种优化策略和技术，读者可以从中学习到模型优化的方法和经验。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出零样本评估工具
Hugging Face 推出零样本评估工具，支持研究人员评估大型语言模型，无需编写代码，并支持开源生态和评测基准。
推荐理由：该工具使研究人员能够轻松评估大型语言模型，并支持零样本评估，有助于推动开源生态和评测基准的发展。
Hugging Face BlogAI 评分2828 Hugging Face ViT 模型在 Vertex AI 的部署指南
Hugging Face 展示了如何将 ViT B/16 TensorFlow 模型部署至 Google Cloud Vertex AI，实现与 Kubernetes 同等扩展性但代码量显著减少。
Hugging Face BlogAI 评分3333 Hugging Face 演示如何在 Kubernetes 上部署 ViT 模型
Hugging Face 展示如何利用 Docker 和 Kubernetes 扩展 🤗 Transformers 中的 Vision Transformer (ViT) 模型部署。
Hugging Face BlogAI 评分4545 Hugging Face 实现 TensorFlow 文本生成 XLA 编译提速
🤗 transformers 库现已支持使用 XLA 编译 TensorFlow 进行文本生成，速度最高提升 100 倍且快于 PyTorch。该功能允许用户通过 `do_sample`、`temperature` 及 `num_beams` 等参数灵活控制生成策略，在保持模型可访问性与效率的同时显著优化推理性能。
Hugging Face BlogAI 评分3535 Hugging Face 教程：使用 TF Serving 部署 TensorFlow Vision Transformer 模型
Hugging Face 团队演示如何利用 TF Serving 在本地部署 Transformers 库中的 TensorFlow Vision Transformer (ViT) 模型，使其暴露为 REST 或 gRPC 端点。
Hugging Face BlogAI 评分3535 使用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX
Hugging Face 提供三种将 Transformers 模型转为 ONNX 的方法，以 `distilbert-base-uncased-finetuned-sst-2-english` 为例演示。
Hugging Face BlogAI 评分3535 Intel 与 Hugging Face 合作通过 Optimum Intel 库实现机器学习硬件加速
Intel 加入 Hugging Face 硬件合作伙伴计划，双方基于开源库 Optimum Intel 协作优化 Transformers 模型的训练、微调和推理性能。该方案利用 Intel Xeon CPU 和 Habana Gaudi 加速器，在 DistilBERT 上实现了个位数毫秒级延迟，且 Habana Gaudi 相比 GPU 提供高达 40% 的性价比优势。
OpenAI NewsAI 评分3030 Cohere、OpenAI 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 联合制定了一套适用于任何开发或部署大语言模型组织的初步最佳实践。该指南旨在为相关机构提供通用的部署参考标准。
Hugging Face BlogAI 评分4040 Hugging Face Optimum 1.2 发布：支持 Transformers Pipelines 与 ONNX Runtime 加速推理
Hugging Face Optimum 1.2 版本新增对 Transformers pipelines 的推理支持，允许用户通过替换类名无缝切换至 ONNX Runtime 加速后端。
Hugging Face BlogAI 评分2626 Hugging Face 与 Habana Gaudi 合作加速 Transformer 训练及 BERT 微调指南
Hugging Face 联合 Habana Labs 推出基于 Habana Gaudi 的 Transformers 训练方案，其价格性能比最新 GPU EC2 实例高 40%。
Hugging Face BlogAI 评分2828 使用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
教程演示如何利用 AWS Inferentia 芯片将 Hugging Face Transformers 模型转换为 Neuron 格式，以加速 BERT 文本分类推理。AWS Inferentia 提供比 GPU 实例低 80% 的推理成本和高达 2.3 倍的吞吐量。通过 Amazon SageMaker 部署实时推理端点，可实现大规模 Transformer 工作负载的高效运行。
Hugging Face BlogAI 评分1515 Hugging Face Infinity 在 Intel Xeon CPU 上实现毫秒级延迟案例研究
Hugging Face Infinity 在 Amazon EC2 C6i（Intel Ice Lake）实例上运行 DistilBERT 模型，相比 vanilla transformers 实现最高 800% 的延迟与吞吐量提升。该方案通过容器化部署优化推理管线，支持特征提取、排序等任务，但已于 2022 年 12 月停止作为商业推理解决方案提供。
Hugging Face BlogAI 评分2323 使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
通过 `torch.save`/`torch.load` 替代默认加载方式，GPT-J 6B 模型加载时间从 83 秒降至 7.7 秒，提速约 10.5 倍。该优化使模型能在 Amazon SageMaker 的 60 秒请求限制内完成实时推理。开发者可利用 NVIDIA T4 GPU（月成本约 $500）实现可扩展的生产环境部署。
Hugging Face BlogAI 评分2828 Hugging Face Optimum 支持 Graphcore IPU 加速 Transformer 模型入门
Hugging Face 推出 Optimum 开源库，联合 Graphcore 实现 BERT 在 Intelligence Processing Unit (IPU) 上的优化与加速。开发者可通过安装 `optimum[graphcore]` 并配置 Poplar SDK，利用 PyTorch 接口在 IPU 上轻松训练、微调及部署 Transformer 模型，显著降低推理延迟。
Hugging Face BlogAI 评分2727 利用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 展示如何利用 Intel Xeon Scalable CPU 集群加速 PyTorch 分布式训练。通过集成 Intel AVX-512、VNNI 指令集及 oneCCL 通信库，在 BERT 模型 MRPC 数据集微调任务中实现显著提速。该方案适用于迁移学习场景，能在控制成本的同时优化短周期训练作业的性能。
Hugging Face BlogAI 评分2626 Hugging Face 解析 Intel Ice Lake Xeon CPU 上 BERT 类模型推理优化
Hugging Face 详解利用 Intel oneAPI、oneDNN 及 IPEX 等软件栈优化 BERT 类模型在 Ice Lake Xeon CPU 上的推理性能。相比 Cascade Lake，Ice Lake 通过硬件指令与软件协同实现 NLP 任务推理速度提升最高达 75%。
Hugging Face BlogAI 评分2626 Hugging Face 倡导机器学习即代码与 MLOps 实践
Hugging Face 主张将软件工程最佳实践应用于机器学习，推动“软件吞噬机器学习”而非替代开发者。文章指出 Transformer 已成为通用架构，并引用 Kaggle 调查称 75% 受访者使用云服务，建议企业雇佣具备 ML 知识的 DevOps 工程师以构建稳健的生产级工作流。