Hugging Face 发布 Optimum：面向大规模 Transformer 的开源优化工具包
Hugging Face 推出开源库 Optimum，旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包通过与 Intel 等硬件合作伙伴协作，抽象了量化、稀疏化等加速技术的复杂性，帮助工程师高效部署 BERT、ViT 等模型。
#部署/工程
#部署/工程
今日 0 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分3030 Hugging Face 推出 Amazon SageMaker 推理解决方案
Hugging Face 发布新的 Inference DLCs，支持通过一行代码将模型部署至 Amazon SageMaker。用户可直接调用 Model Hub 中 10,000+ 公开模型或已训练模型，利用 SageMaker Python SDK 快速构建具备自动扩缩容与监控能力的生产级推理端点。
Hugging Face BlogAI 评分3030 Hugging Face 探讨 BERT 在 CPU 上的推理扩展优化
Hugging Face 发布系列文章首篇，聚焦 BERT 模型在 CPU 上的推理性能优化。基准测试基于 AWS c5.metal 实例与 Intel Xeon Platinum 8275 CPU，对比 PyTorch 1.8.1、TensorFlow 2.4.0 及 ONNX Runtime 的延迟与吞吐量。
Hugging Face BlogAI 评分4242 Hugging Face 发布 🤗 Accelerate
Hugging Face 推出 🤗 Accelerate，让 PyTorch 训练脚本在任意设备上运行。该库通过极简 API 抽象分布式训练与混合精度代码，支持多 GPU、TPU 及 fairscale、DeepSpeed 等方案。
Hugging Face BlogAI 评分3434 Hugging Face 与 Amazon SageMaker 集成教程：使用 Transformers 分布式训练 BART/T5 摘要模型
Hugging Face 联合 Amazon SageMaker 推出优化容器，支持通过单行代码启动分布式训练。该教程演示利用 SageMaker Data Parallelism 微调 facebook/bart-large-cnn 模型处理 samsum 数据集。
Hugging Face BlogAI 评分3737 Hugging Face 与 Amazon SageMaker 达成战略合作
Hugging Face 宣布与 Amazon 建立战略合作，将 AWS 设为首选云服务商。双方推出新的 Hugging Face Deep Learning Containers (DLCs)，支持在 Amazon SageMaker 中通过单条命令训练 Transformer 模型。该集成提供针对 TensorFlow 和 PyTorch 的优化变体，并扩展至模型部署与推理功能。
Hugging Face BlogAI 评分2323 在 Google Cloud 部署 Serverless Transformers 情感分析流水线的实践
社区成员 Maxence Dominici 分享了将 Hugging Face transformers 库中的 sentiment-analysis 流水线部署到 Google Cloud 的过程。
Hugging Face BlogAI 评分2828 Hugging Face 支持在 Cloud TPUs 上使用 PyTorch / XLA 训练模型
Hugging Face 与 Google TPU 团队合作，为 PyTorch / XLA 带来对 Cloud TPUs 的一流支持。用户可在保持原有 Trainer 接口不变的情况下，利用 xm.optimizer_step 等 API 在 TPU 上高效训练 Transformer 模型并获取性能基准数据。
Hugging Face BlogAI 评分3434 Hugging Face Transformers v4.2.0 提升 TensorFlow 模型推理速度
Hugging Face Transformers v4.2.0 优化了 BERT、RoBERTa 等模型的 TensorFlow 实现，在 GPU V100 上推理速度比 Google 官方实现快约 10%，且比 v4.1.1 版本快两倍。新版本支持通过 TensorFlow Serving 部署 SavedModel，允许自由修改序列长度并简化隐藏状态输出，提升了生产环境下的计算性能与易用性。
OpenAI NewsAI 评分5555 OpenAI 成功扩展 Kubernetes 至 7500 节点
OpenAI 成功扩展 Kubernetes 集群至 7500 节点，为大型模型提供可扩展基础设施，支持快速迭代研究。
Hugging Face BlogAI 评分4545 Hugging Face Trainer 集成 DeepSpeed 与 FairScale ZeRO 优化显存
Hugging Face Trainer v4.2.0 起实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，通过 `--deepspeed` 或 `--sharded_ddp` 参数启用。在 t5-large 微调基准中，DeepSpeed 配合 CPU offload 将最大 batch size 提升至 50，训练耗时降至 10.4 秒，显著优于基线。
Hugging Face BlogAI 评分2323 Hugging Face 如何实现 Transformer 推理加速 100 倍
Hugging Face 通过优化 🤗 Transformers 和 Tokenizers 库，为 API 客户实现 Transformer 模型推理速度提升 100 倍。第一阶段利用 Rust 实现的 Tokenizer 缓存及注意力矩阵降维技术获得 10 倍加速；第二阶段针对特定硬件进行图优化、层融合及量化编译，再获 10 倍性能增益。