Hugging Face 提出 DeDLOC 方法实现互联网协作训练语言模型
Hugging Face 推出 DeDLOC 算法，利用志愿者设备在互联网上协作预训练语言模型。该方法通过累积超大梯度批次适应网络与硬件限制，成功训练出 sahajBERT。在孟加拉语任务中，sahajBERT 性能接近 SOTA，媲美使用数百高端加速器的更大模型。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分3333 spaCy 入驻 Hugging Face Hub
spaCy 正式接入 Hugging Face Hub，用户可通过 `spacy-huggingface-hub` 库一键上传模型并自动生成元数据。Hub 内已收录超 60 个来自 spaCy 3.1 版本的官方模型，支持通过 pip 直接安装及调用推理 API。目前集成提供 NER 组件的交互式 Widget，文本分类与 POS 标注功能即将上线。
Hugging Face BlogAI 评分3030 Hugging Face 推出 Amazon SageMaker 推理解决方案
Hugging Face 发布新的 Inference DLCs，支持通过一行代码将模型部署至 Amazon SageMaker。用户可直接调用 Model Hub 中 10,000+ 公开模型或已训练模型，利用 SageMaker Python SDK 快速构建具备自动扩缩容与监控能力的生产级推理端点。
Hugging Face BlogAI 评分2828 Hugging Face Hub 集成 Sentence Transformers v2：新增嵌入与相似度组件及 API
Hugging Face Hub 正式集成 Sentence Transformers v2，支持加载超过 90 个覆盖 100 多种语言的预训练模型。Hub 新增特征提取和句子相似度两个交互组件，并提供 Inference API 端点供程序化调用。用户可通过 `save_to_hub` 快速分享模型，自动生成的模型卡片将展示架构详情及使用示例。
Hugging Face BlogAI 评分2828 GPT-Neo 与 🤗 Accelerated Inference API 实现 Few-shot learning 实践
Hugging Face 演示如何利用 EleutherAI GPT-Neo 和 🤗 Accelerated Inference API 进行 Few-Shot Learning。GPT-Neo (2.7B) 比 GPT-3 (175B) 小约 60 倍，需 3-4 个示例才能取得良好效果。该 API 支持 CPU/GPU 加速，推理速度较原生 Transformers 部署提升高达 100x。
Hugging Face BlogAI 评分4040 Gradio 2.0 支持一行代码加载 Hugging Face 模型并构建 GUI
Gradio 2.0 允许开发者通过一行代码加载 Hugging Face Model Hub 上的模型并生成图形界面。该功能默认调用 Hugging Face Inference API，也支持本地运行 transformers 库进行计算。用户可将多个模型并行对比或串联组合，快速构建复杂应用与演示。
Hugging Face BlogAI 评分3030 Hugging Face 探讨 BERT 在 CPU 上的推理扩展优化
Hugging Face 发布系列文章首篇，聚焦 BERT 模型在 CPU 上的推理性能优化。基准测试基于 AWS c5.metal 实例与 Intel Xeon Platinum 8275 CPU，对比 PyTorch 1.8.1、TensorFlow 2.4.0 及 ONNX Runtime 的延迟与吞吐量。
Hugging Face BlogAI 评分4242 Hugging Face 发布 🤗 Accelerate
Hugging Face 推出 🤗 Accelerate，让 PyTorch 训练脚本在任意设备上运行。该库通过极简 API 抽象分布式训练与混合精度代码，支持多 GPU、TPU 及 fairscale、DeepSpeed 等方案。
Hugging Face BlogAI 评分3434 Hugging Face 与 Amazon SageMaker 集成教程：使用 Transformers 分布式训练 BART/T5 摘要模型
Hugging Face 联合 Amazon SageMaker 推出优化容器，支持通过单行代码启动分布式训练。该教程演示利用 SageMaker Data Parallelism 微调 facebook/bart-large-cnn 模型处理 samsum 数据集。
Hugging Face BlogAI 评分3333 BigBird 块稀疏注意力机制详解
BigBird 采用块稀疏注意力替代 BERT 的全注意力，将序列长度支持提升至 4096 并显著降低计算成本。该模型通过滑动窗口、全局 token 和块稀疏结构近似全注意力矩阵，在长文档摘要等任务中实现 SOTA。目前 BigBird RoBERTa-like 模型已集成至 Hugging Face Transformers 库供使用。
Hugging Face BlogAI 评分3737 Hugging Face 与 Amazon SageMaker 达成战略合作
Hugging Face 宣布与 Amazon 建立战略合作，将 AWS 设为首选云服务商。双方推出新的 Hugging Face Deep Learning Containers (DLCs)，支持在 Amazon SageMaker 中通过单条命令训练 Transformer 模型。该集成提供针对 TensorFlow 和 PyTorch 的优化变体，并扩展至模型部署与推理功能。
Hugging Face BlogAI 评分2323 在 Google Cloud 部署 Serverless Transformers 情感分析流水线的实践
社区成员 Maxence Dominici 分享了将 Hugging Face transformers 库中的 sentiment-analysis 流水线部署到 Google Cloud 的过程。
Hugging Face BlogAI 评分3636 Hugging Face 教程：使用 Transformers 微调 Wav2Vec2 进行英语 ASR
Hugging Face 发布教程，演示如何使用 🤗 Transformers 库微调 Wav2Vec2 模型以执行英语自动语音识别。该流程基于 Connectionist Temporal Classification (CTC) 算法，无需语言模型即可实现端到端转录。
Hugging Face BlogAI 评分2626 Hugging Face 解读长程 Transformer：Longformer、Compressive Transformer、Linformer 与 Performer
Hugging Face 二月阅读小组聚焦长程注意力机制，深入解析 Longformer、Compressive Transformer、Linformer 和 Performer 四种高效 Transformer 方案。Longformer 通过结合窗口局部稀疏与全局注意力，将内存消耗从二次方降至线性，支持预训练模型直接微调以处理长序列任务。
OpenAI NewsAI 评分4040 CLIP 模型中的多模态神经元发现
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别，无论以文字、符号还是概念形式呈现，这有助于解释 CLIP 在分类视觉概念时的准确性，并推动对模型学习关联和偏差的理解。
Hugging Face BlogAI 评分3838 Hugging Face 分享构建与调试神经网络的实用建议
Hugging Face 博客指出，尽管 GPT-3 等模型引发关注且工具降低了使用门槛，但神经网络开发仍充满挑战。文章建议开发者先深入分析数据分布与标签平衡性，再建立如 logistic regression 等简单基线以评估任务难度。此外，通过在小批量数据上尝试过拟合至零损失来验证代码实现正确性，是排查隐蔽错误的关键步骤。
Hugging Face BlogAI 评分2020 Hugging Face 集成 Ray 加速 RAG 模型检索与微调
Hugging Face Transformers 库中的 RAG 模型通过集成 Ray 框架，将文档检索速度提升 2 倍并优化分布式微调扩展性。该方案利用 Ray 的有状态 Actor 抽象替代 torch.distributed，解决了单点同步瓶颈及 PyTorch 依赖限制。在 4 GPU 环境下，Ray 实现可将单次检索耗时从 3.438 秒降至 1.66 秒。
Hugging Face BlogAI 评分2828 Hugging Face 支持在 Cloud TPUs 上使用 PyTorch / XLA 训练模型
Hugging Face 与 Google TPU 团队合作，为 PyTorch / XLA 带来对 Cloud TPUs 的一流支持。用户可在保持原有 Trainer 接口不变的情况下，利用 xm.optimizer_step 等 API 在 TPU 上高效训练 Transformer 模型并获取性能基准数据。
Hugging Face BlogAI 评分3434 Hugging Face Transformers v4.2.0 提升 TensorFlow 模型推理速度
Hugging Face Transformers v4.2.0 优化了 BERT、RoBERTa 等模型的 TensorFlow 实现，在 GPU V100 上推理速度比 Google 官方实现快约 10%，且比 v4.1.1 版本快两倍。新版本支持通过 TensorFlow Serving 部署 SavedModel，允许自由修改序列长度并简化隐藏状态输出，提升了生产环境下的计算性能与易用性。
Hugging Face BlogAI 评分4545 Hugging Face Trainer 集成 DeepSpeed 与 FairScale ZeRO 优化显存
Hugging Face Trainer v4.2.0 起实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，通过 `--deepspeed` 或 `--sharded_ddp` 参数启用。在 t5-large 微调基准中，DeepSpeed 配合 CPU offload 将最大 batch size 提升至 50，训练耗时降至 10.4 秒，显著优于基线。
Hugging Face BlogAI 评分2323 Hugging Face 如何实现 Transformer 推理加速 100 倍
Hugging Face 通过优化 🤗 Transformers 和 Tokenizers 库，为 API 客户实现 Transformer 模型推理速度提升 100 倍。第一阶段利用 Rust 实现的 Tokenizer 缓存及注意力矩阵降维技术获得 10 倍加速；第二阶段针对特定硬件进行图优化、层融合及量化编译，再获 10 倍性能增益。
Hugging Face BlogAI 评分2424 Hugging Face 详解如何利用预训练检查点热启动编码器-解码器模型
Hugging Face 发布教程，指导如何使用 🤗Transformers 的 EncoderDecoderModel 框架，通过 BERT 和 GPT2 等预训练检查点热启动编码器-解码器模型。该方法旨在跳过昂贵的预训练阶段，以极低的训练成本实现与 T5、Pegasus 等大模型相当的序列生成性能。
Hugging Face BlogAI 评分2323 Hugging Face 将 fairseq wmt19 翻译系统移植至 Transformers
Hugging Face 成功将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 库。该工作基于 en-ru/ru-en 预训练模型，通过编写转换脚本处理双独立词汇表及合并词汇表差异，实现了模型架构、配置及分词器的完整适配。
Hugging Face BlogAI 评分3030 Hugging Face Transformers 3.1 集成 Ray Tune 实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 库正式集成，为 BERT 等模型提供强大的超参数调优支持。实验显示，采用 Population-Based Training 算法在 RTE 数据集上可将测试准确率提升至 70.5%，优于 Grid Search 的 65.4%。
Hugging Face BlogAI 评分2020 Hugging Face 详解 Transformer 编码器-解码器模型架构与推理
Hugging Face 发布技术博客，深入解析 Transformer 编码器-解码器架构在序列到序列任务中的数学原理及推理机制。文章重点拆解 Encoder 和 Decoder 部分，并建立理论与 🤗Transformers 库中 T5、Bart、MarianMT 及 Pegasus 等模型实际应用的联系。该指南旨在帮助开发者理解模型结构，不涉及训练过程讲解。
Hugging Face BlogAI 评分4040 PyTorch Block Sparse Matrix 扩展发布，提升语言模型效率和精度
Hugging Face 发布了 PyTorch Block Sparse Matrix 扩展，通过稀疏矩阵计算优化神经网络，使模型更小、更快。该扩展基于 CUTLASS，性能比 PyTorch 稀疏矩阵实现快一个数量级，内存消耗减少 4 倍。未来将优化稀疏模式，提升性能。
Hugging Face BlogAI 评分3030 Reformer 模型如何用不到 8GB 内存处理 50 万 token 序列
Reformer 模型通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项技术，实现用不到 8GB 内存训练长达 50 万 token 的序列。相比 BERT 仅支持 512 token 输入，Reformer 显著突破长序列建模瓶颈且保持性能。该模型已集成至 Hugging Face Transformers 库供开发者使用。
Hugging Face Blog精选AI 评分6060 Hugging Face 详解 Transformers 库中不同文本生成解码方法
Hugging Face 发布教程，详细介绍如何使用 transformers 库实现 Greedy search、Beam search、Sampling、Top-K 和 Top-p 等文本生成解码方法。文章通过 GPT2 模型演示各方法的代码配置及输出差异，并分析了重复生成等问题及 temperature、no_repeat_ngram_size 等参数的调节作用。
推荐理由：原文结合代码演示了多种解码策略在 transformers 库中的具体配置与效果对比，适合开发者快速掌握文本生成参数调优方法。
Hugging Face BlogAI 评分3333 Hugging Face 演示如何从零训练 EsperBERTo 语言模型
Hugging Face 利用 Transformers 和 Tokenizers 库，在 Esperanto 语料上从零训练了名为 EsperBERTo 的 84M 参数 RoBERTa-like 模型。该模型包含 6 层、768 隐藏维度及 12 个注意力头，并针对低资源语言优化了 Byte-level BPE 分词器。