Hugging Face 与 Amazon SageMaker 集成教程：使用 Transformers 分布式训练 BART/T5 摘要模型
Hugging Face 联合 Amazon SageMaker 推出优化容器，支持通过单行代码启动分布式训练。该教程演示利用 SageMaker Data Parallelism 微调 facebook/bart-large-cnn 模型处理 samsum 数据集。
#教程/实践
#教程/实践
今日 1 条Hugging Face BlogAI 评分3434
Hugging Face BlogAI 评分3333 BigBird 块稀疏注意力机制详解
BigBird 采用块稀疏注意力替代 BERT 的全注意力，将序列长度支持提升至 4096 并显著降低计算成本。该模型通过滑动窗口、全局 token 和块稀疏结构近似全注意力矩阵，在长文档摘要等任务中实现 SOTA。目前 BigBird RoBERTa-like 模型已集成至 Hugging Face Transformers 库供使用。
Hugging Face BlogAI 评分2323 在 Google Cloud 部署 Serverless Transformers 情感分析流水线的实践
社区成员 Maxence Dominici 分享了将 Hugging Face transformers 库中的 sentiment-analysis 流水线部署到 Google Cloud 的过程。
Hugging Face BlogAI 评分3636 Hugging Face 教程：使用 Transformers 微调 Wav2Vec2 进行英语 ASR
Hugging Face 发布教程，演示如何使用 🤗 Transformers 库微调 Wav2Vec2 模型以执行英语自动语音识别。该流程基于 Connectionist Temporal Classification (CTC) 算法，无需语言模型即可实现端到端转录。
Hugging Face BlogAI 评分3838 Hugging Face 分享构建与调试神经网络的实用建议
Hugging Face 博客指出，尽管 GPT-3 等模型引发关注且工具降低了使用门槛，但神经网络开发仍充满挑战。文章建议开发者先深入分析数据分布与标签平衡性，再建立如 logistic regression 等简单基线以评估任务难度。此外，通过在小批量数据上尝试过拟合至零损失来验证代码实现正确性，是排查隐蔽错误的关键步骤。
Hugging Face BlogAI 评分2020 Hugging Face 集成 Ray 加速 RAG 模型检索与微调
Hugging Face Transformers 库中的 RAG 模型通过集成 Ray 框架，将文档检索速度提升 2 倍并优化分布式微调扩展性。该方案利用 Ray 的有状态 Actor 抽象替代 torch.distributed，解决了单点同步瓶颈及 PyTorch 依赖限制。在 4 GPU 环境下，Ray 实现可将单次检索耗时从 3.438 秒降至 1.66 秒。
Hugging Face BlogAI 评分2828 Hugging Face 支持在 Cloud TPUs 上使用 PyTorch / XLA 训练模型
Hugging Face 与 Google TPU 团队合作，为 PyTorch / XLA 带来对 Cloud TPUs 的一流支持。用户可在保持原有 Trainer 接口不变的情况下，利用 xm.optimizer_step 等 API 在 TPU 上高效训练 Transformer 模型并获取性能基准数据。
Ethereum BlogAI 评分4545 Ethereum 生态支持计划公布最新一轮社区资助项目
Ethereum 生态支持计划公布最新一轮社区资助项目，共分配超过 100 万美元，涵盖社区/教育、新工具、数据分析/可视化和研究四大类别，旨在简化、安全、提高以太坊质押体验。
Hugging Face BlogAI 评分3434 Hugging Face Transformers v4.2.0 提升 TensorFlow 模型推理速度
Hugging Face Transformers v4.2.0 优化了 BERT、RoBERTa 等模型的 TensorFlow 实现，在 GPU V100 上推理速度比 Google 官方实现快约 10%，且比 v4.1.1 版本快两倍。新版本支持通过 TensorFlow Serving 部署 SavedModel，允许自由修改序列长度并简化隐藏状态输出，提升了生产环境下的计算性能与易用性。
Hugging Face BlogAI 评分4545 Hugging Face Trainer 集成 DeepSpeed 与 FairScale ZeRO 优化显存
Hugging Face Trainer v4.2.0 起实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，通过 `--deepspeed` 或 `--sharded_ddp` 参数启用。在 t5-large 微调基准中，DeepSpeed 配合 CPU offload 将最大 batch size 提升至 50，训练耗时降至 10.4 秒，显著优于基线。
Hugging Face BlogAI 评分2424 Hugging Face 详解如何利用预训练检查点热启动编码器-解码器模型
Hugging Face 发布教程，指导如何使用 🤗Transformers 的 EncoderDecoderModel 框架，通过 BERT 和 GPT2 等预训练检查点热启动编码器-解码器模型。该方法旨在跳过昂贵的预训练阶段，以极低的训练成本实现与 T5、Pegasus 等大模型相当的序列生成性能。
Hugging Face BlogAI 评分2323 Hugging Face 将 fairseq wmt19 翻译系统移植至 Transformers
Hugging Face 成功将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 库。该工作基于 en-ru/ru-en 预训练模型，通过编写转换脚本处理双独立词汇表及合并词汇表差异，实现了模型架构、配置及分词器的完整适配。
Hugging Face BlogAI 评分3030 Hugging Face Transformers 3.1 集成 Ray Tune 实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 库正式集成，为 BERT 等模型提供强大的超参数调优支持。实验显示，采用 Population-Based Training 算法在 RTE 数据集上可将测试准确率提升至 70.5%，优于 Grid Search 的 65.4%。
Ethereum BlogAI 评分3535 Ethereum 新开发者门户上线
Ethereum 新开发者门户上线，提供全面的技术文档和社区教程，支持代码实验和社区协作，目前处于 MVP 阶段，鼓励开发者贡献内容，提升文档质量。
Hugging Face BlogAI 评分2020 Hugging Face 详解 Transformer 编码器-解码器模型架构与推理
Hugging Face 发布技术博客，深入解析 Transformer 编码器-解码器架构在序列到序列任务中的数学原理及推理机制。文章重点拆解 Encoder 和 Decoder 部分，并建立理论与 🤗Transformers 库中 T5、Bart、MarianMT 及 Pegasus 等模型实际应用的联系。该指南旨在帮助开发者理解模型结构，不涉及训练过程讲解。
Hugging Face BlogAI 评分4040 PyTorch Block Sparse Matrix 扩展发布，提升语言模型效率和精度
Hugging Face 发布了 PyTorch Block Sparse Matrix 扩展，通过稀疏矩阵计算优化神经网络，使模型更小、更快。该扩展基于 CUTLASS，性能比 PyTorch 稀疏矩阵实现快一个数量级，内存消耗减少 4 倍。未来将优化稀疏模式，提升性能。
Ethereum BlogAI 评分3232 Ethereum.org 更新：Gatsby 替换 Vuepress，新增插图和页面设计
Ethereum.org 宣布采用 Gatsby 替换 Vuepress，以提升网站扩展性和内容发布效率。同时，网站新增了独立艺术家创作的插图和改进的页面设计，旨在为用户提供更好的用户体验。此外，网站还推出了“获取 ETH”页面，帮助用户找到适合其居住地的钱包和交易所。Ethereum.org 现已支持 30 种语言，并计划在未来几个月推出更多内容。
Hugging Face BlogAI 评分3030 Reformer 模型如何用不到 8GB 内存处理 50 万 token 序列
Reformer 模型通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项技术，实现用不到 8GB 内存训练长达 50 万 token 的序列。相比 BERT 仅支持 512 token 输入，Reformer 显著突破长序列建模瓶颈且保持性能。该模型已集成至 Hugging Face Transformers 库供开发者使用。
Hugging Face Blog精选AI 评分6060 Hugging Face 详解 Transformers 库中不同文本生成解码方法
Hugging Face 发布教程，详细介绍如何使用 transformers 库实现 Greedy search、Beam search、Sampling、Top-K 和 Top-p 等文本生成解码方法。文章通过 GPT2 模型演示各方法的代码配置及输出差异，并分析了重复生成等问题及 temperature、no_repeat_ngram_size 等参数的调节作用。
推荐理由：原文结合代码演示了多种解码策略在 transformers 库中的具体配置与效果对比，适合开发者快速掌握文本生成参数调优方法。
Hugging Face BlogAI 评分3333 Hugging Face 演示如何从零训练 EsperBERTo 语言模型
Hugging Face 利用 Transformers 和 Tokenizers 库，在 Esperanto 语料上从零训练了名为 EsperBERTo 的 84M 参数 RoBERTa-like 模型。该模型包含 6 层、768 隐藏维度及 12 个注意力头，并针对低资源语言优化了 Byte-level BPE 分词器。
Ethereum BlogAI 评分3030 Solidity 0.6.x 中的 try/catch 语句功能
Solidity 0.6.x 引入的 try/catch 语句显著提升了错误处理能力，允许在调用外部函数时处理失败，而无需回滚整个事务。此功能通过保留关键字 try 和 catch 实现，并支持在合约创建调用中处理失败。此外，try/catch 语句还允许捕获错误消息并触发事件，为未来的错误类型支持奠定了基础。
Ethereum BlogAI 评分3535 Ethereum Studio v1.0 发布：简化以太坊开发者体验
Ethereum 发布了 Ethereum Studio v1.0，一个基于网页的集成开发环境（IDE），旨在简化以太坊开发者体验。开发者可以在此环境中编写和测试智能合约，连接智能合约到前端应用，并使用模板教程快速启动应用。Ethereum Studio 是开源的，代码可在 GitHub 上找到。
Ethereum BlogAI 评分3535 Ethereum.org 开发更新：全新团队与多语言翻译计划
Ethereum.org 宣布招聘全职开发者 Sam Richards，负责网站的技术开发与开源贡献者沟通。同时，网站推出全面翻译计划，已有116名志愿者参与将网站翻译成17种语言。此外，网站已合并102个pull request，并对社区反馈做出调整。未来计划包括用户画像分析和网站结构重组，以及为开发者提供更丰富的资源。
OpenAI NewsAI 评分1313 OpenAI Spinning Up 深度强化学习工作坊回顾
OpenAI 于 2 月 2 日举办了首届 Spinning Up Workshop，作为其新教育计划的一部分。该活动聚焦深度强化学习（Deep RL）领域的教学与推广。
OpenAI NewsAI 评分3131 OpenAI 发布 Spinning Up in Deep RL 深度学习强化学习教育资源
OpenAI 推出 Spinning Up in Deep RL，这是一份旨在帮助任何人成为深度强化学习熟练实践者的教育资源。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
Ethereum BlogAI 评分4545 Ethereum JS Ecosystem 更新：Ewasm、Web3.js 1.0 和 IPFS 网络实现进展
Ethereum JS Ecosystem 近期进展显著，Ewasm 项目致力于用 WebAssembly 替换 EVM，并构建测试网络；Web3.js 1.0 版本即将发布，提供更多便利功能和改进；同时，利用 IPFS 的 libp2p 实现了 Ethereum 网络的轻客户端。
OpenAI NewsAI 评分1313 OpenAI 探讨强化学习中奖励函数错误导致的意外失效
OpenAI 指出强化学习算法可能因奖励函数设定错误而出现反直觉的失效模式。该分析聚焦于这一特定故障机制，揭示了模型在错误激励下的异常行为表现。
OpenAI NewsAI 评分1212 OpenAI 谈深度学习基础设施的重要性
OpenAI 指出深度学习是一门经验科学，团队的基础设施质量是进步的关键倍增器。当前开源生态系统已使任何人都有可能构建优秀的深度学习基础设施。
Ethereum BlogAI 评分3737 如何为 Mist 构建 serverless 应用
Mist 浏览器支持构建 serverless 应用，通过区块链智能合约处理数据逻辑，Swarm 协议提供静态文件服务，Whisper 协议实现实时通信。用户设备负责用户认证和应用程序界面。示例应用“Stake Voice”允许以太坊质押者对任何内容进行投票，应用通过 tally 计算所有同意或不同意该声明的以太坊余额。
Ethereum BlogAI 评分4040 Ethereum 链上透明银行构建指南：如何创建由代币控制的组织
Ethereum 链上透明银行构建指南，通过创建代币控制的组织，实现自主组织管理。本文详细介绍了如何修改代币合约，使其由 DAO 控制，并通过民主投票机制进行新币铸造。此外，还探讨了 DAO 的潜在用途，如创建稳定加密货币、发行资产证明等。
Ethereum BlogAI 评分4242 Ethereum实践系列第二篇：如何在100行代码内构建更好的民主组织
Ethereum钱包最新版本允许用户创建智能合约，本文介绍了如何构建一个基于区块链的民主组织合约，任何人持有股份代币都可以投票。合约参数包括初始以太币金额、股份代币地址、最低投票股东比例、讨论和投票的最短时间等。用户可以创建提案、投票并执行提案，合约执行后将影响真实价值。
Ethereum BlogAI 评分3535 Ethereum 指南：如何构建自己的加密货币而无需编写代码
Ethereum 基金会首席设计师 Alex Van de Sande 介绍了 Ethereum 生态系统中的工具，指导用户如何构建自己的加密货币，无需编写代码。用户可通过 Ethereum 钱包创建以太坊账户，使用 AlethOne 矿工进行测试网络挖矿，并通过 Solidity 编写智能合约创建代币。
Ethereum BlogAI 评分3232 Ethereum Builders：挖掘社区协作潜力
Ethereum Builders自3月20日软启动以来，已有超过100名成员参与知识共享和开放协作。该项目旨在降低协作门槛，增加社区成员互动，并促进项目成员之间的知识共享和技能提升。通过GitHub、ZenHub、Gitter和Bountysource等工具，Ethereum Builders为开发者提供了一个高效的项目管理平台，以促进社区协作和开源项目的发展。
Ethereum BlogAI 评分3535 以太坊构建者计划：构建自组织知识共享网络实验
以太坊创始人Mihai Alisie提出以太坊构建者计划，旨在通过结合屏幕共享、开源投票界面和比特币，构建一个自组织、自维持的知识共享网络，以实现以太坊开源、知识共享经济的自我组织、自我维持和信息最大化传播。该计划旨在为开发者提供教育资源和工具，促进以太坊生态系统的繁荣。
Ethereum BlogAI 评分3737 "Ethereum：揭秘分布式文件存储中的冗余和纠删码技术"
Ethereum 博客介绍了分布式文件存储系统中的冗余和纠删码技术，旨在解决数据安全性和可靠性问题。通过 Merkle 树和挑战-响应协议，该技术能够激励参与者存储文件，并确保数据在分布式网络中的安全性和可用性。
Ethereum BlogAI 评分4242 以太坊：DAOs、DACs、DAs 等术语不完全指南
以太坊探讨了去中心化自治实体（DAOs）的概念，包括去中心化自治公司（DACs）和去中心化应用，但指出当前术语缺乏一致性，并以智能合约和自治智能体为例，解释了去中心化自动化和自治的概念。
Ethereum BlogAI 评分3737 Pyethereum 和 Serpent 编程指南
Ethereum 协议近期经历重大更新，本文深入介绍了 Pyethereum 和 Serpent 编程语言，指导读者如何编写智能合约和去中心化应用。Serpent 语言旨在简化 Ethereum 智能合约编程，具有类似 Python 的简洁语法，支持数组、字符串、消息调用等功能。教程详细介绍了开发环境和编译过程，并提供了示例代码。