BLOOM 176B 模型训练技术解析
Hugging Face 公布 176B 参数多语言模型 BLOOM 的训练工程细节。该模型基于 GPT3 架构，使用 Megatron-DeepSpeed 框架在 384 块 NVIDIA A100 80GB GPU 上耗时 3.5 个月完成训练。项目处理了涵盖 46 种语言的 350B tokens 数据集，最终模型词汇表大小为 250,680。
#数据/训练
#数据/训练
今日 0 条Hugging Face BlogAI 评分4141
Hugging Face BlogAI 评分3737 Hugging Face Accelerate 集成 DeepSpeed ZeRO 实现大模型训练加速
Hugging Face Accelerate 库通过集成 DeepSpeed ZeRO 特性，支持无需修改代码即可启用分布式训练。在 DeBERTa-XL (900M) 微调任务中，DeepSpeed ZeRO Stage-2 将最大 batch size 从 DDP 的 8 提升至 40，实现 5 倍数据容纳量及约 3.5 倍训练速度提升，且 F1 分数达 0.936。
OpenAI NewsAI 评分1919 OpenAI 分享大型神经网络训练技术
OpenAI 指出大型神经网络是近期 AI 进展的核心，但其训练是一项困难的工程与研究挑战。该过程需要协调 GPU 集群以执行单一同步计算。
Hugging Face BlogAI 评分4141 TAPEX：基于合成 SQL 数据的高效表格预训练模型
TAPEX 通过让 BART 模型学习执行合成 SQL 查询，实现了无需真实标注数据的高效表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得 SOTA 成绩，其中 WikiSQL 准确率达 89.6%，TabFact 达 84.2%。
Hugging Face BlogAI 评分1818 Hugging Face 研究员 Sasha Luccioni 谈机器学习伦理与碳足迹
Hugging Face 研究科学家 Sasha Luccioni 在播客中分享其关于机器学习模型伦理及社会影响的工作。她担任 Big Science Workshop 碳足迹工作组联合主席，致力于评估 AI 的环境成本，包括训练能耗及制造过程排放。Luccioni 强调数据策划、多语言支持及透明度对构建负责任的大语言模型至关重要。
Hugging Face BlogAI 评分3838 Hugging Face Accelerate 利用 PyTorch FSDP 加速大模型训练
Hugging Face Accelerate 库现已支持 PyTorch FullyShardedDataParallel (FSDP)，无需修改代码即可启用。在 GPT-2 XL (1.5B) 训练中，FSDP 结合 CPU Offload 使最大 batch size 达 22，相比 DDP 提升显著且避免 OOM。该功能通过分片优化器状态、梯度及参数，有效降低显存占用以训练大规模模型。
Hugging Face BlogAI 评分4848 Hugging Face 从零训练 CodeParrot 🦜 指南
Hugging Face 发布教程，演示如何从零开始训练名为 CodeParrot 🦜 的 Python 代码生成模型。该模型基于 GPT-2 large 架构（1.5B 参数），使用经过清洗去重的 50GB GitHub Python 数据集进行训练。通过自定义 tokenizer 和 🤗 Accelerate 库，实现了高效的大规模代码补全能力构建。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Data Measurements Tool：用于数据集分析与比较的交互式工具
Hugging Face 发布开源 Python 库及无代码界面 Data Measurements Tool，支持在线构建、测量和比较数据集。该工具基于 Dataset 和 Spaces Hubs 与 Streamlit 开发，提供描述性统计、分布统计及 Zipf 定律符合度等指标，帮助用户识别数据缺失、重复值及标签不平衡问题。
Hugging Face BlogAI 评分3838 Hugging Face 社区周项目：基于 JAX/Flax 与 10 亿训练对优化句子嵌入模型
Hugging Face 在“使用 JAX/Flax 进行 NLP & CV 的社区周”中开发了 SOTA 句子嵌入模型，利用 7 个 TPU v3-8 和 10 亿句对数据完成训练。该研究采用对比学习（Multiple Negative Ranking Loss），通过扩大 Batch Size、引入 Hard Negatives 及跨数据集混合采样显著提升语义表示质量。
Hugging Face BlogAI 评分3838 Hugging Face 提出 DeDLOC 方法实现互联网协作训练语言模型
Hugging Face 推出 DeDLOC 算法，利用志愿者设备在互联网上协作预训练语言模型。该方法通过累积超大梯度批次适应网络与硬件限制，成功训练出 sahajBERT。在孟加拉语任务中，sahajBERT 性能接近 SOTA，媲美使用数百高端加速器的更大模型。
Hugging Face BlogAI 评分3838 Hugging Face 分享构建与调试神经网络的实用建议
Hugging Face 博客指出，尽管 GPT-3 等模型引发关注且工具降低了使用门槛，但神经网络开发仍充满挑战。文章建议开发者先深入分析数据分布与标签平衡性，再建立如 logistic regression 等简单基线以评估任务难度。此外，通过在小批量数据上尝试过拟合至零损失来验证代码实现正确性，是排查隐蔽错误的关键步骤。
Hugging Face BlogAI 评分2424 Hugging Face 详解如何利用预训练检查点热启动编码器-解码器模型
Hugging Face 发布教程，指导如何使用 🤗Transformers 的 EncoderDecoderModel 框架，通过 BERT 和 GPT2 等预训练检查点热启动编码器-解码器模型。该方法旨在跳过昂贵的预训练阶段，以极低的训练成本实现与 T5、Pegasus 等大模型相当的序列生成性能。
Hugging Face BlogAI 评分3030 Hugging Face Transformers 3.1 集成 Ray Tune 实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 库正式集成，为 BERT 等模型提供强大的超参数调优支持。实验显示，采用 Population-Based Training 算法在 RTE 数据集上可将测试准确率提升至 70.5%，优于 Grid Search 的 65.4%。
OpenAI News精选AI 评分6262 OpenAI 发布 AI 与效率分析报告
OpenAI 发布报告显示，自 2012 年以来，训练神经网络所需的计算量每 16 个月减少一倍，算法进步带来的收益超过传统硬件效率提升。
推荐理由：原文展示了 AI 训练效率的提升，读者可以了解算法进步对 AI 任务的贡献。
OpenAI NewsAI 评分3838 OpenAI 揭示 CNN、ResNet 和 Transformer 中的深度双重下降现象
OpenAI 研究表明，CNN、ResNet 和 Transformer 均存在“双重下降”现象：随着模型规模、数据量或训练时间增加，性能先提升后恶化再提升。该效应通常通过正则化避免，其成因尚不明确，被视为重要研究方向。
OpenAI NewsAI 评分3030 OpenAI 基于人类偏好微调 GPT-2
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调，成功匹配外部标注员偏好。摘要任务需 60k 标签且导致模型倾向复制原文，简单续写任务仅需 5k 标签。此举旨在将安全技术融入“机器与人对话”以提取人类价值观信息。
OpenAI NewsAI 评分3131 OpenAI 发现梯度噪声尺度可预测神经网络训练的并行化能力
OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练在广泛任务上的并行化能力。由于复杂任务的梯度通常更嘈杂，未来更大的批次大小将变得有用，从而消除 AI 系统进一步增长的一个潜在限制。
OpenAI NewsAI 评分5555 OpenAI 提出基于无监督学习的语言理解改进方法
OpenAI 发布了一篇论文，提出了一种结合监督学习和无监督预训练的新方法，在多个语言任务上取得了最先进的成果，并计划开源。
OpenAI NewsAI 评分3737 Reptile：可扩展的元学习算法
OpenAI 开发了名为 Reptile 的元学习算法，该算法通过重复采样任务、在任务上执行随机梯度下降并更新初始参数，使其向最终参数学习。Reptile 是将最短下降算法应用于元学习环境，与仅需要黑盒访问优化器（如 SGD 或 Adam）的第一阶 MAML 算法在数学上相似，具有相似的计算效率和性能。
OpenAI NewsAI 评分2929 OpenAI 发布无监督情感神经元
OpenAI 开发了一种无监督系统，仅通过预测 Amazon 评论文本中的下一个字符进行训练，却学习到了极佳的情感表示。
OpenAI NewsAI 评分1212 OpenAI 谈深度学习基础设施的重要性
OpenAI 指出深度学习是一门经验科学，团队的基础设施质量是进步的关键倍增器。当前开源生态系统已使任何人都有可能构建优秀的深度学习基础设施。
OpenAI NewsAI 评分1313 OpenAI 介绍生成模型项目与原理
OpenAI 发布文章阐述四个基于生成模型的项目，并解释其作为无监督学习分支的定义、重要性及未来方向。
Ethereum Blog精选AI 评分6565 以太坊 Serenity 协议：抽象与账户改进
以太坊 Serenity 协议的第一部分介绍了抽象和账户改进，包括将所有账户类型统一为合约、简化交易结构和引入新的状态存储方式。
推荐理由：原文详细介绍了 Serenity 的抽象功能，包括账户、区块和存储的改进，读者可以了解其设计思路和潜在影响。