Hugging Face 将 Decision Transformer 集成至 Transformers 库
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成到 🤗 transformers 库和 Hub。该模型基于 GPT-2 架构,将 RL 转化为序列建模问题,通过自回归生成动作以达成目标回报。目前提供 Gym 环境中 Hopper、Walker2d 和 Halfcheetah 任务的九个预训练检查点。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成到 🤗 transformers 库和 Hub。该模型基于 GPT-2 架构,将 RL 转化为序列建模问题,通过自回归生成动作以达成目标回报。目前提供 Gym 环境中 Hopper、Walker2d 和 Halfcheetah 任务的九个预训练检查点。
huggingface_hub 库引入 ModelSearchArguments 和 ModelFilter,简化在 Hugging Face Hub 上通过代码搜索模型和数据集的流程。ModelSearchArguments 提供人类可读的参数映射,消除手动构造查询字符串的试错成本;ModelFilter 支持处理包含多任务、多数据集及多框架兼容性的复杂组合查询。
Hugging Face Hub 正式集成 PyTorch 深度强化学习库 Stable-Baselines3,支持用户托管和加载训练好的智能体模型。开发者可通过 `huggingface_sb3` 库轻松下载社区预训练模型或上传自训模型至 Hub。未来计划扩展 RL-baselines3-zoo 集成及 Decision Transformers 实现。
Hugging Face 正式收购开源库 Gradio,旨在进一步降低机器学习的可访问性。Gradio 自 2019 年发布以来已支持创建超过 30 万个演示应用,此次合并将结合 Hugging Face 的模型分发能力与 Gradio 的快速界面构建工具,使非技术用户也能通过浏览器轻松使用、调试和分享机器学习模型。
Hugging Face 发布首个基于 Unity ML-Agents 的深度强化学习环境 Snowball Fight,该游戏已托管于 Hugging Face Spaces。团队计划构建开源生态,支持用户分享自定义环境与模型,并将推出采用 MA-POCA 算法的 2vs2 协作版本及教程。
Hugging Face 发布开源 Python 库及无代码界面 Data Measurements Tool,支持在线构建、测量和比较数据集。该工具基于 Dataset 和 Spaces Hubs 与 Streamlit 开发,提供描述性统计、分布统计及 Zipf 定律符合度等指标,帮助用户识别数据缺失、重复值及标签不平衡问题。
Hugging Face 将于11月15日发布课程第二部分,涵盖 token 分类、语言建模等 NLP 任务及 🤗 Datasets 和 🤗 Tokenizers 工具。配套举办两天社区活动,包含专家讲座与模型微调团队项目,参与者可获证书。AWS 通过 Amazon SageMaker 提供免费算力支持。
Gradio 集成 Inference API,支持通过几行代码在 Hugging Face Hub 上演示模型。开发者可利用 Spaces 免费托管 Python ML 应用,并借助 Series 功能混合搭配不同模型(如翻译与生成)。该方案兼容 Transformers、spaCy 等框架及多种模态任务。
Hugging Face Hub 公共模型仓库数量从 10,000 增至超 16,000,并推出 Spaces Beta、TensorBoard 集成及新评估指标功能。
Hugging Face 推出开源库 Optimum,旨在简化 Transformer 模型在特定硬件上的训练与推理性能优化。该工具包通过与 Intel 等硬件合作伙伴协作,抽象了量化、稀疏化等加速技术的复杂性,帮助工程师高效部署 BERT、ViT 等模型。
Hugging Face 联合 Graphcore 启动硬件合作伙伴计划,通过 Optimum 工具库提供针对 Intelligence Processing Unit (IPU) 优化的 Transformer 模型。开发者可借助 Poplar SDK 在 PyTorch/TensorFlow 框架下无缝部署 BERT 等 SOTA 模型,实现生产级加速并降低代码复杂度。
OpenAI 正式发布 Triton 1.0,这是一个用于编写高性能深度学习原语的语言和编译器。Triton 允许开发者使用类似 Python 的语法直接操作 GPU,无需掌握 CUDA C++ 或复杂的底层优化技巧,即可实现接近专家手写代码的性能。该工具旨在简化自定义神经网络层、注意力机制及优化器的开发流程,目前已在 GitHub 开源并支持 PyTorch 集成。
spaCy 正式接入 Hugging Face Hub,用户可通过 `spacy-huggingface-hub` 库一键上传模型并自动生成元数据。Hub 内已收录超 60 个来自 spaCy 3.1 版本的官方模型,支持通过 pip 直接安装及调用推理 API。目前集成提供 NER 组件的交互式 Widget,文本分类与 POS 标注功能即将上线。
Hugging Face Hub 正式集成 Sentence Transformers v2,支持加载超过 90 个覆盖 100 多种语言的预训练模型。Hub 新增特征提取和句子相似度两个交互组件,并提供 Inference API 端点供程序化调用。用户可通过 `save_to_hub` 快速分享模型,自动生成的模型卡片将展示架构详情及使用示例。
Gradio 2.0 允许开发者通过一行代码加载 Hugging Face Model Hub 上的模型并生成图形界面。该功能默认调用 Hugging Face Inference API,也支持本地运行 transformers 库进行计算。用户可将多个模型并行对比或串联组合,快速构建复杂应用与演示。
Hugging Face 推出 🤗 Accelerate,让 PyTorch 训练脚本在任意设备上运行。该库通过极简 API 抽象分布式训练与混合精度代码,支持多 GPU、TPU 及 fairscale、DeepSpeed 等方案。
Hugging Face 成功将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 库。该工作基于 en-ru/ru-en 预训练模型,通过编写转换脚本处理双独立词汇表及合并词汇表差异,实现了模型架构、配置及分词器的完整适配。
OpenAI 的 GPT-4 模型通过人类反馈的强化学习,提升了总结能力。
Hugging Face 利用 Transformers 和 Tokenizers 库,在 Esperanto 语料上从零训练了名为 EsperBERTo 的 84M 参数 RoBERTa-like 模型。该模型包含 6 层、768 隐藏维度及 12 个注意力头,并针对低资源语言优化了 Byte-level BPE 分词器。
OpenAI推出Glow模型,采用可逆1x1卷积,简化架构,生成高分辨率图像,支持高效采样,并发现可操控数据属性的特征。同时提供模型代码和在线可视化工具,供用户探索和构建。
OpenAI 训练的智能体通过单次人类演示学会玩 Montezuma’s Revenge,得分高达74,500分,优于之前任何已发布结果;采用与 OpenAI Five 相同的强化学习算法 PPO 进行游戏得分优化。
OpenAI 发布了一篇论文,提出了一种结合监督学习和无监督预训练的新方法,在多个语言任务上取得了最先进的成果,并计划开源。
OpenAI 开发了名为 Reptile 的元学习算法,该算法通过重复采样任务、在任务上执行随机梯度下降并更新初始参数,使其向最终参数学习。Reptile 是将最短下降算法应用于元学习环境,与仅需要黑盒访问优化器(如 SGD 或 Adam)的第一阶 MAML 算法在数学上相似,具有相似的计算效率和性能。
OpenAI 推出针对块稀疏神经网络架构的GPU内核,该内核能实现比cuBLAS或cuSPARSE快数个数量级的运行速度;已应用于文本情感分析和文本及图像生成模型,取得业界领先成果。
OpenAI 在 Baselines 中发布了 ACKTR 和 A2C 两个新实现。A2C 是 A3C 的同步确定性变体,性能相当;ACKTR 比 TRPO 和 A2C 样本效率更高,且每次更新仅略增计算量。
OpenAI 指出深度学习是一门经验科学,团队的基础设施质量是进步的关键倍增器。当前开源生态系统已使任何人都有可能构建优秀的深度学习基础设施。
OpenAI 发布强化学习算法开发工具包 OpenAI Gym 的公开测试版。该工具包含从模拟机器人到 Atari 游戏的多种环境,并提供一个用于比较和复现结果的平台。