Graphcore 与 Hugging Face 推出支持 IPU 的 Optimum Transformers 新模型阵容
Graphcore 与 Hugging Face 扩展 Hugging Face Optimum 库,新增 10 款针对 IPU 优化的 Transformer 模型。
Graphcore 与 Hugging Face 扩展 Hugging Face Optimum 库,新增 10 款针对 IPU 优化的 Transformer 模型。
Hugging Face Hub 在 Community 标签页为模型、数据集和 Spaces 上线 Pull Requests 与 Discussions 功能。该更新允许社区成员直接参与讨论及提交代码,无需创建 fork,而是通过自定义 refs 分支简化协作流程。这是 Hub 迄今最大规模的功能升级,旨在促进机器学习领域的开源协作与伦理反馈。
TAPEX 通过让 BART 模型学习执行合成 SQL 查询,实现了无需真实标注数据的高效表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得 SOTA 成绩,其中 WikiSQL 准确率达 89.6%,TabFact 达 84.2%。
Hugging Face 发布深度强化学习课程第二部分,详解 Q-Learning 算法并指导从零构建智能体。该 off-policy 方法利用 TD 更新动作价值函数,通过 Epsilon Greedy 策略平衡探索与利用。学员将在 Frozen Lake v1 和自动驾驶出租车环境中训练首个 RL 智能体,为后续 Deep Q-Learning 奠定基础。
Sempre Health 借助 Hugging Face Expert Acceleration Program 构建 NLP 管道,实现入站消息自动分类与回复。该方案上线后,超过 20% 的入站消息由新系统自动处理,显著提升了业务可扩展性并优化了团队工作流。
Hugging Face 多模态学习团队于2022年5月发布伦理章程,将透明度、开放性、公平性等原则纳入机器学习生命周期。该文档旨在应对数据隐私与算法偏见风险,明确禁止生成有害内容或侵犯隐私,并承诺通过GitHub追踪更新以接受社区反馈。
Hugging Face 发布深度强化学习课程第二部分,详解基于价值的方法及 Q-Learning 算法基础。内容涵盖状态-动作值函数、Bellman 方程以及蒙特卡洛与时序差分学习的区别。该教程旨在为后续实现 Frozen-Lake 和 Taxi 环境中的智能体及 Deep Q-Learning 奠定理论基础。
Hugging Face 研究科学家 Sasha Luccioni 在播客中分享其关于机器学习模型伦理及社会影响的工作。她担任 Big Science Workshop 碳足迹工作组联合主席,致力于评估 AI 的环境成本,包括训练能耗及制造过程排放。Luccioni 强调数据策划、多语言支持及透明度对构建负责任的大语言模型至关重要。
Hugging Face 推出 Fellowship 计划,旨在支持对开源机器学习生态有卓越贡献的个人。该计划通过提供计算资源、官方认可及物资奖励赋能关键贡献者,入选者由团队或现有 Fellow 提名而非申请。首批 Fellow 包括创建西班牙语 NLP 社区及贡献超 300 个模型的开发者,学生可另行申请 Student Ambassador Program。
Hugging Face 发布 Gradio 3.0,对前端进行了彻底重构并引入了新的低级别 API Gradio Blocks。新版本采用 Svelte 技术优化了加载速度和界面设计,支持拖拽 CSV 等交互改进,并通过 Blocks 允许开发者在 Python 中直接构建具有复杂布局、多步数据流和动态组件属性的自定义 Web 应用。
Hugging Face Blog 推出《机器学习总监洞察》系列第二部分,聚焦 SaaS 行业。文章收录 Salesforce、Amplitude 等公司 ML 总监观点,探讨 NLP 路由、预测优化及数据孤岛挑战。内容涵盖将传统规则系统转为 ML 方案以降低代码复杂度,以及利用简单模型解决业务问题的经验。
Hugging Face 宣布开启首个学生大使计划,旨在推动机器学习民主化并支持校园社区建设。申请者需在 2022 年 6 月 13 日前提交申请,入选者将获得官方认证、Hugging Face 团队的工作坊支持及最新项目洞察等资源。该计划将于 6 月 30 日正式启动,持续至 12 月 31 日结束。
Hugging Face Optimum 1.2 版本新增对 Transformers pipelines 的推理支持,允许用户通过替换类名无缝切换至 ONNX Runtime 加速后端。
Hugging Face 宣布获得 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia 和 Coatue 等机构参与。该平台目前托管了超过 10 万个预训练模型和 1 万个数据集,已有逾 1 万家企业使用其服务。这笔资金将用于加倍投入研究、开源项目以及推动 AI 的负责任民主化,同时支持正在进行的 BigScience 多语言大模型训练工作。
推荐理由:Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,资金将用于加强研究、开源产品及负责任地普及 AI。
Hugging Face Hub 正式集成 fastai,用户可通过 `push_to_hub_fastai` 函数以单行 Python 代码上传 Learner 对象。该功能基于 `huggingface_hub` 库实现,支持自动创建模型卡片及 Git 版本控制。开发者可使用 `from_pretrained_fastai` 从 Hub 加载预训练模型进行推理或迁移学习。
Hugging Face 发布免费“Deep Reinforcement Learning Class”课程第一章,系统讲解深度强化学习的理论基础。内容涵盖 RL 框架、马尔可夫决策过程及奖励假设等核心概念,并指导用户利用 Stable Baselines3 等库训练智能体上传至 Hub。
Hugging Face Accelerate 库现已支持 PyTorch FullyShardedDataParallel (FSDP),无需修改代码即可启用。在 GPT-2 XL (1.5B) 训练中,FSDP 结合 CPU Offload 使最大 batch size 达 22,相比 DDP 提升显著且避免 OOM。该功能通过分片优化器状态、梯度及参数,有效降低显存占用以训练大规模模型。
文章演示如何利用 HuggingFace AutoTrain 与 Kili 平台搭建针对 Medium 用户评论的主动学习文本分类管道。AutoTrain 自动化处理数据清洗、模型选择及超参数优化,支持多语言及多种 NLP 任务;Kili 提供协作标注工具以迭代构建高质量数据集。
Hugging Face 推出机器学习总监洞察系列,汇集多位资深总监对医疗、媒体等行业的见解。BuzzFeed 总监 Archi Mitra 指出深度学习推荐与贝叶斯技术正优化媒体个性化及测试效率。强生总监 Li Tan 强调 AI/ML 在制药领域应用广泛,但需解决训练集多样性挑战。
Hugging Face 联合 Habana Labs 推出基于 Habana Gaudi 的 Transformers 训练方案,其价格性能比最新 GPU EC2 实例高 40%。
Hugging Face 发布面向全球的教育计划,旨在通过免费课程和工具降低机器学习门槛。该计划涵盖 NLP、深度强化学习及 Gradio 交互演示等主题,并提供多语言教学套件。Hugging Face 设定了到 2023 年底教会 500 万人的目标,此前已在 16 个国家培训超 1000 名学生。
Hugging Face 发布教程,展示利用其生态工具模拟真实客服场景。文章指导将客户消息过滤定义为文本分类任务,并对比 GLUE、Amazon reviews multi 等数据集以筛选高满意度数据。该方案旨在通过自动化识别最不满意客户,提升响应效率。
Hugging Face Hub 推出基于 `emissions_threshold` 参数的模型搜索功能,用户可按训练产生的 CO2 克数范围筛选模型。同时,`transformers` 库集成 codecarbon,在训练时自动记录碳排放并生成 `emissions.csv` 文件,支持将数据写入模型卡片以提升透明度。
Hugging Face 机器学习工程师 Lewis Tunstall 分享其职业历程,包括与 Leandro von Werra 合著《NLP with Transformers》并加入 HF。他重点介绍了在 transformers 库中实现 ONNX 格式导出功能,以解决大模型部署中的延迟和吞吐量挑战。该工作旨在通过开源工具链优化生产环境下的推理效率,降低 ML 工程师的部署复杂度。
Habana Labs 与 Hugging Face 宣布合作,通过集成 SynapseAI 软件套件与 Optimum 开源库,使开发者仅需少量代码即可在 Gaudi 处理器上加速 Transformer 模型训练。Habana Gaudi 解决方案的性价比比同类方案高 40%,支持从单卡到数千卡的系统扩展,并兼容 TensorFlow 和 PyTorch 框架。
Hugging Face Transformers 库刻意违背“不要重复自己”(DRY)原则,转而采用“单模型文件策略”,将模型前向传播所需代码集中在一个文件中。这一设计旨在降低开源社区贡献门槛、提升代码可读性,并适应机器学习领域快速演进导致的架构标准难以统一的问题。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成到 🤗 transformers 库和 Hub。该模型基于 GPT-2 架构,将 RL 转化为序列建模问题,通过自回归生成动作以达成目标回报。目前提供 Gym 环境中 Hopper、Walker2d 和 Halfcheetah 任务的九个预训练检查点。
Hugging Face 研究员 Margaret Mitchell 分享其在 Google 创立 Ethical AI Group 的经历,强调数据偏见对模型输出的影响。她指出 ML 团队需建立包容性文化并完善伦理评估体系,以解决如将爆炸场景误判为美景等严重偏差问题。
Hugging Face 推出为期 9 个月的 AI 研究驻留计划,旨在帮助参与者成长为具有影响力的 AI 研究员。驻留人员将与科学团队共同开发机器学习技术并发表成果,申请截止于 2022 年 4 月 3 日。该职位为全职且支持远程工作,鼓励具备编程基础及关注社会正向影响的申请者加入。
本教程演示如何利用 🤗 transformers 库微调 SegFormer 模型,以构建披萨配送机器人的视觉系统。通过加载 segments/sidewalk-semantic 数据集并应用 ColorJitter 数据增强,模型能精准识别人行道像素。SegFormer 采用无位置编码的分层 Transformer 编码器,在多个基准测试中达到 SOTA 性能。
教程演示如何利用 AWS Inferentia 芯片将 Hugging Face Transformers 模型转换为 Neuron 格式,以加速 BERT 文本分类推理。AWS Inferentia 提供比 GPU 实例低 80% 的推理成本和高达 2.3 倍的吞吐量。通过 Amazon SageMaker 部署实时推理端点,可实现大规模 Transformer 工作负载的高效运行。
Hugging Face datasets 库新增图像特征类型,支持结合 sentence_transformers 和 faiss 构建图像搜索应用。该方案利用 ImageFolder loader 加载大英图书馆数字化书籍插图数据集,通过添加 faiss 索引实现高效相似性检索,解决了传统文本数据主导的局限。
Hugging Face 在 🤗 Transformers 中推出约束束搜索功能,允许用户通过 `force_words_ids` 等参数强制模型输出包含特定词汇。该特性解决了传统束搜索无法精准控制生成内容的问题,支持强制单词及析取约束等多种场景,显著提升了如神经机器翻译等任务中对输出格式和内容的可控性。
BERT 是 Google AI Language 于 2018 年开发的自然语言处理模型,通过双向编码解决 11+ 种常见任务。其训练基于 3.3B 词数据集,利用 Transformer 架构和 64 个 TPU 在 4 天内完成。DistilBERT 等轻量化版本运行速度提升 60%,同时保留超 95% 性能。
Hugging Face 演示如何利用 🤗 datasets 加载 beans 数据集,并基于 google/vit-base-patch16-224-in21k 模型微调 Vision Transformer (ViT) 以执行图像分类任务。
Hugging Face 发布 Python 情感分析入门指南,介绍如何利用 `transformers` 库中的预训练模型快速实现文本极性分类。该 Hub 提供超过 215 个公开的情感分析模型,支持通过 5 行代码调用默认或特定模型(如 Twitter-roberta-base-sentiment)。用户还可基于自有数据微调模型以提升特定场景下的准确率。
针对 Wav2Vec2 在长音频上因注意力机制复杂度导致内存溢出问题,本文提出利用 CTC 架构特性实施带步长的分块推理。通过 `chunk_length_s` 参数对重叠音频块进行推理并丢弃边缘 logits,可在有限硬件下实现高质量自动语音识别。该方法同样适用于集成语言模型的增强版模型及实时推理场景。
huggingface_hub 库引入 ModelSearchArguments 和 ModelFilter,简化在 Hugging Face Hub 上通过代码搜索模型和数据集的流程。ModelSearchArguments 提供人类可读的参数映射,消除手动构造查询字符串的试错成本;ModelFilter 支持处理包含多任务、多数据集及多框架兼容性的复杂组合查询。
Hugging Face Hub 正式集成 PyTorch 深度强化学习库 Stable-Baselines3,支持用户托管和加载训练好的智能体模型。开发者可通过 `huggingface_sb3` 库轻松下载社区预训练模型或上传自训模型至 Hub。未来计划扩展 RL-baselines3-zoo 集成及 Decision Transformers 实现。
Hugging Face Infinity 在 Amazon EC2 C6i(Intel Ice Lake)实例上运行 DistilBERT 模型,相比 vanilla transformers 实现最高 800% 的延迟与吞吐量提升。该方案通过容器化部署优化推理管线,支持特征提取、排序等任务,但已于 2022 年 12 月停止作为商业推理解决方案提供。