Hugging Face 指导:使用生成式 AI 工作流程创建实用 3D 资产
Hugging Face 发布了使用生成式 AI 工作流程创建实用 3D 资产的指南,通过 Shap-E 模型生成 3D 模型,并使用 Dream Textures 添加纹理,实现低保真风格的 3D 资产制作。
Hugging Face 发布了使用生成式 AI 工作流程创建实用 3D 资产的指南,通过 Shap-E 模型生成 3D 模型,并使用 Dream Textures 添加纹理,实现低保真风格的 3D 资产制作。
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重,这些模型在知识蒸馏技术训练下,参数量分别比基础模型减少了35%和55%,同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取,蒸馏模型在推理速度上比原始模型快100%。
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展,通过NodeJS和TypeScript实现,使用Zeroscope V2模型生成视频,并配合MusicGen生成音乐,通过FFmpeg进行视频流广播。
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion,使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集,研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务,如卡通化、去雨和去噪。实验结果表明,这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术,旨在解决数据重复问题,提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法,在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果,同时验证了其在代码模型上的有效性。
Vicuna 13B,一款由UC Berkeley等机构开发的13亿参数开源聊天机器人,在GPT-4的参考下达到90%以上质量。本文介绍了如何在单张AMD GPU上使用ROCm运行Vicuna 13B模型,包括系统要求、ROCm安装、Docker容器设置、模型量化和推理等步骤。
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力,包括图像变体和图像修复。
推荐理由:介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力。
Databricks 推出与 Hugging Face 的合作,通过 Apache Spark™ dataframe 直接创建 Hugging Face Dataset,简化模型训练和调优流程。新功能将 Spark 的数据处理效率和 Hugging Face 的数据集优化相结合,将 16GB 数据集的处理时间从 22 分钟缩短至 12 分钟,速度提升超过 40%。
ChatGPT 用户可关闭聊天历史,自主选择用于模型训练的对话数据,提升数据管理灵活性。
Hugging Face 推出面向中文用户的博客,提供包括 Transformer、扩散模型和强化学习等资源的翻译,旨在促进中西方 AI 社区合作。博客强调中国 AI 社区的成就,如 HuggingGPT、ChatGLM 等,并计划加强与中国合作伙伴的合作,共同推动 AI 发展。
Hugging Face 推出 AI vs. AI,一个基于深度强化学习的多智能体竞赛系统,通过匹配算法、数据集和排行榜评估强化学习模型在多智能体环境中的性能。该系统采用 ELO 评分系统,通过模型间对抗性比赛生成相对技能评分,为多智能体环境提供一种稳健的评估技术。
本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
推荐理由:本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
本文探讨了AI在游戏开发中生成3D资产的应用。虽然目前文本到3D技术尚未成熟,但已有如DreamFusion、CLIPMatrix、CLIP-Mesh-SMPLX等工具在生成3D模型方面取得进展。然而,这些技术生成的模型需要大量后期处理才能用于游戏开发。未来,随着NeRF到网格的转换和网格生成技术的改进,文本到3D技术有望在游戏开发中发挥更大作用。
在5天内使用AI工具创建一个完整的农场游戏,本教程介绍了如何利用ChatGPT等AI工具进行游戏设计,包括作物多样性、挑战性进阶系统、动态交互环境、社交和多人游戏功能以及沉浸式故事或主题。同时,探讨了语言模型的工作原理及其在游戏开发中的应用,并讨论了ChatGPT的局限性。
Hugging Face团队探讨了机器学习中的偏见问题,并分享了他们的工具和方法,以帮助识别和减轻偏见,构建更公平、更安全的机器学习系统。
推荐理由:文章深入探讨了机器学习中的偏见问题,并提供了Hugging Face团队开发的工具和方法,读者可以了解如何识别和减轻偏见,以及如何构建更公平、更安全的机器学习系统。
本文详细介绍了从人类反馈中进行强化学习(RLHF)的技术,包括其原理、训练过程、应用案例以及开源工具。
推荐理由:本文详细介绍了RLHF技术及其应用,对理解语言模型的发展具有重要意义。
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密(FHE)环境下进行机器学习模型训练的方法,通过结合 transformers 和 XGBoost 实现对加密数据的情感分析,并提供了详细的教程和示例。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
Hugging Face 发布了 🤗 Evaluate 工具,用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法,帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由:该工具提供了评估大型语言模型偏见的方法,有助于读者了解模型在偏见方面的表现。
本文介绍了如何使用 PyTorch DDP、Accelerate 和 Transformer 的 Trainer API 进行分布式训练,通过三个不同层次的抽象,展示了如何在多个 GPU 上进行模型训练,并提供了详细的代码示例和解释。
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务,目前汇总了超过 2000 个结果。MTEB 还支持多语言模型,并提供了开源代码库供用户提交模型和结果。
推荐理由:MTEB 提供了一个全面的文本嵌入模型性能基准,读者可以了解不同模型在不同任务上的表现,从而选择最适合自己的模型。
Hugging Face 推出 Inference Endpoints,简化机器学习模型部署流程,支持从 Hugging Face hub 一键部署至云基础设施,提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限,并通过 API 调用或界面测试模型。
Hugging Face 发布了首期 Ethics and Society Newsletter,强调公司对协作、责任和透明度的重视,并探讨了AI伦理与透明度的重要性。该刊由公司内部一群关注AI社会影响和Hugging Face角色的平等成员共同编写,旨在通过社区讨论、工具开发等方式,推动AI伦理的实践和价值观的体现。
Hugging Face 推出 Skops,一款开源机器学习模型托管与协作工具,支持将 scikit-learn 模型托管在 Hugging Face Hub,创建模型卡片进行文档化和协作。Skops 可用于模型训练、保存、配置文件生成、模型卡片创建、模型评估和可视化等功能。
Hugging Face 发布 Private Hub,旨在解决约 90% 模型无法投产的痛点。该平台整合了 Hub 上超 6 万个开源模型、数据集及 Spaces,提供从研究到生产的全生命周期工具。它支持私有化部署与合规访问控制,帮助企业加速 ML 开发流程并促进内部协作。
Nyströmformer 通过 Nyström 方法近似自注意力机制,在 NLP 和 CV 任务上表现优异,并提供了开源实现。
Hugging Face 向白宫科技政策办公室和 NSF 提交关于 NAIRR 实施路线图的反馈,支持其民主化 AI 的努力。建议包括任命伦理技术专家、采用 Model Cards 文档标准、通过 AutoTrain 等低代码工具降低门槛,以及利用 BigScience Workshop 经验推动多语言开源协作。
Hugging Face 联合 BigScience 项目发布拥有 176B 参数的多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言生成。该模型完全透明训练,提供中间检查点与优化器状态,并附带基于 Google TPU 云的推理 API 供快速测试。用户需遵守 Responsible AI License 方可在本地或云端使用,团队计划后续增加指令微调能力并扩展更多语言。
推荐理由:原文披露了 BLOOM 的参数量、多语言支持及训练透明度细节,读者可据此评估其在学术研究与开放部署中的实际可用性。
Hugging Face 推出 Evaluation on the Hub,这是一项由 AutoTrain 驱动的新功能,允许用户在 Hub 上无需编写代码即可对任意模型在任意数据集上进行评估。该工具通过 Pull Request 自动将验证后的性能结果写入模型卡片元数据,并提供排行榜以辅助模型对比。目前支持文本分类、命名实体识别等任务,旨在解决现代 AI 评估中的繁琐与可复现性问题。
Intel 加入 Hugging Face 硬件合作伙伴计划,双方基于开源库 Optimum Intel 协作优化 Transformers 模型的训练、微调和推理性能。该方案利用 Intel Xeon CPU 和 Habana Gaudi 加速器,在 DistilBERT 上实现了个位数毫秒级延迟,且 Habana Gaudi 相比 GPU 提供高达 40% 的性价比优势。
Graphcore 与 Hugging Face 扩展 Hugging Face Optimum 库,新增 10 款针对 IPU 优化的 Transformer 模型。
Hugging Face Hub 在 Community 标签页为模型、数据集和 Spaces 上线 Pull Requests 与 Discussions 功能。该更新允许社区成员直接参与讨论及提交代码,无需创建 fork,而是通过自定义 refs 分支简化协作流程。这是 Hub 迄今最大规模的功能升级,旨在促进机器学习领域的开源协作与伦理反馈。
Hugging Face 推出 Fellowship 计划,旨在支持对开源机器学习生态有卓越贡献的个人。该计划通过提供计算资源、官方认可及物资奖励赋能关键贡献者,入选者由团队或现有 Fellow 提名而非申请。首批 Fellow 包括创建西班牙语 NLP 社区及贡献超 300 个模型的开发者,学生可另行申请 Student Ambassador Program。
Hugging Face 宣布开启首个学生大使计划,旨在推动机器学习民主化并支持校园社区建设。申请者需在 2022 年 6 月 13 日前提交申请,入选者将获得官方认证、Hugging Face 团队的工作坊支持及最新项目洞察等资源。该计划将于 6 月 30 日正式启动,持续至 12 月 31 日结束。
Hugging Face 宣布获得 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia 和 Coatue 等机构参与。该平台目前托管了超过 10 万个预训练模型和 1 万个数据集,已有逾 1 万家企业使用其服务。这笔资金将用于加倍投入研究、开源项目以及推动 AI 的负责任民主化,同时支持正在进行的 BigScience 多语言大模型训练工作。
推荐理由:Hugging Face 宣布完成由 Lux Capital 领投的 1 亿美元 C 轮融资,资金将用于加强研究、开源产品及负责任地普及 AI。
Hugging Face Hub 正式集成 fastai,用户可通过 `push_to_hub_fastai` 函数以单行 Python 代码上传 Learner 对象。该功能基于 `huggingface_hub` 库实现,支持自动创建模型卡片及 Git 版本控制。开发者可使用 `from_pretrained_fastai` 从 Hub 加载预训练模型进行推理或迁移学习。
Hugging Face 发布面向全球的教育计划,旨在通过免费课程和工具降低机器学习门槛。该计划涵盖 NLP、深度强化学习及 Gradio 交互演示等主题,并提供多语言教学套件。Hugging Face 设定了到 2023 年底教会 500 万人的目标,此前已在 16 个国家培训超 1000 名学生。
Hugging Face 机器学习工程师 Lewis Tunstall 分享其职业历程,包括与 Leandro von Werra 合著《NLP with Transformers》并加入 HF。他重点介绍了在 transformers 库中实现 ONNX 格式导出功能,以解决大模型部署中的延迟和吞吐量挑战。该工作旨在通过开源工具链优化生产环境下的推理效率,降低 ML 工程师的部署复杂度。
Habana Labs 与 Hugging Face 宣布合作,通过集成 SynapseAI 软件套件与 Optimum 开源库,使开发者仅需少量代码即可在 Gaudi 处理器上加速 Transformer 模型训练。Habana Gaudi 解决方案的性价比比同类方案高 40%,支持从单卡到数千卡的系统扩展,并兼容 TensorFlow 和 PyTorch 框架。
Hugging Face Transformers 库刻意违背“不要重复自己”(DRY)原则,转而采用“单模型文件策略”,将模型前向传播所需代码集中在一个文件中。这一设计旨在降低开源社区贡献门槛、提升代码可读性,并适应机器学习领域快速演进导致的架构标准难以统一的问题。