Hugging Face 与 Flower 联合实现联邦学习教程
本教程展示了如何利用 Hugging Face 和 Flower 在多个客户端上联合训练语言模型。以对 IMDB 评分数据集进行序列分类为例,微调预训练的 Transformer 模型(distilBERT),以检测电影评分是正面还是负面。
本教程展示了如何利用 Hugging Face 和 Flower 在多个客户端上联合训练语言模型。以对 IMDB 评分数据集进行序列分类为例,微调预训练的 Transformer 模型(distilBERT),以检测电影评分是正面还是负面。
Hugging Face 博客详细介绍了如何使用 ControlNet 和 diffusers 训练模型,包括规划条件、构建数据集和模型训练等步骤。以 Uncanny Faces 模型为例,展示了如何使用 FaceSynthetics 数据集进行训练,并讨论了模型训练过程中的挑战和解决方案。
Hugging Face Hub 现已增强对 Jupyter 笔记本的支持,提供更直观的渲染功能,并支持一键在 Google Colab 中直接打开笔记本,以促进模型和数据的共享与使用。
Witty Works利用Hugging Face的专家加速计划,通过迁移学习预训练的spaCy模型,构建了写作助手,用于检测和过滤潜在偏见词汇。Hugging Face专家建议使用Sentence Transformers架构和SetFit库进行微调,以减少标注数据量并提高效率。最终,Witty Works在Azure上部署了模型,实现了低延迟。
Fetch公司利用Hugging Face和AWS平台,开发了自己的AI工具,用于处理用户上传的收据,实现数据分析和存储。通过这种方式,Fetch将开发时间缩短了30%,并提高了数据处理速度,同时降低了成本。
本教程介绍了如何使用ChatGPT等AI工具创作游戏故事,通过实际案例展示了AI在游戏开发中的应用。教程强调了语言模型在创作故事时的局限性,并提供了使用AI进行故事创作的实用技巧。
Hugging Face 推出 AI vs. AI,一个基于深度强化学习的多智能体竞赛系统,通过匹配算法、数据集和排行榜评估强化学习模型在多智能体环境中的性能。该系统采用 ELO 评分系统,通过模型间对抗性比赛生成相对技能评分,为多智能体环境提供一种稳健的评估技术。
Intel Sapphire Rapids CPU通过结合集群服务器和Intel Extension for PyTorch库,实现了与上一代Xeon相比的8倍速度提升,并展示了在Hugging Face Optimum Intel库支持下,对NLP模型进行推理的性能测试。
Hugging Face 博客发布了一篇关于使用 AI 工具生成 2D 资产的游戏开发教程,介绍了如何利用 Stable Diffusion 模型在 2D 工作流程中生成 2D 资产,并提供了具体的案例和步骤。教程适用于熟悉图像编辑和 2D 资产创建的读者,同时对于初学者和专家也具有参考价值。
本文探讨了AI在游戏开发中生成3D资产的应用。虽然目前文本到3D技术尚未成熟,但已有如DreamFusion、CLIPMatrix、CLIP-Mesh-SMPLX等工具在生成3D模型方面取得进展。然而,这些技术生成的模型需要大量后期处理才能用于游戏开发。未来,随着NeRF到网格的转换和网格生成技术的改进,文本到3D技术有望在游戏开发中发挥更大作用。
Hugging Face 发布了 Mask2Former 和 OneFormer,两种用于图像分割的神经网络,它们现在可在 Hugging Face Transformers 库中使用。Mask2Former 和 OneFormer 支持实例分割、语义分割和全景分割,并提供了使用指南和示例代码。
推荐理由:介绍了 Mask2Former 和 OneFormer 两种先进的图像分割神经网络,并提供了在 Hugging Face Transformers 库中使用的指南,对图像分割领域的研究者和开发者有参考价值。
Hugging Face 博客介绍了如何使用 🤗 Transformers 和 datasets 库构建图像相似度系统,通过计算图像嵌入并使用余弦相似度来比较查询图像和候选图像的相似度。该系统使用基于 ViT 的模型和 Beans 数据集,并支持扩展到其他视觉模型和图像数据集。
在5天内使用AI工具创建一个完整的农场游戏,本教程介绍了如何利用ChatGPT等AI工具进行游戏设计,包括作物多样性、挑战性进阶系统、动态交互环境、社交和多人游戏功能以及沉浸式故事或主题。同时,探讨了语言模型的工作原理及其在游戏开发中的应用,并讨论了ChatGPT的局限性。
本文介绍了图机器学习的基本概念、应用和代表性方法,包括图的结构、表示、预神经方法、图神经网络和图 Transformer。
推荐理由:本文介绍了图机器学习的基本概念、应用和代表性方法,对于想要了解该领域的读者具有参考价值。
在本系列教程中,作者将使用 AI 工具在 5 天内创建一个完整的农场游戏。教程介绍了如何使用 Stable Diffusion 模型生成游戏的艺术风格,并使用 Unity 游戏引擎实现游戏场景。教程适用于熟悉 Unity 开发和 C# 的读者。
Hugging Face 博客介绍了如何使用 Intel Sapphire Rapids 服务器集群加速 PyTorch Transformers 的训练。通过 Intel oneAPI Collective Communications Library (CCL) 和 Intel Extension for PyTorch (IPEX) 库,可以在不修改代码的情况下实现加速。
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,包括模型卡片创建工具、更新模板、注释模板、用户研究和文献综述。
推荐理由:Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,对开发者、学生、政策制定者等不同背景的用户都有价值。
Hugging Face团队探讨了机器学习中的偏见问题,并分享了他们的工具和方法,以帮助识别和减轻偏见,构建更公平、更安全的机器学习系统。
推荐理由:文章深入探讨了机器学习中的偏见问题,并提供了Hugging Face团队开发的工具和方法,读者可以了解如何识别和减轻偏见,以及如何构建更公平、更安全的机器学习系统。
Hugging Face 🤗 Datasets 是一个开源库,支持用户下载和准备来自所有领域的音频数据集。其简洁的 API 允许用户通过一行 Python 代码下载和准备数据集,并提供了高效的预处理功能。
Hugging Face 推出 Bumblebee 库,实现 Hugging Face Transformers 在 Elixir 中的纯 Elixir 实现,助力 Elixir 社区 AI 发展。
OpenAI 超级计算团队工程师 Christian Gibson 正在探索后端系统的细微之处。该文章聚焦于这位工程师在 OpenAI 内部负责的高性能计算基础设施相关工作,未披露具体技术突破或产品发布细节。
本文介绍了深度学习在蛋白质研究中的应用,包括蛋白质折叠预测和分类任务,并提供了相关工具和资源。
Hugging Face发布2023实习生招聘计划,涵盖开源团队、科学团队及其他职位,旨在推动AI和机器学习领域的发展,并强调多元化和包容性。实习生将参与前沿项目,如加速库集成、文本到语音、具身AI、分布式训练框架等。申请者可通过Hugging Face招聘门户直接申请。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。
Hugging Face 博客发布机器学习洞察系列第四部分,邀请多位机器学习行业领导者分享他们对机器学习在各行业影响的看法。Javier Mansilla,Shaun Gittens,Samuel Franklin 和 Evan Castle 等人分享了他们在电子商务、工程和金融等领域对机器学习的应用和挑战的看法。
Hugging Face 提供免费推理小部件和 API,支持模型快速测试和部署;Inference Endpoints 可在 AWS 或 Azure 上部署模型,支持自动扩展和多种安全级别;Spaces 可在简单 UI 框架上部署模型,支持硬件升级。
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密(FHE)环境下进行机器学习模型训练的方法,通过结合 transformers 和 XGBoost 实现对加密数据的情感分析,并提供了详细的教程和示例。
Hugging Face 与 arXiv 合作,将 Hugging Face Spaces 集成到 arXivLabs,通过演示标签提供社区或作者创建的演示链接。自 2021 年 10 月推出以来,Hugging Face Spaces 已被用于构建和分享超过 12,000 个开源机器学习演示。用户现在可以在 arXiv 摘要页面上找到最受欢迎的演示。
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本,并提供了优化建议。实验表明,低学习率与合适的训练步数能提高图像质量,训练人脸模型时需更多步数。此外,使用先验保持技术可减少人脸训练中的过拟合问题。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
本文介绍了如何使用 PyTorch DDP、Accelerate 和 Transformer 的 Trainer API 进行分布式训练,通过三个不同层次的抽象,展示了如何在多个 GPU 上进行模型训练,并提供了详细的代码示例和解释。
Hugging Face 推出 Inference Endpoints,简化机器学习模型部署流程,支持从 Hugging Face hub 一键部署至云基础设施,提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限,并通过 API 调用或界面测试模型。
Hugging Face Diffusers 从 0.5.1 版本开始支持 Flax,可在 Google TPUs 上实现超快推理,如 Colab、Kaggle 或 Google Cloud Platform。本文介绍了如何使用 JAX/Flax 运行推理,并提供了相关 Colab 笔记本链接。
Hugging Face 推出 Decision Transformers,一种基于 Transformer 的决策模型,通过序列建模实现强化学习。该模型可离线训练,使用预训练权重,并支持自定义数据预处理。在 Gym HalfCheetah 环境中,该模型可学习专家行为,实现半猫奔跑。
Hugging Face 发布教程,指导用户利用 NVIDIA 的 Megatron-LM 框架在 GPU 上高效训练 GPT2 等语言模型。该框架通过 Fused CUDA Kernels 和优化的 DataLoader 显著提升训练速度,并支持将模型转换为 🤗 Transformers 格式。
在 Hugging Face Spaces 中,可通过 Gradio 的 HTML 块集成 3Dmol.js 实现蛋白质结构可视化。该方案支持输入 PDB 代码或上传文件,利用 iframe 渲染 3D 模型,适用于 AlphaFold2 等预测结果的展示。
Hugging Face 发布教程,介绍如何使用 Habana Gaudi 基于的 DL1 实例在 AWS 上从零开始预训练 BERT-base 模型,利用 Gaudi 的成本性能优势。教程使用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,通过掩码语言建模预训练 BERT-base 模型。
Hugging Face 展示了如何将 ViT B/16 TensorFlow 模型部署至 Google Cloud Vertex AI,实现与 Kubernetes 同等扩展性但代码量显著减少。
Hugging Face 展示如何利用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练 Vision Transformer (ViT) 模型。