Hugging Face 推出模型卡片工具和指南
Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,包括模型卡片创建工具、更新模板、注释模板、用户研究和文献综述。
推荐理由:Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,对开发者、学生、政策制定者等不同背景的用户都有价值。
Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,包括模型卡片创建工具、更新模板、注释模板、用户研究和文献综述。
推荐理由:Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,对开发者、学生、政策制定者等不同背景的用户都有价值。
Hugging Face团队探讨了机器学习中的偏见问题,并分享了他们的工具和方法,以帮助识别和减轻偏见,构建更公平、更安全的机器学习系统。
推荐理由:文章深入探讨了机器学习中的偏见问题,并提供了Hugging Face团队开发的工具和方法,读者可以了解如何识别和减轻偏见,以及如何构建更公平、更安全的机器学习系统。
Hugging Face 🤗 Datasets 是一个开源库,支持用户下载和准备来自所有领域的音频数据集。其简洁的 API 允许用户通过一行 Python 代码下载和准备数据集,并提供了高效的预处理功能。
Hugging Face 推出 Bumblebee 库,实现 Hugging Face Transformers 在 Elixir 中的纯 Elixir 实现,助力 Elixir 社区 AI 发展。
OpenAI 超级计算团队工程师 Christian Gibson 正在探索后端系统的细微之处。该文章聚焦于这位工程师在 OpenAI 内部负责的高性能计算基础设施相关工作,未披露具体技术突破或产品发布细节。
本文介绍了深度学习在蛋白质研究中的应用,包括蛋白质折叠预测和分类任务,并提供了相关工具和资源。
Hugging Face发布2023实习生招聘计划,涵盖开源团队、科学团队及其他职位,旨在推动AI和机器学习领域的发展,并强调多元化和包容性。实习生将参与前沿项目,如加速库集成、文本到语音、具身AI、分布式训练框架等。申请者可通过Hugging Face招聘门户直接申请。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。
Hugging Face 博客发布机器学习洞察系列第四部分,邀请多位机器学习行业领导者分享他们对机器学习在各行业影响的看法。Javier Mansilla,Shaun Gittens,Samuel Franklin 和 Evan Castle 等人分享了他们在电子商务、工程和金融等领域对机器学习的应用和挑战的看法。
Hugging Face 提供免费推理小部件和 API,支持模型快速测试和部署;Inference Endpoints 可在 AWS 或 Azure 上部署模型,支持自动扩展和多种安全级别;Spaces 可在简单 UI 框架上部署模型,支持硬件升级。
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密(FHE)环境下进行机器学习模型训练的方法,通过结合 transformers 和 XGBoost 实现对加密数据的情感分析,并提供了详细的教程和示例。
Hugging Face 与 arXiv 合作,将 Hugging Face Spaces 集成到 arXivLabs,通过演示标签提供社区或作者创建的演示链接。自 2021 年 10 月推出以来,Hugging Face Spaces 已被用于构建和分享超过 12,000 个开源机器学习演示。用户现在可以在 arXiv 摘要页面上找到最受欢迎的演示。
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本,并提供了优化建议。实验表明,低学习率与合适的训练步数能提高图像质量,训练人脸模型时需更多步数。此外,使用先验保持技术可减少人脸训练中的过拟合问题。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
本文介绍了如何使用 PyTorch DDP、Accelerate 和 Transformer 的 Trainer API 进行分布式训练,通过三个不同层次的抽象,展示了如何在多个 GPU 上进行模型训练,并提供了详细的代码示例和解释。
Hugging Face 推出 Inference Endpoints,简化机器学习模型部署流程,支持从 Hugging Face hub 一键部署至云基础设施,提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限,并通过 API 调用或界面测试模型。
Hugging Face Diffusers 从 0.5.1 版本开始支持 Flax,可在 Google TPUs 上实现超快推理,如 Colab、Kaggle 或 Google Cloud Platform。本文介绍了如何使用 JAX/Flax 运行推理,并提供了相关 Colab 笔记本链接。
Hugging Face 推出 Decision Transformers,一种基于 Transformer 的决策模型,通过序列建模实现强化学习。该模型可离线训练,使用预训练权重,并支持自定义数据预处理。在 Gym HalfCheetah 环境中,该模型可学习专家行为,实现半猫奔跑。
Hugging Face 发布教程,指导用户利用 NVIDIA 的 Megatron-LM 框架在 GPU 上高效训练 GPT2 等语言模型。该框架通过 Fused CUDA Kernels 和优化的 DataLoader 显著提升训练速度,并支持将模型转换为 🤗 Transformers 格式。
在 Hugging Face Spaces 中,可通过 Gradio 的 HTML 块集成 3Dmol.js 实现蛋白质结构可视化。该方案支持输入 PDB 代码或上传文件,利用 iframe 渲染 3D 模型,适用于 AlphaFold2 等预测结果的展示。
Hugging Face 发布教程,介绍如何使用 Habana Gaudi 基于的 DL1 实例在 AWS 上从零开始预训练 BERT-base 模型,利用 Gaudi 的成本性能优势。教程使用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,通过掩码语言建模预训练 BERT-base 模型。
Hugging Face 展示了如何将 ViT B/16 TensorFlow 模型部署至 Google Cloud Vertex AI,实现与 Kubernetes 同等扩展性但代码量显著减少。
Hugging Face 展示如何利用 Optimum Graphcore 库在 Graphcore IPU 上微调预训练 Vision Transformer (ViT) 模型。
Hugging Face 推出 Skops,一款开源机器学习模型托管与协作工具,支持将 scikit-learn 模型托管在 Hugging Face Hub,创建模型卡片进行文档化和协作。Skops 可用于模型训练、保存、配置文件生成、模型卡片创建、模型评估和可视化等功能。
Hugging Face 强调在 transformers 库中,所有 TensorFlow 模型应作为 Keras Model 对象、层作为 Keras Layer 对象,以充分利用 Keras 高级 API。开发者可通过 TFAutoModel 一行代码加载预训练模型(如 bert-base-cased),并结合 AutoTokenizer 处理输入,实现高效的迁移学习。
Hugging Face 展示如何利用 Docker 和 Kubernetes 扩展 🤗 Transformers 中的 Vision Transformer (ViT) 模型部署。
Hugging Face 指出该教程已过时,仅适用于 v3.0 前的 `SentenceTransformer.fit` API,当前应使用 `SentenceTransformerTrainer`。
Hugging Face 在深度强化学习课程中解析 Proximal Policy Optimization (PPO) 算法,通过裁剪概率比至 [1−ϵ,1+ϵ] 范围限制策略更新幅度以提升训练稳定性。
🤗 transformers 库现已支持使用 XLA 编译 TensorFlow 进行文本生成,速度最高提升 100 倍且快于 PyTorch。该功能允许用户通过 `do_sample`、`temperature` 及 `num_beams` 等参数灵活控制生成策略,在保持模型可访问性与效率的同时显著优化推理性能。
Hugging Face 团队演示如何利用 TF Serving 在本地部署 Transformers 库中的 TensorFlow Vision Transformer (ViT) 模型,使其暴露为 REST 或 gRPC 端点。
Hugging Face 在深度强化学习课程中介绍 Advantage Actor Critic (A2C) 算法,该混合架构结合基于策略与基于价值的方法以降低 Reinforce 的高方差。文章演示了如何使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足行走和蜘蛛智能体。
Hugging Face 演示了利用动态对抗数据收集(DADC)提升 MNIST 手写数字识别模型的鲁棒性。通过 🤗 Spaces 让用户绘制数字以欺骗模型,并标记这些对抗样本用于后续训练。该方法旨在解决静态基准测试饱和与偏差问题,构建更贴合人类使用场景的可靠模型。
Hugging Face 公布 176B 参数多语言模型 BLOOM 的训练工程细节。该模型基于 GPT3 架构,使用 Megatron-DeepSpeed 框架在 384 块 NVIDIA A100 80GB GPU 上耗时 3.5 个月完成训练。项目处理了涵盖 46 种语言的 350B tokens 数据集,最终模型词汇表大小为 250,680。
文章详解如何利用 Sentence Transformers 库的 msmarco-MiniLM-L-6-v3 模型生成歌词嵌入,并通过语义搜索匹配文本提示以创建歌单。针对长文本截断问题,采用将歌曲拆分为小节(verses)分别编码的策略提升检索效果。最终结合 Gradio Blocks API 搭建多步交互演示应用,实现从输入提示到输出相关歌曲列表的完整流程。
Hugging Face 发布 Twitter 情感分析教程,指导用户利用 Inference API 或 Zapier 对推文进行正负中性分类。该方案支持代码与非代码用户实时规模化处理数据,助力企业监测品牌提及并获取客户反馈洞察。
Hugging Face 在深度强化学习课程中讲解策略梯度方法,并使用 PyTorch 从零实现 Reinforce 算法。该方法直接优化策略而非估计价值函数,支持随机策略并适用于连续动作空间。文中通过 CartPole-v1、PixelCopter 和 Pong 环境测试其鲁棒性。
Hugging Face 发布指南,指导新手利用 Sentence Transformers (ST) 库完成从教程到首个自主项目的过渡。ST 能将文本转换为向量嵌入,通过内置的 Cosine Similarity 函数实现语义搜索与相似度比较。该库支持 msmarco-MiniLM-L-6-v3 等模型,GitHub 星标近 8,000,是学习聚类、知识蒸馏及构建聊天机器人等应用的高效入口。
Hugging Face Accelerate 库通过集成 DeepSpeed ZeRO 特性,支持无需修改代码即可启用分布式训练。在 DeBERTa-XL (900M) 微调任务中,DeepSpeed ZeRO Stage-2 将最大 batch size 从 DDP 的 8 提升至 40,实现 5 倍数据容纳量及约 3.5 倍训练速度提升,且 F1 分数达 0.936。
Hugging Face 发布教程演示如何利用开源库 Sentence Transformers 和 Inference API 生成文本及图像 Embeddings。通过调用 `sentence-transformers/all-MiniLM-L6-v2` 模型,开发者可构建 FAQ 引擎实现语义搜索。该方案支持免费托管至 Hub,首次请求约需 20 秒加载模型,后续推理速度显著提升。
Hugging Face 提供三种将 Transformers 模型转为 ONNX 的方法,以 `distilbert-base-uncased-finetuned-sst-2-english` 为例演示。