Hugging Face Diffusers 庆祝一周年发布多项新功能
Hugging Face 的 Diffusers 库庆祝一周年,发布了多项新功能,包括支持更逼真的图像生成、视频生成、3D 模型生成、图像编辑、更快的扩散模型、伦理和安全功能、LoRA 支持和 PyTorch 2.0 优化。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 的 Diffusers 库庆祝一周年,发布了多项新功能,包括支持更逼真的图像生成、视频生成、3D 模型生成、图像编辑、更快的扩散模型、伦理和安全功能、LoRA 支持和 PyTorch 2.0 优化。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Meta 发布了 Llama 2 模型,这是一个从 7B 到 70B 参数的开源大型语言模型家族,支持 Hugging Face 集成,包括预训练模型和微调模型。
推荐理由:原文介绍了 Llama 2 模型的特点和功能,读者可以了解其性能和适用场景。
Hugging Face 发布了新的开源文本生成和大型语言模型生态系统,包括 Llama 2 模型和其他开源模型,以及用于模型部署和微调的工具。
推荐理由:原文介绍了 Hugging Face 平台上开源文本生成和大型语言模型生态系统的最新发展,读者可以了解最新的模型和工具,以及它们如何改变现有工作流。
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
Hugging Face 博客文章探讨了 Open LLM 领导板上的 MMLU 评估结果差异,分析了不同评估方法对模型性能的影响。
推荐理由:原文探讨了不同评估方法对模型性能的影响,读者可以了解如何选择合适的评估方式。
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调,该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言,包括濒危语言,有助于保护语言多样性。
Hugging Face推出Livebook笔记本在Hugging Face Spaces中的应用部署,用户可通过Livebook构建基于Whisper模型的聊天应用,并自动将音频消息转换为文本。该应用展示了Livebook和Elixir机器学习生态系统的集成,包括与Hugging Face模型的集成、多玩家机器学习应用和并发机器学习模型服务等功能。
Hugging Face 发布了优化后的 Stable Diffusion 模型,支持 6 位调色板量化,可在 iPhone、iPad 和 Mac 上运行,提高了模型速度并减少了内存使用。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 与 AMD 合作,旨在为 CPU 和 GPU 平台提供最先进的 transformer 模型性能。该合作将支持多种模型架构和框架,包括自然语言处理、计算机视觉和语音模型,并预计将提高成本效益。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face Hub 提供超过 19 万个机器学习模型、3.3 万个数据集和 10 万个应用和演示,涵盖预训练语言模型、图像和音频分类模型、目标检测模型以及各种生成模型。该平台支持 GLAM 领域的用户分享和访问机器学习模型和数据集,并提供了模型和数据的搜索、使用和分享功能。
Hugging Face Hub 现已提供 fastText 库的官方镜像,包括 157 种语言的词向量以及语言识别模型,方便用户下载和使用。fastText 库支持文本分类和特征提取小部件,并可通过 Hugging Face API 进行调用。
Falcon 模型由阿布扎比的科技创新研究所创建,是 Hugging Face 生态系统中的新大型语言模型。Falcon-40B 是第一个具有与许多当前闭源模型相媲美能力的“真正开放”模型。
推荐理由:原文介绍了 Falcon 模型的特点和功能,以及如何在 Hugging Face 生态系统中使用它们,读者可以了解 Falcon 模型的最新进展和应用潜力。
Hugging Face Hub 现已集成 BERTopic,一个基于语言的模型,支持多种任务,包括对话、语音识别、调优、摘要、问答、情感分析、临床医学、翻译。
Hugging Face 推出专为 Amazon SageMaker 定制的 LLM 推理容器,支持部署开源 LLM 如 BLOOM,并优化了 Pythia Open Assistant Model 的部署,提供高性能文本生成和推理功能。
Hugging Face 博客介绍了如何使用 NNCF 和 🤗 Optimum 优化 Stable Diffusion 模型,以提升其在 Intel CPU 上的性能,包括 5.1 倍的推理加速和 4 倍的模型尺寸缩减。
Hugging Face 与微软合作,将 Hugging Face Hub 上的开源模型引入 Azure Machine Learning,简化了大型语言模型在 Azure 上的部署过程,并提供了安全可扩展的环境进行实时推理。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 bitsandbytes 库,支持 4 位量化,并推出了 QLoRA 技术,用于在 4 位量化模型上进行微调。这项技术使得在单个 48GB GPU 上微调 65B 参数模型成为可能,同时保持了 16 位微调任务的全性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion,使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集,研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务,如卡通化、去雨和去噪。实验结果表明,这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
Hugging Face 与 EleutherAI 和 Stability AI 合作,对 Safetensors 库进行了安全审计,确认其安全性,并计划将其作为默认格式。Safetensors 是一个用于保存和加载张量的库,具有安全、懒加载和快速加载等特性。
推荐理由:Hugging Face 对 safetensors 库进行了安全审计,确认其安全性,并计划将其作为默认格式。读者可以了解其安全特性和应用场景。
Hugging Face 与 IBM 合作推出 watsonx.ai,下一代企业 AI 工作室,旨在帮助 AI 构建者训练、验证、调整和部署传统机器学习和新的生成式 AI 能力。该平台基于 RedHat OpenShift,支持云和本地部署,并集成了 Hugging Face 的开源库。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Q8-Chat模型通过SmoothQuant技术实现8位量化,在保持模型质量的同时,将模型大小缩小约2倍,显著降低推理延迟,在Xeon CPU平台上实现高效运行。
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术,旨在解决数据重复问题,提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法,在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果,同时验证了其在代码模型上的有效性。
Vicuna 13B,一款由UC Berkeley等机构开发的13亿参数开源聊天机器人,在GPT-4的参考下达到90%以上质量。本文介绍了如何在单张AMD GPU上使用ROCm运行Vicuna 13B模型,包括系统要求、ROCm安装、Docker容器设置、模型量化和推理等步骤。
Hugging Face 推出 RWKV 模型,结合了 RNN 和 Transformer 的优势,具有长上下文处理能力和高效的训练速度。该模型已集成到 Hugging Face transformers 库中,并支持多种应用场景。
推荐理由:原文介绍了 RWKV 模型的特点和优势,读者可以了解其在自然语言处理领域的应用潜力。
Hugging Face 推出辅助生成,一种新的低延迟文本生成方法,通过使用较小的辅助模型来加速文本生成过程,实现高达 10 倍的延迟降低。
推荐理由:原文介绍了低延迟文本生成的新方法,读者可以了解其如何优化现有工作流。
BigCode 的 StarCoder 模型发布,一个基于 80 多种编程语言、GitHub 问题和 Jupyter 笔记本训练的 1600 亿参数模型。该模型可用于创建个性化的编码助手,并支持多查询注意力机制和快速的大批量推理。
推荐理由:原文展示了如何将 StarCoder 模型微调为聊天机器人,读者可以了解其如何改变现有工作流。
本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,如Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo、Video Diffusion Models (VDM)、MagicVideo、Tune-a-Video、Video LDM、Text2Video-Zero、Runway Gen1和Gen2、NUWA-XL等。
推荐理由:本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,对了解该领域的发展具有重要意义。
StarCoder 是一款基于 GitHub 数据训练的代码大语言模型,具有超过 15B 参数和 1 万亿个 token 的上下文长度。它在多个编程基准测试中优于现有的开源代码 LLM,并与 OpenAI 的 Codex 模型相媲美。StarCoder 可以用于自动完成代码、根据指令修改代码以及用自然语言解释代码片段。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face Unity API 允许开发者将 Hugging Face AI 模型集成到 Unity 项目中,支持多种任务如文本生成、分类、问答等。通过简单的步骤安装 API,并使用 API Wizard 配置模型和 API 密钥。API 支持异步调用,并提供回调处理响应或错误。
Hugging Face 推出使用 TensorFlow 和 TPUs 训练语言模型的指南,通过 XLA 和 TPUStrategy 实现高效训练。指南详细介绍了从训练分词器、准备数据集到模型训练和上传的整个过程,适用于 RoBERTa 模型,并支持扩展到更大模型和更强大的 TPU pod。
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力,包括图像变体和图像修复。
推荐理由:介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力。
Hugging Face 推出面向中文用户的博客,提供包括 Transformer、扩散模型和强化学习等资源的翻译,旨在促进中西方 AI 社区合作。博客强调中国 AI 社区的成就,如 HuggingGPT、ChatGLM 等,并计划加强与中国合作伙伴的合作,共同推动 AI 发展。
Hugging Face 与 AWS 合作,推出 AWS Inferentia2 加速器,用于优化 Hugging Face Transformers 的性能。该加速器提供了前所未有的吞吐量、延迟、性能功耗比和可扩展性。通过 AWS Neuron SDK 的原生集成,开发者只需一行代码即可将模型编译为 Inferentia2。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Snorkel AI 与 Hugging Face 合作,推出 Snorkel Flow 开发平台,帮助企业适应和优化基础模型。平台支持用户从 Hugging Face 的 150,000 个开源模型中选择,并通过程序化标注和微调提高模型质量。此合作使企业能够更灵活地利用开源模型,加速数据驱动的 AI 应用开发。
Hugging Face 发布了 StackLLaMA 模型,通过 RLHF 方法训练 LLaMA 模型以回答 Stack Exchange 上的问题,并提供了整个训练流程。
Hugging Face 发布了 Habana Gaudi2 加速器上的 BLOOMZ 大语言模型快速推理功能,使用 🤗 Optimum Habana 库可以轻松部署百亿参数的大型语言模型,如 BLOOM,并实现比市场上任何 GPU 更快的推理速度。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Intel Xeon Sapphire Rapids CPU 通过 Optimum Intel 和 OpenVINO 工具包,将 Stable Diffusion 模型推理速度提升至 4.7 秒,相比 Ice Lake Xeon 提升近 10 倍。此外,通过 jemalloc 和 libiomp 等系统级优化,进一步提升了内存操作和并行处理效率。
本教程展示了如何利用 Hugging Face 和 Flower 在多个客户端上联合训练语言模型。以对 IMDB 评分数据集进行序列分类为例,微调预训练的 Transformer 模型(distilBERT),以检测电影评分是正面还是负面。
Hugging Face 博客详细介绍了如何使用 ControlNet 和 diffusers 训练模型,包括规划条件、构建数据集和模型训练等步骤。以 Uncanny Faces 模型为例,展示了如何使用 FaceSynthetics 数据集进行训练,并讨论了模型训练过程中的挑战和解决方案。
Hugging Face发布TRL和PEFT集成,允许用户在24GB消费级GPU上微调20B参数的大型语言模型,提高了RLHF微调的易用性。
推荐理由:原文介绍了如何使用TRL和PEFT库在24GB消费级GPU上微调20B参数的大型语言模型,读者可以了解如何利用这些工具进行大规模语言模型的微调。