Hugging Face 新增 Chat Templates 功能,解决聊天模型格式问题
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face 推出 Inference for PROs,使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例,支持 Llama-2 和 SDXL 模型,用户可利用 Inference API 部署到个人空间,无需高技术技能,但需了解 API、环境变量和 LLM & Stable Diffusion。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Hugging Face Blog介绍了3D高斯分层技术,该技术通过将场景中的点云转换为高斯函数,实现实时渲染真实场景。该技术使用结构从运动(SfM)方法估计点云,并通过高斯分层进行渲染。此外,该技术还具有快速、可微分的优点,但需要较高的VRAM和磁盘空间。目前,该技术尚未与现有渲染管线兼容,但未来有望在更多渲染环境中得到应用。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Hugging Face Transformer 支持多种量化方案,包括 bitsandbytes 和 auto-gptq,旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用,支持跨模态互操作性,而 auto-gptq 量化方案在文本生成方面速度更快,支持高达 2 位的量化精度。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南。该指南包含推荐提示词、ChatGPT 工作原理与局限性说明,并探讨了 AI 检测器的有效性及偏见问题。
Hugging Face 发布了开源多模态视觉语言模型 IDEFICS,该模型基于 Flamingo,能够接受图像和文本输入并生成文本输出,性能与闭源模型相当,并提供了开源的数据集和模型。
推荐理由:IDEFICS 是一个开源的多模态视觉语言模型,其性能与闭源模型相当,为多模态 AI 系统的研究提供了新的可能性。
Hugging Face的BentoML平台支持机器学习模型部署,本文以DeepFloyd IF为例,展示了如何使用BentoML框架进行模型部署,包括定义模型、创建服务、构建Bento和部署Bento等步骤。DeepFloyd IF是一个开源的文本到图像模型,具有高真实感和复杂的语言理解能力。
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具,通过三种优化技术,显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库,支持生成多种音频输出,包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Hugging Face 博客介绍了如何使用 Inference Endpoints 快速部署 MusicGen 音乐生成模型,通过自定义处理程序和依赖项,只需几步即可实现模型的部署和调用。
Hugging Face Hub 上有约 50K 个公共数据集,其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集,并通过 librarian-bots 添加元数据,以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别,可检测 217 种语言。
Hugging Face 发布了使用生成式 AI 工作流程创建实用 3D 资产的指南,通过 Shap-E 模型生成 3D 模型,并使用 Dream Textures 添加纹理,实现低保真风格的 3D 资产制作。
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重,这些模型在知识蒸馏技术训练下,参数量分别比基础模型减少了35%和55%,同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取,蒸馏模型在推理速度上比原始模型快100%。
Hugging Face 推出 Agents.js,这是一个新的 JavaScript 库,允许在浏览器或服务器中使用 JavaScript 为 LLMs 提供工具访问权限。
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松,共有88款游戏提交,其中Snip It获得冠军。活动鼓励开发者使用开源AI工具,如Stable Diffusion和GPT-4,展示了开源AI在游戏开发中的潜力。
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展,通过NodeJS和TypeScript实现,使用Zeroscope V2模型生成视频,并配合MusicGen生成音乐,通过FFmpeg进行视频流广播。
Hugging Face 推出在 Intel Sapphire Rapids CPU 上进行 Stable Diffusion 模型微调的方法,利用 Intel Advanced Matrix Extensions (AMX) 加速深度学习工作负载,实现高效图像生成。
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
Hugging Face 推出 Inference Endpoints,简化开源 LLM 模型部署,支持 Falcon、LLaMA 等模型,提供自动扩缩、成本优化和高级安全功能。用户可通过简单操作部署模型,并使用 JavaScript 和 Python 进行流式响应测试。
Hugging Face 推出使用大型语言模型(LLM)构建网页应用生成器的教程,通过流式传输和渲染内容实现 AI 网页内容生成。教程介绍了在 Node.js 环境中使用 LLM 的方法,包括本地运行模型、使用云 API 和配置推理端点等。
Hugging Face Spaces 现已集成 Panel 模板,支持用户在 Python 中构建强大的工具、仪表盘和复杂应用。Panel 是一个开源库,提供广泛的绘图库支持,并允许将 Jupyter 笔记本中的组件无缝集成到仪表盘中。此外,Panel 还支持构建复杂的多页面应用、高级交互功能、可视化大型数据集和实时数据流。
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调,该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言,包括濒危语言,有助于保护语言多样性。
Hugging Face推出Livebook笔记本在Hugging Face Spaces中的应用部署,用户可通过Livebook构建基于Whisper模型的聊天应用,并自动将音频消息转换为文本。该应用展示了Livebook和Elixir机器学习生态系统的集成,包括与Hugging Face模型的集成、多玩家机器学习应用和并发机器学习模型服务等功能。
Hugging Face Hub 提供超过 19 万个机器学习模型、3.3 万个数据集和 10 万个应用和演示,涵盖预训练语言模型、图像和音频分类模型、目标检测模型以及各种生成模型。该平台支持 GLAM 领域的用户分享和访问机器学习模型和数据集,并提供了模型和数据的搜索、使用和分享功能。
Hugging Face Hub 现已提供 fastText 库的官方镜像,包括 157 种语言的词向量以及语言识别模型,方便用户下载和使用。fastText 库支持文本分类和特征提取小部件,并可通过 Hugging Face API 进行调用。
Hugging Face Unity API 教程指导用户在Unity游戏中实现先进的语音识别功能,可用于命令输入、NPC对话、提升可访问性等,教程包含设置场景、编写脚本、录音编码等步骤。
Hugging Face 举办首届开源 AI 游戏马拉松,鼓励开发者利用 AI 工具如 Stable Diffusion 创作游戏,活动将于 7 月 7-9 日举行,支持个人或团队参与,要求游戏可在网页或 Windows 上运行,并融入至少一个开源 AI 工具。
Hugging Face 推出专为 Amazon SageMaker 定制的 LLM 推理容器,支持部署开源 LLM 如 BLOOM,并优化了 Pythia Open Assistant Model 的部署,提供高性能文本生成和推理功能。
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion,使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集,研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务,如卡通化、去雨和去噪。实验结果表明,这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术,旨在解决数据重复问题,提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法,在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果,同时验证了其在代码模型上的有效性。
Vicuna 13B,一款由UC Berkeley等机构开发的13亿参数开源聊天机器人,在GPT-4的参考下达到90%以上质量。本文介绍了如何在单张AMD GPU上使用ROCm运行Vicuna 13B模型,包括系统要求、ROCm安装、Docker容器设置、模型量化和推理等步骤。
Hugging Face Unity API 允许开发者将 Hugging Face AI 模型集成到 Unity 项目中,支持多种任务如文本生成、分类、问答等。通过简单的步骤安装 API,并使用 API Wizard 配置模型和 API 密钥。API 支持异步调用,并提供回调处理响应或错误。
Hugging Face 推出使用 TensorFlow 和 TPUs 训练语言模型的指南,通过 XLA 和 TPUStrategy 实现高效训练。指南详细介绍了从训练分词器、准备数据集到模型训练和上传的整个过程,适用于 RoBERTa 模型,并支持扩展到更大模型和更强大的 TPU pod。
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力,包括图像变体和图像修复。
推荐理由:介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力。
Hugging Face Space 现可托管 Unity 游戏,支持构建、托管和分享演示。教程详细介绍了如何使用 Static HTML 模板创建空间,通过 Git 克隆空间,在 Unity 项目中设置 WebGL 构建目标,并最终在 Hugging Face Space 中托管游戏。
Microsoft 的 Graphormer 模型在 Hugging Face Transformers 库中被用于图分类任务,本文介绍了如何使用该模型进行图分类,包括数据加载、预处理、模型加载和微调等步骤。Graphormer 模型通过预训练和微调,能够有效地对图数据进行分类。
Substra是一个开源的联邦学习框架,旨在解决数据隐私和安全问题,通过联邦学习技术允许使用多个数据提供者的数据进行模型训练,而不必共享原始数据,从而保护数据隐私并加速机器学习研究。
推荐理由:原文介绍了Substra作为开源联邦学习框架的作用,以及其在医疗研究中的应用,读者可以了解联邦学习如何保护数据隐私并加速机器学习研究。
Intel Xeon Sapphire Rapids CPU 通过 Optimum Intel 和 OpenVINO 工具包,将 Stable Diffusion 模型推理速度提升至 4.7 秒,相比 Ice Lake Xeon 提升近 10 倍。此外,通过 jemalloc 和 libiomp 等系统级优化,进一步提升了内存操作和并行处理效率。