Stable Diffusion XL (SDXL) 模型优化：提升推理速度与降低内存使用
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势，但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL，从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时，推理时间从 72.2 秒缩短到 10.2 秒，内存使用量从 28GB 降低到 21.7GB。
#开源/仓库
#开源/仓库
今日 3 条Hugging Face BlogAI 评分4040
Hugging Face BlogAI 评分4545 Gradio-Lite：浏览器端无服务器Gradio运行
Gradio-Lite是一个JavaScript库，允许用户在浏览器中直接运行Gradio应用程序，无需服务器端基础设施。它利用Pyodide在浏览器环境中执行Python代码。Gradio-Lite的主要优势包括无服务器部署、低延迟交互和增强的隐私与安全性。然而，目前其最大的局限性是应用程序在浏览器中的初始加载时间较长（通常为5-15秒）。
Hugging Face BlogAI 评分4242 Hugging Face 模型加速：130,000+ 模型支持 ONNX Runtime
Hugging Face 社区超过 130,000 个 ONNX 支持模型可利用 ONNX Runtime 加速，包括多个流行的 LLM 和云模型，如 BERT、GPT2 等，平均推理延迟可降低 74.30%，提升性能。
Hugging Face BlogAI 评分4747 Hugging Face 新增 Chat Templates 功能，解决聊天模型格式问题
Hugging Face 推出 chat_template 属性，用于保存模型训练时使用的聊天格式，解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串，提高模型性能。
Hugging Face BlogAI 评分3737 Hugging Face Inference API 部署 AI 漫画工厂教程
Hugging Face 推出 Inference for PROs，使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例，支持 Llama-2 和 SDXL 模型，用户可利用 Inference API 部署到个人空间，无需高技术技能，但需了解 API、环境变量和 LLM & Stable Diffusion。
Hugging Face BlogAI 评分5252 通过TRL使用DDPO微调Stable Diffusion模型
Hugging Face的TRL库发布了DDPOTrainer，用于微调Stable Diffusion模型，提高图像生成质量。
Hugging Face BlogAI 评分5555 Llama 2在Amazon SageMaker上的基准测试分析
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试，分析了不同配置下的性能和成本，为用户提供了优化部署的建议。
Hugging Face BlogAI 评分4545 3D高斯分层技术：实时渲染的真实场景解析
Hugging Face Blog介绍了3D高斯分层技术，该技术通过将场景中的点云转换为高斯函数，实现实时渲染真实场景。该技术使用结构从运动（SfM）方法估计点云，并通过高斯分层进行渲染。此外，该技术还具有快速、可微分的优点，但需要较高的VRAM和磁盘空间。目前，该技术尚未与现有渲染管线兼容，但未来有望在更多渲染环境中得到应用。
Hugging Face BlogAI 评分4242 Llama 2 70B 模型使用 PyTorch FSDP 进行微调
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理，并针对微调过程中遇到的内存和速度问题提出了解决方案，包括优化模型加载和状态字典存储方式。
Hugging Face BlogAI 评分4040 T2I-Adapter-SDXL：高效可控生成模型助力SDXL
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型，提供额外指导，实现丰富的控制和编辑效果。相比ControlNet，T2I-Adapter-SDXL模型参数更小，运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用，并提供了训练脚本和示例。
Hugging Face Blog精选AI 评分8585 Hugging Face 发布 Falcon 180B 开源语言模型
Hugging Face 发布了 Falcon 180B 开源语言模型，具有1800亿参数，在多个自然语言任务上取得了最先进的成果，并提供了使用指南。
推荐理由：Falcon 180B 是目前最大的开源语言模型，具有1800亿参数，在多个自然语言任务上取得了最先进的成果，读者可以了解其性能和如何使用。
OpenAI NewsAI 评分5050 ChatGPT Enterprise 介绍
OpenAI 推出 ChatGPT Enterprise，提供企业级安全和隐私保护，并具备最强大的 ChatGPT 版本。
Hugging Face BlogAI 评分3737 Hugging Face Hub Git 认证方式变更：弃用密码认证
Hugging Face 从 2023 年 10 月 1 日起不再接受密码作为 Git 操作的认证方式，建议用户使用更安全的个人访问令牌或 SSH 密钥进行认证。用户需在截止日期前更新认证方法，否则将无法进行 Git 操作。
Hugging Face BlogAI 评分4545 Hugging Face Hub 登陆 AWS Marketplace：使用 AWS 账户支付
Hugging Face Hub 现已登陆 AWS Marketplace，用户可通过 AWS Marketplace 订阅 Hugging Face Hub，并使用 AWS 账户直接支付 Hugging Face 使用费用。
Hugging Face BlogAI 评分4545 BentoML与DeepFloyd IF结合：Hugging Face模型部署实践
Hugging Face的BentoML平台支持机器学习模型部署，本文以DeepFloyd IF为例，展示了如何使用BentoML框架进行模型部署，包括定义模型、创建服务、构建Bento和部署Bento等步骤。DeepFloyd IF是一个开源的文本到图像模型，具有高真实感和复杂的语言理解能力。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 优化 BARK 语音合成模型
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具，通过三种优化技术，显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库，支持生成多种音频输出，包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分3535 MusicGen 使用 Inference Endpoints 快速部署音乐生成模型
Hugging Face 博客介绍了如何使用 Inference Endpoints 快速部署 MusicGen 音乐生成模型，通过自定义处理程序和依赖项，只需几步即可实现模型的部署和调用。
Hugging Face BlogAI 评分4545 Hugging Face Hub 利用机器学习改进语言元数据
Hugging Face Hub 上有约 50K 个公共数据集，其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集，并通过 librarian-bots 添加元数据，以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别，可检测 217 种语言。
Hugging Face Blog精选AI 评分7070 迈向加密大型语言模型：全同态加密的应用
Hugging Face Blog发布了一篇关于使用全同态加密技术保护大型语言模型隐私的研究，该技术允许在加密数据上执行函数，从而在保护模型所有者知识产权的同时，维护用户数据的隐私。
推荐理由：该研究提出了使用全同态加密技术保护大型语言模型隐私的方法，对关注AI安全和隐私的读者有参考价值。
Hugging Face BlogAI 评分4545 Hugging Face开源SD-Small和SD-Tiny压缩模型知识蒸馏代码和权重
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重，这些模型在知识蒸馏技术训练下，参数量分别比基础模型减少了35%和55%，同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取，蒸馏模型在推理速度上比原始模型快100%。
Hugging Face BlogAI 评分4242 Hugging Face 推出 Agents.js：使用 JavaScript 为 LLMs 提供工具访问权限
Hugging Face 推出 Agents.js，这是一个新的 JavaScript 库，允许在浏览器或服务器中使用 JavaScript 为 LLMs 提供工具访问权限。
Hugging Face BlogAI 评分4545 Hugging Face首届开源AI游戏马拉松结果公布
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松，共有88款游戏提交，其中Snip It获得冠军。活动鼓励开发者使用开源AI工具，如Stable Diffusion和GPT-4，展示了开源AI在游戏开发中的潜力。
Hugging Face BlogAI 评分4545 AI WebTV：基于Zeroscope和MusicGen的自动视频和音乐合成实验演示
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展，通过NodeJS和TypeScript实现，使用Zeroscope V2模型生成视频，并配合MusicGen生成音乐，通过FFmpeg进行视频流广播。
Hugging Face BlogAI 评分4545 Hugging Face Fine-tuning Stable Diffusion 模型在 Intel Sapphire Rapids CPU 上的调优
Hugging Face 推出在 Intel Sapphire Rapids CPU 上进行 Stable Diffusion 模型微调的方法，利用 Intel Advanced Matrix Extensions (AMX) 加速深度学习工作负载，实现高效图像生成。
Hugging Face BlogAI 评分3535 Transformers.js 打造实时机器学习网页游戏：Doodle Dash 案例分析
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
Hugging Face BlogAI 评分4040 Hugging Face Inference Endpoints 部署开源 LLM 模型指南
Hugging Face 推出 Inference Endpoints，简化开源 LLM 模型部署，支持 Falcon、LLaMA 等模型，提供自动扩缩、成本优化和高级安全功能。用户可通过简单操作部署模型，并使用 JavaScript 和 Python 进行流式响应测试。
Hugging Face BlogAI 评分4545 使用开放机器学习模型构建网页应用生成器
Hugging Face 推出使用大型语言模型（LLM）构建网页应用生成器的教程，通过流式传输和渲染内容实现 AI 网页内容生成。教程介绍了在 Node.js 环境中使用 LLM 的方法，包括本地运行模型、使用云 API 和配置推理端点等。
Hugging Face BlogAI 评分3535 Hugging Face Spaces 集成 Panel 模板，助力构建和部署 Panel 应用
Hugging Face Spaces 现已集成 Panel 模板，支持用户在 Python 中构建强大的工具、仪表盘和复杂应用。Panel 是一个开源库，提供广泛的绘图库支持，并允许将 Jupyter 笔记本中的组件无缝集成到仪表盘中。此外，Panel 还支持构建复杂的多页面应用、高级交互功能、可视化大型数据集和实时数据流。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。
Hugging Face BlogAI 评分4545 MMS Adapter 模型微调助力低资源语言语音识别
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调，该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言，包括濒危语言，有助于保护语言多样性。
Hugging Face BlogAI 评分4242 Autoformer 模型在时间序列预测中的有效性分析
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析，指出该模型在三个数据集上的表现优于 DLinear 模型，并介绍了其分解层和自相关机制。
Hugging Face BlogAI 评分3232 Livebook笔记本在Hugging Face Spaces中的应用部署
Hugging Face推出Livebook笔记本在Hugging Face Spaces中的应用部署，用户可通过Livebook构建基于Whisper模型的聊天应用，并自动将音频消息转换为文本。该应用展示了Livebook和Elixir机器学习生态系统的集成，包括与Hugging Face模型的集成、多玩家机器学习应用和并发机器学习模型服务等功能。
Hugging Face BlogAI 评分4040 Hugging Face Hub for Galleries, Libraries, Archives and Museums
Hugging Face Hub 提供超过 19 万个机器学习模型、3.3 万个数据集和 10 万个应用和演示，涵盖预训练语言模型、图像和音频分类模型、目标检测模型以及各种生成模型。该平台支持 GLAM 领域的用户分享和访问机器学习模型和数据集，并提供了模型和数据的搜索、使用和分享功能。
Hugging Face BlogAI 评分3535 Hugging Face Hub新增功能：使用DuckDB分析50,000+数据集
Hugging Face Hub新增使用DuckDB分析数据集的功能，支持用户对存储在Hub上的数据集进行SQL查询，提高数据分析效率。该功能将所有公共数据集自动转换为Parquet文件，方便用户通过简单的HTTP调用访问。
Hugging Face BlogAI 评分4545 Hugging Face Hub 携手 Meta AI 推出 fastText 库
Hugging Face Hub 现已提供 fastText 库的官方镜像，包括 157 种语言的词向量以及语言识别模型，方便用户下载和使用。fastText 库支持文本分类和特征提取小部件，并可通过 Hugging Face API 进行调用。
Hugging Face Blog精选AI 评分8585 Falcon 模型发布：Hugging Face 生态系统中新的大型语言模型
Falcon 模型由阿布扎比的科技创新研究所创建，是 Hugging Face 生态系统中的新大型语言模型。Falcon-40B 是第一个具有与许多当前闭源模型相媲美能力的“真正开放”模型。
推荐理由：原文介绍了 Falcon 模型的特点和功能，以及如何在 Hugging Face 生态系统中使用它们，读者可以了解 Falcon 模型的最新进展和应用潜力。
Hugging Face BlogAI 评分3030 Hugging Face Unity API 实现Unity游戏中的语音识别
Hugging Face Unity API 教程指导用户在Unity游戏中实现先进的语音识别功能，可用于命令输入、NPC对话、提升可访问性等，教程包含设置场景、编写脚本、录音编码等步骤。
Hugging Face BlogAI 评分3535 Hugging Face 首届开源 AI 游戏马拉松
Hugging Face 举办首届开源 AI 游戏马拉松，鼓励开发者利用 AI 工具如 Stable Diffusion 创作游戏，活动将于 7 月 7-9 日举行，支持个人或团队参与，要求游戏可在网页或 Windows 上运行，并融入至少一个开源 AI 工具。
Hugging Face BlogAI 评分3030 Hugging Face Hub 集成 BERTopic
Hugging Face Hub 现已集成 BERTopic，一个基于语言的模型，支持多种任务，包括对话、语音识别、调优、摘要、问答、情感分析、临床医学、翻译。