Llama 2 在 AWS Inferentia2 上实现高效文本生成
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案，通过 Optimum Neuron 部署，实现快速部署和模型导出，支持多种生成策略，并提供预编译模型版本。
#开源/仓库
#开源/仓库
今日 9 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分3737 Hugging Face Hub 推出存储区域功能，提升数据主权和性能
Hugging Face Hub 推出存储区域功能，允许用户选择模型和数据的存储位置，以符合监管和法律要求，并提升数据主权和性能。目前支持美国和欧盟区域，预计未来还将支持亚太地区。该功能通过提高上传和下载速度来显著提升性能，例如，在欧洲存储数据比在美国存储快4-5倍。
Ethereum BlogAI 评分3737 Ethereum EIP-4844：c-kzg-4844 库的安全实践与优化
Ethereum Foundation 的 Protocol Security Research 团队对 c-kzg-4844 库进行了审查和改进，该库用于计算和验证 KZG 承诺，支持 EIP-4844。
Hugging Face BlogAI 评分4545 Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具，用户只需一行代码即可创建交互式可视化，识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入，深入了解数据段和模型失败模式。此外，Spotlight 还允许用户自定义数据检查工作流程，并找到相关的数据样本和聚类进行检查。
Hugging Face BlogAI 评分4545 OpenAI RLHF 代码库复现：PPO实现细节解析
本文详细解析了OpenAI的RLHF代码库复现，重点关注PPO实现细节，包括奖励模型、策略训练、PyTorch Adam优化器等，旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线，为教育和学习目的提供简单易读的参考实现。
Hugging Face BlogAI 评分3737 Hugging Face Inference Endpoints 部署嵌入模型指南
Hugging Face Inference Endpoints 提供了一种简单、安全的方式部署机器学习模型，支持快速部署、自动扩展、成本效益和高级安全功能。Text Embeddings Inference (TEI) 是专为部署和托管开源文本嵌入模型而构建的解决方案，支持所有 MTEB 排行榜前 10 的模型，并实现了多种性能优化功能。
Hugging Face BlogAI 评分4040 Stable Diffusion XL (SDXL) 模型优化：提升推理速度与降低内存使用
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势，但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL，从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时，推理时间从 72.2 秒缩短到 10.2 秒，内存使用量从 28GB 降低到 21.7GB。
Hugging Face BlogAI 评分4545 Gradio-Lite：浏览器端无服务器Gradio运行
Gradio-Lite是一个JavaScript库，允许用户在浏览器中直接运行Gradio应用程序，无需服务器端基础设施。它利用Pyodide在浏览器环境中执行Python代码。Gradio-Lite的主要优势包括无服务器部署、低延迟交互和增强的隐私与安全性。然而，目前其最大的局限性是应用程序在浏览器中的初始加载时间较长（通常为5-15秒）。
Hugging Face BlogAI 评分4242 Hugging Face 模型加速：130,000+ 模型支持 ONNX Runtime
Hugging Face 社区超过 130,000 个 ONNX 支持模型可利用 ONNX Runtime 加速，包括多个流行的 LLM 和云模型，如 BERT、GPT2 等，平均推理延迟可降低 74.30%，提升性能。
Hugging Face BlogAI 评分4747 Hugging Face 新增 Chat Templates 功能，解决聊天模型格式问题
Hugging Face 推出 chat_template 属性，用于保存模型训练时使用的聊天格式，解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串，提高模型性能。
Hugging Face BlogAI 评分3737 Hugging Face Inference API 部署 AI 漫画工厂教程
Hugging Face 推出 Inference for PROs，使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例，支持 Llama-2 和 SDXL 模型，用户可利用 Inference API 部署到个人空间，无需高技术技能，但需了解 API、环境变量和 LLM & Stable Diffusion。
Hugging Face BlogAI 评分5252 通过TRL使用DDPO微调Stable Diffusion模型
Hugging Face的TRL库发布了DDPOTrainer，用于微调Stable Diffusion模型，提高图像生成质量。
Hugging Face BlogAI 评分5555 Llama 2在Amazon SageMaker上的基准测试分析
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试，分析了不同配置下的性能和成本，为用户提供了优化部署的建议。
Hugging Face BlogAI 评分4545 3D高斯分层技术：实时渲染的真实场景解析
Hugging Face Blog介绍了3D高斯分层技术，该技术通过将场景中的点云转换为高斯函数，实现实时渲染真实场景。该技术使用结构从运动（SfM）方法估计点云，并通过高斯分层进行渲染。此外，该技术还具有快速、可微分的优点，但需要较高的VRAM和磁盘空间。目前，该技术尚未与现有渲染管线兼容，但未来有望在更多渲染环境中得到应用。
Hugging Face BlogAI 评分4242 Llama 2 70B 模型使用 PyTorch FSDP 进行微调
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理，并针对微调过程中遇到的内存和速度问题提出了解决方案，包括优化模型加载和状态字典存储方式。
Hugging Face BlogAI 评分4040 T2I-Adapter-SDXL：高效可控生成模型助力SDXL
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型，提供额外指导，实现丰富的控制和编辑效果。相比ControlNet，T2I-Adapter-SDXL模型参数更小，运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用，并提供了训练脚本和示例。
Hugging Face Blog精选AI 评分8585 Hugging Face 发布 Falcon 180B 开源语言模型
Hugging Face 发布了 Falcon 180B 开源语言模型，具有1800亿参数，在多个自然语言任务上取得了最先进的成果，并提供了使用指南。
推荐理由：Falcon 180B 是目前最大的开源语言模型，具有1800亿参数，在多个自然语言任务上取得了最先进的成果，读者可以了解其性能和如何使用。
Ethereum BlogAI 评分5252 Ethereum 执行层规范发布
Ethereum 发布了执行层规范（EELS），这是一个基于 Python 的参考实现，旨在提高 Ethereum 执行客户端的可读性和清晰度，并支持 EIP 的原型设计和测试。
OpenAI NewsAI 评分5050 ChatGPT Enterprise 介绍
OpenAI 推出 ChatGPT Enterprise，提供企业级安全和隐私保护，并具备最强大的 ChatGPT 版本。
Hugging Face BlogAI 评分3737 Hugging Face Hub Git 认证方式变更：弃用密码认证
Hugging Face 从 2023 年 10 月 1 日起不再接受密码作为 Git 操作的认证方式，建议用户使用更安全的个人访问令牌或 SSH 密钥进行认证。用户需在截止日期前更新认证方法，否则将无法进行 Git 操作。
Ethereum BlogAI 评分4040 Ethereum Q2 2023 资源分配更新
Ethereum 在 2023 年第二季度举办了多场社区和教育活动，包括巴黎的 DeFi 安全峰会、DWeb 营和全球学者计划、巴塞罗那的 ETHBarcelona 会议和黑客马拉松等，旨在提高 DeFi 安全性、解决 web3 面临的挑战，并推动以太坊技术的未来发展。
Hugging Face BlogAI 评分4545 Hugging Face Hub 登陆 AWS Marketplace：使用 AWS 账户支付
Hugging Face Hub 现已登陆 AWS Marketplace，用户可通过 AWS Marketplace 订阅 Hugging Face Hub，并使用 AWS 账户直接支付 Hugging Face 使用费用。
Hugging Face BlogAI 评分4545 BentoML与DeepFloyd IF结合：Hugging Face模型部署实践
Hugging Face的BentoML平台支持机器学习模型部署，本文以DeepFloyd IF为例，展示了如何使用BentoML框架进行模型部署，包括定义模型、创建服务、构建Bento和部署Bento等步骤。DeepFloyd IF是一个开源的文本到图像模型，具有高真实感和复杂的语言理解能力。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 优化 BARK 语音合成模型
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具，通过三种优化技术，显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库，支持生成多种音频输出，包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分3535 MusicGen 使用 Inference Endpoints 快速部署音乐生成模型
Hugging Face 博客介绍了如何使用 Inference Endpoints 快速部署 MusicGen 音乐生成模型，通过自定义处理程序和依赖项，只需几步即可实现模型的部署和调用。
Hugging Face BlogAI 评分4545 Hugging Face Hub 利用机器学习改进语言元数据
Hugging Face Hub 上有约 50K 个公共数据集，其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集，并通过 librarian-bots 添加元数据，以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别，可检测 217 种语言。
Hugging Face Blog精选AI 评分7070 迈向加密大型语言模型：全同态加密的应用
Hugging Face Blog发布了一篇关于使用全同态加密技术保护大型语言模型隐私的研究，该技术允许在加密数据上执行函数，从而在保护模型所有者知识产权的同时，维护用户数据的隐私。
推荐理由：该研究提出了使用全同态加密技术保护大型语言模型隐私的方法，对关注AI安全和隐私的读者有参考价值。
Hugging Face BlogAI 评分4545 Hugging Face开源SD-Small和SD-Tiny压缩模型知识蒸馏代码和权重
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重，这些模型在知识蒸馏技术训练下，参数量分别比基础模型减少了35%和55%，同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取，蒸馏模型在推理速度上比原始模型快100%。
Hugging Face BlogAI 评分4242 Hugging Face 推出 Agents.js：使用 JavaScript 为 LLMs 提供工具访问权限
Hugging Face 推出 Agents.js，这是一个新的 JavaScript 库，允许在浏览器或服务器中使用 JavaScript 为 LLMs 提供工具访问权限。
Hugging Face BlogAI 评分4545 Hugging Face首届开源AI游戏马拉松结果公布
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松，共有88款游戏提交，其中Snip It获得冠军。活动鼓励开发者使用开源AI工具，如Stable Diffusion和GPT-4，展示了开源AI在游戏开发中的潜力。
Hugging Face BlogAI 评分4545 AI WebTV：基于Zeroscope和MusicGen的自动视频和音乐合成实验演示
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展，通过NodeJS和TypeScript实现，使用Zeroscope V2模型生成视频，并配合MusicGen生成音乐，通过FFmpeg进行视频流广播。
Hugging Face BlogAI 评分4545 Hugging Face Fine-tuning Stable Diffusion 模型在 Intel Sapphire Rapids CPU 上的调优
Hugging Face 推出在 Intel Sapphire Rapids CPU 上进行 Stable Diffusion 模型微调的方法，利用 Intel Advanced Matrix Extensions (AMX) 加速深度学习工作负载，实现高效图像生成。
Hugging Face BlogAI 评分3535 Transformers.js 打造实时机器学习网页游戏：Doodle Dash 案例分析
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
Hugging Face BlogAI 评分4040 Hugging Face Inference Endpoints 部署开源 LLM 模型指南
Hugging Face 推出 Inference Endpoints，简化开源 LLM 模型部署，支持 Falcon、LLaMA 等模型，提供自动扩缩、成本优化和高级安全功能。用户可通过简单操作部署模型，并使用 JavaScript 和 Python 进行流式响应测试。
Hugging Face BlogAI 评分4545 使用开放机器学习模型构建网页应用生成器
Hugging Face 推出使用大型语言模型（LLM）构建网页应用生成器的教程，通过流式传输和渲染内容实现 AI 网页内容生成。教程介绍了在 Node.js 环境中使用 LLM 的方法，包括本地运行模型、使用云 API 和配置推理端点等。
Hugging Face BlogAI 评分3535 Hugging Face Expert Acceleration Program助力Writer开源模型贡献
Writer创始人Waseem Alshikh分享了公司从Hugging Face用户到贡献开源模型的历程，强调了Hugging Face Expert Acceleration Program对Writer的价值，并探讨了在CPU和GPU上大规模部署LLM的效率问题。
Ethereum BlogAI 评分4545 Ethereum 2023 学术资助计划公布，43个项目获超200万美元资助
Ethereum宣布2023年度学术资助计划获奖名单，共43个项目获得超过200万美元资助，涵盖密码学、经济学、执行层2、形式验证、P2P网络、安全和社会监管等多个领域。项目团队来自全球各地，包括美国、中国、英国、法国等。
Hugging Face BlogAI 评分3535 Hugging Face Spaces 集成 Panel 模板，助力构建和部署 Panel 应用
Hugging Face Spaces 现已集成 Panel 模板，支持用户在 Python 中构建强大的工具、仪表盘和复杂应用。Panel 是一个开源库，提供广泛的绘图库支持，并允许将 Jupyter 笔记本中的组件无缝集成到仪表盘中。此外，Panel 还支持构建复杂的多页面应用、高级交互功能、可视化大型数据集和实时数据流。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。