OpenAI RLHF 代码库复现：PPO实现细节解析
本文详细解析了OpenAI的RLHF代码库复现，重点关注PPO实现细节，包括奖励模型、策略训练、PyTorch Adam优化器等，旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线，为教育和学习目的提供简单易读的参考实现。
#开源生态
#开源生态
今日 0 条Hugging Face BlogAI 评分4545
Hugging Face BlogAI 评分4747 Hugging Face 新增 Chat Templates 功能，解决聊天模型格式问题
Hugging Face 推出 chat_template 属性，用于保存模型训练时使用的聊天格式，解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串，提高模型性能。
Hugging Face BlogAI 评分5252 通过TRL使用DDPO微调Stable Diffusion模型
Hugging Face的TRL库发布了DDPOTrainer，用于微调Stable Diffusion模型，提高图像生成质量。
Ethereum BlogAI 评分3232 Ethereum.org Translatathon 活动回顾
Ethereum.org Translatathon 活动于今年 8 月举行，共有 621 名参与者，翻译成 56 种语言，翻译内容达 1.47 百万词，是迄今为止翻译项目中最 productive 的一次。活动旨在提高本地化内容的重要性，吸引新贡献者，激励翻译，并为贡献者提供回报。活动期间，共有 486 名新成员加入，其中 7 种新语言得到翻译。
Hugging Face BlogAI 评分4545 3D高斯分层技术：实时渲染的真实场景解析
Hugging Face Blog介绍了3D高斯分层技术，该技术通过将场景中的点云转换为高斯函数，实现实时渲染真实场景。该技术使用结构从运动（SfM）方法估计点云，并通过高斯分层进行渲染。此外，该技术还具有快速、可微分的优点，但需要较高的VRAM和磁盘空间。目前，该技术尚未与现有渲染管线兼容，但未来有望在更多渲染环境中得到应用。
Hugging Face BlogAI 评分4242 Hugging Face Transformer 量化方案概述
Hugging Face Transformer 支持多种量化方案，包括 bitsandbytes 和 auto-gptq，旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用，支持跨模态互操作性，而 auto-gptq 量化方案在文本生成方面速度更快，支持高达 2 位的量化精度。
Hugging Face BlogAI 评分4040 T2I-Adapter-SDXL：高效可控生成模型助力SDXL
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型，提供额外指导，实现丰富的控制和编辑效果。相比ControlNet，T2I-Adapter-SDXL模型参数更小，运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用，并提供了训练脚本和示例。
OpenAI NewsAI 评分3232 OpenAI 与 Scale 合作，为企业提供模型微调支持
OpenAI 与 Scale 合作，允许客户利用 Scale 的 AI 专业知识来定制 OpenAI 最先进的模型。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分4545 Hugging Face Hub 利用机器学习改进语言元数据
Hugging Face Hub 上有约 50K 个公共数据集，其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集，并通过 librarian-bots 添加元数据，以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别，可检测 217 种语言。
Hugging Face BlogAI 评分3232 Hugging Face 指导：使用生成式 AI 工作流程创建实用 3D 资产
Hugging Face 发布了使用生成式 AI 工作流程创建实用 3D 资产的指南，通过 Shap-E 模型生成 3D 模型，并使用 Dream Textures 添加纹理，实现低保真风格的 3D 资产制作。
Hugging Face BlogAI 评分4545 Hugging Face开源SD-Small和SD-Tiny压缩模型知识蒸馏代码和权重
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重，这些模型在知识蒸馏技术训练下，参数量分别比基础模型减少了35%和55%，同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取，蒸馏模型在推理速度上比原始模型快100%。
Hugging Face Blog精选AI 评分6565 Hugging Face 对欧盟 AI 法案提出建议：关注开放和开源机器学习的发展
Hugging Face 作为开源社区驱动的公司，对欧盟 AI 法案提出了五项建议，旨在支持开放和开源机器学习的发展，包括明确 AI 组件定义、支持开源生态系统的治理等。
推荐理由：Hugging Face 作为开源社区驱动的公司，对欧盟 AI 法案提出了五项建议，旨在支持开放和开源机器学习的发展，读者可以关注这些建议对 AI 法案的影响。
Hugging Face BlogAI 评分4545 AI WebTV：基于Zeroscope和MusicGen的自动视频和音乐合成实验演示
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展，通过NodeJS和TypeScript实现，使用Zeroscope V2模型生成视频，并配合MusicGen生成音乐，通过FFmpeg进行视频流广播。
Ethereum BlogAI 评分3030 Ethereum Devconnect 伊斯坦布尔学者计划发布
Ethereum Devconnect 伊斯坦布尔学者计划旨在支持来自地理和人口统计上代表性不足的社区的人才，提供财务支持让他们参加11月的Devconnect活动。
Ethereum BlogAI 评分3535 Ethereum Protocol Fellowship 第四期申请开放
Ethereum Protocol Fellowship（EPF）第四期申请已开放，旨在支持Ethereum核心协议的开发，为期四个月的计划面向对Ethereum及其社区有热情的开发者和研究人员。申请截止至2023年6月18日，参与者有机会与核心开发者合作，并可能获得每月津贴。
Hugging Face BlogAI 评分4242 InstructPix2Pix：通过指令微调 Stable Diffusion 进行图像处理
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion，使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集，研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务，如卡通化、去雨和去噪。实验结果表明，这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
Hugging Face BlogAI 评分4545 BigCode 大规模文档级近似去重技术揭秘
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术，旨在解决数据重复问题，提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法，在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果，同时验证了其在代码模型上的有效性。
Hugging Face BlogAI 评分4545 Vicuna 13B 模型在单张 AMD GPU 上运行指南
Vicuna 13B，一款由UC Berkeley等机构开发的13亿参数开源聊天机器人，在GPT-4的参考下达到90%以上质量。本文介绍了如何在单张AMD GPU上使用ROCm运行Vicuna 13B模型，包括系统要求、ROCm安装、Docker容器设置、模型量化和推理等步骤。
Ethereum BlogAI 评分4545 Web3技术助力世界童军运动：Scout’s Passport项目展望
世界童军运动正积极探索Web3技术的应用，推出Scout’s Passport项目，旨在为童军提供数字身份系统，兼容Web3系统，支持NFT徽章、数字证书等，并推动全球童军运动的发展。该项目预计将在2023年8月的韩国世界童军大会上展示。
Hugging Face Blog精选AI 评分6060 在免费 Google Colab 上运行 IF 模型：开源图像生成工具教程
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行，并展示了其在图像生成方面的能力，包括图像变体和图像修复。
推荐理由：介绍了如何使用开源模型 IF 在免费 Google Colab 上运行，并展示了其在图像生成方面的能力。
Hugging Face BlogAI 评分4040 Databricks 与 Hugging Face 合作：大型语言模型训练和调优速度提升高达 40%
Databricks 推出与 Hugging Face 的合作，通过 Apache Spark™ dataframe 直接创建 Hugging Face Dataset，简化模型训练和调优流程。新功能将 Spark 的数据处理效率和 Hugging Face 的数据集优化相结合，将 16GB 数据集的处理时间从 22 分钟缩短至 12 分钟，速度提升超过 40%。
OpenAI NewsAI 评分2525 ChatGPT 新功能：可关闭聊天历史，自主选择训练模型数据
ChatGPT 用户可关闭聊天历史，自主选择用于模型训练的对话数据，提升数据管理灵活性。
Hugging Face BlogAI 评分3535 Hugging Face 推出中文博客：促进中西方 AI 社区合作
Hugging Face 推出面向中文用户的博客，提供包括 Transformer、扩散模型和强化学习等资源的翻译，旨在促进中西方 AI 社区合作。博客强调中国 AI 社区的成就，如 HuggingGPT、ChatGLM 等，并计划加强与中国合作伙伴的合作，共同推动 AI 发展。
Ethereum BlogAI 评分4545 Ethereum Next Billion Fellowship Cohort 3 招募申请
Ethereum 基金会推出 Next Billion Fellowship Cohort 3，旨在寻找有志于利用以太坊改善数十亿人生活的创新者。该计划提供导师指导、资源支持、财务资助以及网络和媒体曝光机会，申请截止日期为 2023 年 4 月 28 日。
Hugging Face BlogAI 评分4040 Hugging Face 推出 AI vs. AI 深度强化学习多智能体竞赛系统
Hugging Face 推出 AI vs. AI，一个基于深度强化学习的多智能体竞赛系统，通过匹配算法、数据集和排行榜评估强化学习模型在多智能体环境中的性能。该系统采用 ELO 评分系统，通过模型间对抗性比赛生成相对技能评分，为多智能体环境提供一种稳健的评估技术。
Hugging Face Blog精选AI 评分7070 深入探讨视觉-语言模型
本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
推荐理由：本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
Hugging Face BlogAI 评分3232 3D Asset Generation: AI for Game Development #3 - AI在游戏开发中的应用：3D资产生成
本文探讨了AI在游戏开发中生成3D资产的应用。虽然目前文本到3D技术尚未成熟，但已有如DreamFusion、CLIPMatrix、CLIP-Mesh-SMPLX等工具在生成3D模型方面取得进展。然而，这些技术生成的模型需要大量后期处理才能用于游戏开发。未来，随着NeRF到网格的转换和网格生成技术的改进，文本到3D技术有望在游戏开发中发挥更大作用。
Hugging Face BlogAI 评分3535 AI for Game Development: Creating a Farming Game in 5 Days. Part 2 - ChatGPT 在游戏开发中的应用：5天内创建一个农场游戏（第二部分）
在5天内使用AI工具创建一个完整的农场游戏，本教程介绍了如何利用ChatGPT等AI工具进行游戏设计，包括作物多样性、挑战性进阶系统、动态交互环境、社交和多人游戏功能以及沉浸式故事或主题。同时，探讨了语言模型的工作原理及其在游戏开发中的应用，并讨论了ChatGPT的局限性。
Hugging Face Blog精选AI 评分6565 Hugging Face探讨机器学习中的偏见问题
Hugging Face团队探讨了机器学习中的偏见问题，并分享了他们的工具和方法，以帮助识别和减轻偏见，构建更公平、更安全的机器学习系统。
推荐理由：文章深入探讨了机器学习中的偏见问题，并提供了Hugging Face团队开发的工具和方法，读者可以了解如何识别和减轻偏见，以及如何构建更公平、更安全的机器学习系统。
Hugging Face Blog精选AI 评分8585 从人类反馈中进行强化学习：RLHF技术详解
本文详细介绍了从人类反馈中进行强化学习（RLHF）的技术，包括其原理、训练过程、应用案例以及开源工具。
推荐理由：本文详细介绍了RLHF技术及其应用，对理解语言模型的发展具有重要意义。
Ethereum BlogAI 评分4040 Merge Data Challenge 结果公布：Ethereum 合并数据挑战获奖者揭晓
Ethereum 基金会宣布 Merge 数据挑战获奖者，挑战持续约 9 周，参与者提交了 45 篇数据分析博客，奖品分为三个等级，总奖金达 42.5 千美元。挑战产生了新的工具、分析和可视化，有助于监测和理解以太坊的权益证明网络。
Hugging Face BlogAI 评分4040 Concrete-ML 库实现基于同态加密的加密数据情感分析
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密（FHE）环境下进行机器学习模型训练的方法，通过结合 transformers 和 XGBoost 实现对加密数据的情感分析，并提供了详细的教程和示例。
Hugging Face BlogAI 评分4040 Hugging Face 🤗 Transformers 指导：多语言语音识别模型 Whisper 微调教程
OpenAI 发布的 Whisper 模型，基于 680,000 小时的标注音频转录数据进行预训练，支持 96 种语言，包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤，包括数据准备、特征提取、微调和评估。通过微调， Whisper 模型在低资源语言上表现出色，仅需 8 小时微调数据即可达到良好性能。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布评估语言模型偏见的工具 🤗 Evaluate
Hugging Face 发布了 🤗 Evaluate 工具，用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法，帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由：该工具提供了评估大型语言模型偏见的方法，有助于读者了解模型在偏见方面的表现。
Hugging Face BlogAI 评分4040 PyTorch DDP、Accelerate 和 Trainer：轻松掌握分布式训练
本文介绍了如何使用 PyTorch DDP、Accelerate 和 Transformer 的 Trainer API 进行分布式训练，通过三个不同层次的抽象，展示了如何在多个 GPU 上进行模型训练，并提供了详细的代码示例和解释。
Hugging Face Blog精选AI 评分6060 MTEB：大规模文本嵌入基准发布
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务，目前汇总了超过 2000 个结果。MTEB 还支持多语言模型，并提供了开源代码库供用户提交模型和结果。
推荐理由：MTEB 提供了一个全面的文本嵌入模型性能基准，读者可以了解不同模型在不同任务上的表现，从而选择最适合自己的模型。
Hugging Face BlogAI 评分4545 Hugging Face Inference Endpoints：简化机器学习模型部署
Hugging Face 推出 Inference Endpoints，简化机器学习模型部署流程，支持从 Hugging Face hub 一键部署至云基础设施，提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限，并通过 API 调用或界面测试模型。
Hugging Face BlogAI 评分4545 Hugging Face Ethics and Society Newsletter #1 发布：探讨AI伦理与透明度
Hugging Face 发布了首期 Ethics and Society Newsletter，强调公司对协作、责任和透明度的重视，并探讨了AI伦理与透明度的重要性。该刊由公司内部一群关注AI社会影响和Hugging Face角色的平等成员共同编写，旨在通过社区讨论、工具开发等方式，推动AI伦理的实践和价值观的体现。
Ethereum BlogAI 评分3232 Ethereum Protocol Fellowship 第三期招募
Ethereum Protocol Fellowship（EPF）第三期招募正在进行，旨在培养开发者参与以太坊协议开发。该计划从2022年10月开始至2023年1月结束，参与者将有机会与核心开发者社区合作，参与实际项目，并得到资深开发者的指导。前两期学员已参与多个项目，包括协议文档、ZKSync、EVM实现等，部分学员现已在核心协议开发或相关领域全职工作。