Zama 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 公司的隐私保护机器学习框架 Concrete ML 现已支持在 Hugging Face Endpoints 上部署,使用全同态加密 (FHE) 技术保护用户数据隐私,预编译模型可直接部署,支持 scikit-learn、ONNX、PyTorch 和 TensorFlow 等传统机器学习框架。
Zama 公司的隐私保护机器学习框架 Concrete ML 现已支持在 Hugging Face Endpoints 上部署,使用全同态加密 (FHE) 技术保护用户数据隐私,预编译模型可直接部署,支持 scikit-learn、ONNX、PyTorch 和 TensorFlow 等传统机器学习框架。
Hugging Face Transformers 是一个开源 Python 库,提供数千个预训练模型,简化 Transformer 模型的实现。本文以非技术背景读者为目标,通过运行 Microsoft 的 Phi-2 LLM 举例,介绍如何使用 Hugging Face Transformers 和 Hugging Face Hub。教程从零开始,无需 Python 基础,适合初学者入门。
Hugging Face 推出 Train on DGX Cloud 服务,支持使用 NVIDIA DGX Cloud 的加速计算基础设施进行模型训练,简化了开放生成式 AI 模型的训练和部署。
Hugging Face 推出 WebSight-v0.2 数据集,包含 200 万个网页截图与 HTML 代码对,旨在训练 AI 模型将视觉网页设计转换为功能性 HTML 代码。基于此数据集,研究人员训练了 Sightseer 模型,能够将网页截图转换为功能性的 HTML 代码,并支持将图像嵌入生成的 HTML 中。
Hugging Face 推出 TTS Arena,一个用于比较语音合成模型质量的平台,用户可提交文本,对比不同模型发音,并投票选择最佳模型。该平台旨在通过社区投票结果,公开展示最高评分的模型,并允许开发者比较开源与专有模型。
Mistral AI 推出多语言聊天助手 Le Chat Vibe,支持与 Mistral 模型交互,提供教育性和娱乐性体验;Le Chat 可使用 Mistral Large、Mistral Small 或 Mistral Next 模型,具备系统级调节机制,目前为测试版,无法访问互联网。
Hugging Face Hub 提供多种 AI 水印工具,用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印,以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据,如图像、音频、文本等,并面临独特的挑战。Hugging Face Hub 提供开源工具,帮助用户进行不同类型的水印操作。
Hugging Face 的 🤗 PEFT 引入了新的 LoRA 模型融合方法,包括 Concatenation、Linear/Task Arithmetic 和 SVD 等,旨在优化不同 LoRA 模型融合的体验,提高模型性能。
AMD与Hugging Face合作,举办Pervasive AI开发者大赛,提供700个AMD平台,总奖金高达16万美元,鼓励开发者创建独特的AI应用。Hugging Face和AMD为AMD GPU提供原生支持,并支持ONNX模型执行、Optimum-Benchmark、DeepSpeed等工具,助力开发者快速构建AI应用。
Hugging Face 推出企业场景排行榜,旨在评估语言模型在真实世界企业用例中的性能,支持6个任务,包括金融、法律、创意写作等,部分数据集为闭源,以避免测试集污染。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正,并重新运行了实验,结果显示 IPO 与 DPO 相当,优于 KTO。评估了三种无强化学习的 LLM 对齐算法:DPO、IPO 和 KTO,在两个经过监督微调的 7b LLM 上进行实验,发现关键超参数需要调整以实现最佳结果。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
Open LLM Leaderboard 添加了 DROP 模型评测,但发现多数模型 f1 分数低于 10。分析发现,模型在处理浮点数答案时存在中断问题,且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记,新分数与平均性能相关性更好。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
本文详细解析了OpenAI的RLHF代码库复现,重点关注PPO实现细节,包括奖励模型、策略训练、PyTorch Adam优化器等,旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线,为教育和学习目的提供简单易读的参考实现。
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势,但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL,从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时,推理时间从 72.2 秒缩短到 10.2 秒,内存使用量从 28GB 降低到 21.7GB。
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face 推出 Inference for PROs,使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例,支持 Llama-2 和 SDXL 模型,用户可利用 Inference API 部署到个人空间,无需高技术技能,但需了解 API、环境变量和 LLM & Stable Diffusion。
Hugging Face Blog介绍了3D高斯分层技术,该技术通过将场景中的点云转换为高斯函数,实现实时渲染真实场景。该技术使用结构从运动(SfM)方法估计点云,并通过高斯分层进行渲染。此外,该技术还具有快速、可微分的优点,但需要较高的VRAM和磁盘空间。目前,该技术尚未与现有渲染管线兼容,但未来有望在更多渲染环境中得到应用。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Hugging Face Transformer 支持多种量化方案,包括 bitsandbytes 和 auto-gptq,旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用,支持跨模态互操作性,而 auto-gptq 量化方案在文本生成方面速度更快,支持高达 2 位的量化精度。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具,通过三种优化技术,显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库,支持生成多种音频输出,包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Hugging Face Hub 上有约 50K 个公共数据集,其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集,并通过 librarian-bots 添加元数据,以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别,可检测 217 种语言。
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重,这些模型在知识蒸馏技术训练下,参数量分别比基础模型减少了35%和55%,同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取,蒸馏模型在推理速度上比原始模型快100%。
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松,共有88款游戏提交,其中Snip It获得冠军。活动鼓励开发者使用开源AI工具,如Stable Diffusion和GPT-4,展示了开源AI在游戏开发中的潜力。
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展,通过NodeJS和TypeScript实现,使用Zeroscope V2模型生成视频,并配合MusicGen生成音乐,通过FFmpeg进行视频流广播。
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
OpenAI 分享了从跨越 22 个国家的对话中获得的洞察,并说明了未来将如何整合这些见解。
Hugging Face 博客发布文章,探讨了文本到图像模型中的偏见问题,分析了偏见来源,并提出了相应的工具和解决方案。
推荐理由:文章探讨了文本到图像模型中的偏见问题,并提出了相应的工具和解决方案,对理解和解决该问题有重要价值。
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调,该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言,包括濒危语言,有助于保护语言多样性。
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析,指出该模型在三个数据集上的表现优于 DLinear 模型,并介绍了其分解层和自相关机制。
Hugging Face Hub 提供超过 19 万个机器学习模型、3.3 万个数据集和 10 万个应用和演示,涵盖预训练语言模型、图像和音频分类模型、目标检测模型以及各种生成模型。该平台支持 GLAM 领域的用户分享和访问机器学习模型和数据集,并提供了模型和数据的搜索、使用和分享功能。
Hugging Face 举办首届开源 AI 游戏马拉松,鼓励开发者利用 AI 工具如 Stable Diffusion 创作游戏,活动将于 7 月 7-9 日举行,支持个人或团队参与,要求游戏可在网页或 Windows 上运行,并融入至少一个开源 AI 工具。
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion,使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集,研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务,如卡通化、去雨和去噪。实验结果表明,这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
OpenAI推出ChatGPT iOS应用,同步对话记录,支持语音输入,并带来最新模型改进。
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术,旨在解决数据重复问题,提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法,在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果,同时验证了其在代码模型上的有效性。
Vicuna 13B,一款由UC Berkeley等机构开发的13亿参数开源聊天机器人,在GPT-4的参考下达到90%以上质量。本文介绍了如何在单张AMD GPU上使用ROCm运行Vicuna 13B模型,包括系统要求、ROCm安装、Docker容器设置、模型量化和推理等步骤。
Hugging Face 推出面向中文用户的博客,提供包括 Transformer、扩散模型和强化学习等资源的翻译,旨在促进中西方 AI 社区合作。博客强调中国 AI 社区的成就,如 HuggingGPT、ChatGLM 等,并计划加强与中国合作伙伴的合作,共同推动 AI 发展。