Mistral 发布 Mixtral 8x7b 模型,在 Hugging Face 上达到 SOTA 水平
Mistral 发布了 Mixtral 8x7b 模型,这是一个在 Hugging Face 上达到 SOTA 水平的大语言模型,具有 8 个专家模型和 32k 上下文长度,支持多种语言和编码能力。
推荐理由:Mixtral 8x7b 模型在多个基准测试中超越了 GPT-3.5,并支持 32k 上下文长度,读者可以了解其性能和潜在影响。
Mistral 发布了 Mixtral 8x7b 模型,这是一个在 Hugging Face 上达到 SOTA 水平的大语言模型,具有 8 个专家模型和 32k 上下文长度,支持多种语言和编码能力。
推荐理由:Mixtral 8x7b 模型在多个基准测试中超越了 GPT-3.5,并支持 32k 上下文长度,读者可以了解其性能和潜在影响。
本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
SetFitABSA是一种高效的少样本方面情感分析技术,由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练,包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比,SetFitABSA无需提示词,训练速度快,且仅需少量标记样本。在少样本场景中,SetFitABSA甚至优于Llama2和T5等生成模型。
Hugging Face 推出 Optimum-NVIDIA inference library,通过简单的 API 在 NVIDIA 平台上实现 LLM 推理速度提升至 28 倍,并支持 FP8 格式和 NVIDIA TensorRT-LLM 软件。
推荐理由:Optimum-NVIDIA inference library 可以显著加速 LLM 在 NVIDIA 平台上的推理速度,读者可以了解其如何改变现有工作流。
Hugging Face 与 AMD 合作,推出针对 AMD GPU 的 AI 模型加速方案,支持所有 Transformers 模型和任务在 AMD Instinct GPU 上运行,并提供一系列优化工具和性能提升。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了新的 Latent Consistency LoRAs,可以将 Stable Diffusion 和 SDXL 的生成步骤从 25-50 步减少到 4-8 步,从而实现快速图像生成。
推荐理由:原文介绍了如何通过 Latent Consistency LoRAs 快速生成图像,读者可以了解其如何改变现有工作流。
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能,使用 LoRA 技术进行微调,发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
Hugging Face Hub 推出存储区域功能,允许用户选择模型和数据的存储位置,以符合监管和法律要求,并提升数据主权和性能。目前支持美国和欧盟区域,预计未来还将支持亚太地区。该功能通过提高上传和下载速度来显著提升性能,例如,在欧洲存储数据比在美国存储快4-5倍。
Hugging Face 推出代码智能体功能,允许用户基于自身代码库微调代码生成模型,提高开发效率和生产力。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具,用户只需一行代码即可创建交互式可视化,识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入,深入了解数据段和模型失败模式。此外,Spotlight 还允许用户自定义数据检查工作流程,并找到相关的数据样本和聚类进行检查。
Hugging Face Inference Endpoints 提供了一种简单、安全的方式部署机器学习模型,支持快速部署、自动扩展、成本效益和高级安全功能。Text Embeddings Inference (TEI) 是专为部署和托管开源文本嵌入模型而构建的解决方案,支持所有 MTEB 排行榜前 10 的模型,并实现了多种性能优化功能。
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势,但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL,从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时,推理时间从 72.2 秒缩短到 10.2 秒,内存使用量从 28GB 降低到 21.7GB。
Hugging Face 社区超过 130,000 个 ONNX 支持模型可利用 ONNX Runtime 加速,包括多个流行的 LLM 和云模型,如 BERT、GPT2 等,平均推理延迟可降低 74.30%,提升性能。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Hugging Face 积极参与 AI 伦理讨论,向欧盟、英国和美国立法者提供 AI 监管建议,CEO Clem 向美国国会作证,首席伦理科学家 Meg 向民主党核心小组发表评论。此外,Hugging Face 与媒体合作,就 AI 能源使用、偏见、性别问题等发表观点,并推出 AI 音频课程、开放访问临床语言模型资源等。
Hugging Face 提供了无需代码即可训练和部署聊天机器人的方法,使用 LLaMA 2 模型,通过 AutoTrain 和 ChatUI 工具,任何人都可以轻松构建自己的开源聊天机器人。
推荐理由:原文提供了无需代码即可训练和部署聊天机器人的方法,读者可以了解如何利用这些工具简化工作流程。
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试,分析了不同配置下的性能和成本,为用户提供了优化部署的建议。
Hugging Face 推出 Inference for PRO 用户功能,为用户提供访问精选模型 API 的权限,并提高免费 Inference API 的使用速率限制。
Rocket Money(一个个人财务应用)与 Hugging Face 合作,使用 Hugging Face 的模型托管服务来扩展其机器学习模型,以提高交易处理效率和用户体验。
Hugging Face 发布了目标检测排行榜,并详细解析了目标检测的评估方法和常用指标,包括 IoU、AP 和 AR,以及如何选择最佳模型。
Hugging Face 推出 Würstchen 模型,通过高度压缩的潜在空间实现快速图像生成,训练成本和推理成本大幅降低,适用于资源有限的用户。
推荐理由:Würstchen 模型在图像生成方面实现了快速和高效的性能,读者可以了解其压缩技术和训练成本,评估其对现有工作流的影响。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Hugging Face 发布了 SafeCoder,一款面向企业的智能代码助手,它基于开源模型 StarCoder,提供透明度、可定制性、IT 弹性和隐私保护。SafeCoder 可以帮助用户训练模型,学习特定软件工程流程的细微差别,并支持在本地或云端运行。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
Hugging Face 发布了 Falcon 180B 开源语言模型,具有1800亿参数,在多个自然语言任务上取得了最先进的成果,并提供了使用指南。
推荐理由:Falcon 180B 是目前最大的开源语言模型,具有1800亿参数,在多个自然语言任务上取得了最先进的成果,读者可以了解其性能和如何使用。
Fetch 公司使用 Amazon SageMaker 和 Hugging Face 优化了其机器学习流程,使扫描处理速度更快,准确性更高,并将延迟降低了 50%。
Hugging Face 博客介绍了 AudioLDM 2 的优化方法,包括代码优化和模型优化,将音频生成时间从 14 秒缩短到不到 1 秒。
Code Llama 是一系列针对代码任务的 Llama 2 开放访问版本,它被集成到 Hugging Face 生态系统中。Code Llama 可以通过在 IDE 中提供代码补全来提高软件工程师的生产力,处理编写文档字符串或创建单元测试等重复或令人烦恼的任务。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face在Transformers中集成了AutoGPTQ库,使用户能够以8、4、3或2位精度量化模型,同时保持推理速度与fp16基准相当。
推荐理由:原文介绍了AutoGPTQ库的集成,使LLM量化更加便捷,读者可以了解其如何改变现有工作流。
Hugging Face 发布了 SafeCoder,一款面向企业的代码助手解决方案,旨在提高软件开发效率。SafeCoder 以安全和隐私为核心原则,允许企业自行托管和训练自己的代码大型语言模型,无需将代码分享给第三方。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了开源多模态视觉语言模型 IDEFICS,该模型基于 Flamingo,能够接受图像和文本输入并生成文本输出,性能与闭源模型相当,并提供了开源的数据集和模型。
推荐理由:IDEFICS 是一个开源的多模态视觉语言模型,其性能与闭源模型相当,为多模态 AI 系统的研究提供了新的可能性。
Hugging Face Hub 现已登陆 AWS Marketplace,用户可通过 AWS Marketplace 订阅 Hugging Face Hub,并使用 AWS 账户直接支付 Hugging Face 使用费用。
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具,通过三种优化技术,显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库,支持生成多种音频输出,包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Hugging Face 发布了 Swift Transformers,这是一个用于在 Apple 设备上运行设备端 LLM 的工具。它包括 alpha 库和工具,旨在帮助开发者构建更快的应用程序,并支持多种模型和转换工具。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 DPO 方法,用于微调 Llama 2 模型,并介绍了在 TRL 库中如何使用该方法。
Hugging Face Hub 上有约 50K 个公共数据集,其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集,并通过 librarian-bots 添加元数据,以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别,可检测 217 种语言。
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重,这些模型在知识蒸馏技术训练下,参数量分别比基础模型减少了35%和55%,同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取,蒸馏模型在推理速度上比原始模型快100%。
Hugging Face 发布了新的 Stable Diffusion XL 模型,并提供了 Core ML 支持,使得模型可以在 macOS 上运行。同时,还介绍了混合位调色板化技术,以减小模型大小并提高性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 Agents.js,这是一个新的 JavaScript 库,允许在浏览器或服务器中使用 JavaScript 为 LLMs 提供工具访问权限。