NPHardEval 推理能力排行榜:通过复杂度和动态更新评估大型语言模型
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。
推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。
推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。
Hugging Face 发布了宪法AI工具,旨在帮助将开源模型与宪法原则对齐,并通过实验评估了其效果。
推荐理由:原文介绍了宪法AI(CAI)的概念和实现方法,读者可以了解如何将开源模型与宪法原则对齐,并评估其效果。
Hugging Face 推出 PatchTST 模型,用于时间序列预测。该模型基于 Transformer 架构,通过将时间序列分割成子序列级别的 patch,并使用全局单变量模型进行编码,实现长序列预测。PatchTST 在电力数据集上展示了良好的预测能力,并支持零样本预测和微调。
Hugging Face 推出企业场景排行榜,旨在评估语言模型在真实世界企业用例中的性能,支持6个任务,包括金融、法律、创意写作等,部分数据集为闭源,以避免测试集污染。
Hugging Face 发布了 StarCoder 智能体功能加速,通过 8bit 和 4bit 量化以及辅助生成技术,在 Intel Xeon 处理器上实现了超过 7 倍的推理加速。
Hugging Face发布了一个名为幻觉排行榜的项目,旨在评估大型语言模型在生成内容中的事实准确性和可靠性,通过多个基准测试对各种模型进行评估,为AI/NLP领域的研究和开发提供参考。
推荐理由:该研究通过建立幻觉排行榜,为评估大型语言模型在生成内容中的事实准确性和可靠性提供了新的工具,对AI/NLP领域的研究和开发具有重要意义。
Hugging Face 与 Google Cloud 合作,旨在通过开放模型和开源技术,帮助公司构建自己的 AI。合作将涵盖开放科学、开源、云和硬件领域,以促进 AI 研究的普及和 AI 技术的创新。
推荐理由:Hugging Face 与 Google 的合作将推动 AI 技术的开放和普及,对行业有重要影响。
Hugging Face 发布了名为 smolagents 的代理库,该库允许用户将开源 LLMs 作为 LangChain 代理使用,并展示了如何构建和使用这些代理。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face 发布了使用 ONNX Runtime 和 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,显著提高了推理速度,并支持多种编程语言。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出基于 Hugging Face Leaderboard 模板的 HHEM 欺幻觉榜,用于评估大型语言模型(LLM)生成文本的幻觉程度。该榜支持开源和商业模型,如 Llama 2、GPT-4 和 Claude,旨在推动 LLM 幻觉评估的民主化。HHEM 使用 Hugging Face Leaderboard 模板,支持动态更新,并鼓励社区提交新模型进行评估。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
Hugging Face 发布了 LoRA 训练脚本指南,结合了多种优化技巧,旨在提高 LoRA 训练效果。
推荐理由:该博客提供了 LoRA 训练脚本的详细指南,包括多种优化技巧,对想要改进 LoRA 训练的读者具有参考价值。
Hugging Face 推出 Whisper 模型的 Speculative Decoding 技术,通过使用辅助模型来加速推理过程,将 Whisper 模型的推理速度提升了 2 倍,同时保持了相同的准确性。
推荐理由:原文提出了 Speculative Decoding 技术,可以显著提高 Whisper 模型的推理速度,读者可以了解其原理和应用。
2023年,开源大型语言模型(LLM)发展迅速,本文回顾了这一年开源LLM的发展,包括模型架构、训练数据、模型大小、性能和可访问性等方面的变化。
推荐理由:本文回顾了2023年开源大型语言模型的发展,分析了模型架构、训练数据、模型大小、性能和可访问性等方面的变化,对读者了解开源LLM的发展趋势有重要价值。
Mistral 发布了 Mixtral 8x7b 模型,这是一个在 Hugging Face 上达到 SOTA 水平的大语言模型,具有 8 个专家模型和 32k 上下文长度,支持多种语言和编码能力。
推荐理由:Mixtral 8x7b 模型在多个基准测试中超越了 GPT-3.5,并支持 32k 上下文长度,读者可以了解其性能和潜在影响。
本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
SetFitABSA是一种高效的少样本方面情感分析技术,由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练,包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比,SetFitABSA无需提示词,训练速度快,且仅需少量标记样本。在少样本场景中,SetFitABSA甚至优于Llama2和T5等生成模型。
Hugging Face 推出 Optimum-NVIDIA inference library,通过简单的 API 在 NVIDIA 平台上实现 LLM 推理速度提升至 28 倍,并支持 FP8 格式和 NVIDIA TensorRT-LLM 软件。
推荐理由:Optimum-NVIDIA inference library 可以显著加速 LLM 在 NVIDIA 平台上的推理速度,读者可以了解其如何改变现有工作流。
Hugging Face 与 AMD 合作,推出针对 AMD GPU 的 AI 模型加速方案,支持所有 Transformers 模型和任务在 AMD Instinct GPU 上运行,并提供一系列优化工具和性能提升。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了新的 Latent Consistency LoRAs,可以将 Stable Diffusion 和 SDXL 的生成步骤从 25-50 步减少到 4-8 步,从而实现快速图像生成。
推荐理由:原文介绍了如何通过 Latent Consistency LoRAs 快速生成图像,读者可以了解其如何改变现有工作流。
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能,使用 LoRA 技术进行微调,发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
Hugging Face Hub 推出存储区域功能,允许用户选择模型和数据的存储位置,以符合监管和法律要求,并提升数据主权和性能。目前支持美国和欧盟区域,预计未来还将支持亚太地区。该功能通过提高上传和下载速度来显著提升性能,例如,在欧洲存储数据比在美国存储快4-5倍。
Hugging Face 推出代码智能体功能,允许用户基于自身代码库微调代码生成模型,提高开发效率和生产力。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具,用户只需一行代码即可创建交互式可视化,识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入,深入了解数据段和模型失败模式。此外,Spotlight 还允许用户自定义数据检查工作流程,并找到相关的数据样本和聚类进行检查。
Hugging Face Inference Endpoints 提供了一种简单、安全的方式部署机器学习模型,支持快速部署、自动扩展、成本效益和高级安全功能。Text Embeddings Inference (TEI) 是专为部署和托管开源文本嵌入模型而构建的解决方案,支持所有 MTEB 排行榜前 10 的模型,并实现了多种性能优化功能。
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势,但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL,从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时,推理时间从 72.2 秒缩短到 10.2 秒,内存使用量从 28GB 降低到 21.7GB。
Hugging Face 社区超过 130,000 个 ONNX 支持模型可利用 ONNX Runtime 加速,包括多个流行的 LLM 和云模型,如 BERT、GPT2 等,平均推理延迟可降低 74.30%,提升性能。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Hugging Face 积极参与 AI 伦理讨论,向欧盟、英国和美国立法者提供 AI 监管建议,CEO Clem 向美国国会作证,首席伦理科学家 Meg 向民主党核心小组发表评论。此外,Hugging Face 与媒体合作,就 AI 能源使用、偏见、性别问题等发表观点,并推出 AI 音频课程、开放访问临床语言模型资源等。
Hugging Face 提供了无需代码即可训练和部署聊天机器人的方法,使用 LLaMA 2 模型,通过 AutoTrain 和 ChatUI 工具,任何人都可以轻松构建自己的开源聊天机器人。
推荐理由:原文提供了无需代码即可训练和部署聊天机器人的方法,读者可以了解如何利用这些工具简化工作流程。
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试,分析了不同配置下的性能和成本,为用户提供了优化部署的建议。
Hugging Face 推出 Inference for PRO 用户功能,为用户提供访问精选模型 API 的权限,并提高免费 Inference API 的使用速率限制。
Rocket Money(一个个人财务应用)与 Hugging Face 合作,使用 Hugging Face 的模型托管服务来扩展其机器学习模型,以提高交易处理效率和用户体验。
Hugging Face 发布了目标检测排行榜,并详细解析了目标检测的评估方法和常用指标,包括 IoU、AP 和 AR,以及如何选择最佳模型。
Hugging Face 推出 Würstchen 模型,通过高度压缩的潜在空间实现快速图像生成,训练成本和推理成本大幅降低,适用于资源有限的用户。
推荐理由:Würstchen 模型在图像生成方面实现了快速和高效的性能,读者可以了解其压缩技术和训练成本,评估其对现有工作流的影响。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Hugging Face 发布了 SafeCoder,一款面向企业的智能代码助手,它基于开源模型 StarCoder,提供透明度、可定制性、IT 弹性和隐私保护。SafeCoder 可以帮助用户训练模型,学习特定软件工程流程的细微差别,并支持在本地或云端运行。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。