OpenAI 发布 Sora:将视频生成模型视为世界模拟器
OpenAI 发布名为 Sora 的视频生成模型,该模型基于文本条件扩散架构,能够生成长达一分钟的高保真视频。研究指出,通过在可变时长、分辨率和宽高比的视频及图像数据上联合训练 Transformer 架构,扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。
推荐理由:原文阐述了Sora作为世界模拟器的技术路径,读者可据此理解大规模视频生成模型在物理世界模拟上的潜力。
OpenAI 发布名为 Sora 的视频生成模型,该模型基于文本条件扩散架构,能够生成长达一分钟的高保真视频。研究指出,通过在可变时长、分辨率和宽高比的视频及图像数据上联合训练 Transformer 架构,扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。
推荐理由:原文阐述了Sora作为世界模拟器的技术路径,读者可据此理解大规模视频生成模型在物理世界模拟上的潜力。
Hugging Face 发布了 SegMoE 混合专家扩散模型框架,支持在 Hugging Face 生态系统中创建和集成 MoE 模型。
推荐理由:SegMoE 是一个用于创建混合专家扩散模型的框架,读者可以了解其如何改变现有工作流。
Hugging Face 发布了宪法AI工具,旨在帮助将开源模型与宪法原则对齐,并通过实验评估了其效果。
推荐理由:原文介绍了宪法AI(CAI)的概念和实现方法,读者可以了解如何将开源模型与宪法原则对齐,并评估其效果。
Hugging Face 推出企业场景排行榜,旨在评估语言模型在真实世界企业用例中的性能,支持6个任务,包括金融、法律、创意写作等,部分数据集为闭源,以避免测试集污染。
Hugging Face 发布了 StarCoder 智能体功能加速,通过 8bit 和 4bit 量化以及辅助生成技术,在 Intel Xeon 处理器上实现了超过 7 倍的推理加速。
Hugging Face发布了一个名为幻觉排行榜的项目,旨在评估大型语言模型在生成内容中的事实准确性和可靠性,通过多个基准测试对各种模型进行评估,为AI/NLP领域的研究和开发提供参考。
推荐理由:该研究通过建立幻觉排行榜,为评估大型语言模型在生成内容中的事实准确性和可靠性提供了新的工具,对AI/NLP领域的研究和开发具有重要意义。
Secure Learning Lab 推出了 DecodingTrust 平台,用于评估 LLM 的可信度,包括毒性、刻板印象偏见、对抗鲁棒性等多个方面。同时,发布了新的 LLM 安全排行榜,基于 HF 排行榜模板,提供对 LLM 安全性的评估。
推荐理由:DecodingTrust 平台提供了对 LLM 安全性的全面评估,对理解 LLM 的安全性和风险具有重要意义。
Hugging Face 发布了名为 smolagents 的代理库,该库允许用户将开源 LLMs 作为 LangChain 代理使用,并展示了如何构建和使用这些代理。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face 发布了使用 ONNX Runtime 和 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,显著提高了推理速度,并支持多种编程语言。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出基于 Hugging Face Leaderboard 模板的 HHEM 欺幻觉榜,用于评估大型语言模型(LLM)生成文本的幻觉程度。该榜支持开源和商业模型,如 Llama 2、GPT-4 和 Claude,旨在推动 LLM 幻觉评估的民主化。HHEM 使用 Hugging Face Leaderboard 模板,支持动态更新,并鼓励社区提交新模型进行评估。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
Hugging Face 发布了 LoRA 训练脚本指南,结合了多种优化技巧,旨在提高 LoRA 训练效果。
推荐理由:该博客提供了 LoRA 训练脚本的详细指南,包括多种优化技巧,对想要改进 LoRA 训练的读者具有参考价值。
Hugging Face 推出 Whisper 模型的 Speculative Decoding 技术,通过使用辅助模型来加速推理过程,将 Whisper 模型的推理速度提升了 2 倍,同时保持了相同的准确性。
推荐理由:原文提出了 Speculative Decoding 技术,可以显著提高 Whisper 模型的推理速度,读者可以了解其原理和应用。
2023年,开源大型语言模型(LLM)发展迅速,本文回顾了这一年开源LLM的发展,包括模型架构、训练数据、模型大小、性能和可访问性等方面的变化。
推荐理由:本文回顾了2023年开源大型语言模型的发展,分析了模型架构、训练数据、模型大小、性能和可访问性等方面的变化,对读者了解开源LLM的发展趋势有重要价值。
Mistral AI 发布了 Mixtral 8x7B 模型,这是一个高质量的稀疏混合专家模型(SMoE),在大多数基准测试中优于 Llama 2 70B,且推理速度更快。
推荐理由:Mixtral 8x7B 模型在多个基准测试中优于 Llama 2 70B,且推理速度更快,读者可以据此评估其对现有工作流的影响。
Mistral 发布了 Mixtral 8x7b 模型,这是一个在 Hugging Face 上达到 SOTA 水平的大语言模型,具有 8 个专家模型和 32k 上下文长度,支持多种语言和编码能力。
推荐理由:Mixtral 8x7b 模型在多个基准测试中超越了 GPT-3.5,并支持 32k 上下文长度,读者可以了解其性能和潜在影响。
本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
Hugging Face 发布了 LoRA 推理加速功能,通过动态加载 LoRA 适配器,将推理速度提高了 300%。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了新的 Latent Consistency LoRAs,可以将 Stable Diffusion 和 SDXL 的生成步骤从 25-50 步减少到 4-8 步,从而实现快速图像生成。
推荐理由:原文介绍了如何通过 Latent Consistency LoRAs 快速生成图像,读者可以了解其如何改变现有工作流。
Hugging Face 推出代码智能体功能,允许用户基于自身代码库微调代码生成模型,提高开发效率和生产力。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势,但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL,从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时,推理时间从 72.2 秒缩短到 10.2 秒,内存使用量从 28GB 降低到 21.7GB。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Mistral AI 发布了新的7B参数模型Mistral 7B,该模型在所有标准英语和代码基准测试中优于所有目前可用的13B参数以下的开源模型。Mistral AI致力于成为开放生成AI社区的领先支持者,并推动开放模型达到最先进的性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Mistral AI 发布了 Mistral 7B 语言模型,该模型在多个基准测试中优于 Llama 2 13B 和 Llama 1 34B,并使用 Grouped-query attention 和 Sliding Window Attention 技术提高推理速度。Mistral 7B 以 Apache 2.0 许可证发布,可在任何云平台部署,并易于微调。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试,分析了不同配置下的性能和成本,为用户提供了优化部署的建议。
ChatGPT 发布新功能,能够进行视觉、听觉和语言交互。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了目标检测排行榜,并详细解析了目标检测的评估方法和常用指标,包括 IoU、AP 和 AR,以及如何选择最佳模型。
Hugging Face博客发布了一篇关于优化LLM在生产和部署中性能的博客,介绍了降低精度、Flash Attention和改进的LLM架构等技术。
推荐理由:原文提供了优化大型语言模型(LLM)在生产和部署中的性能的方法,读者可以据此评估这些方法对现有工作流的影响。
Hugging Face 推出 Würstchen 模型,通过高度压缩的潜在空间实现快速图像生成,训练成本和推理成本大幅降低,适用于资源有限的用户。
推荐理由:Würstchen 模型在图像生成方面实现了快速和高效的性能,读者可以了解其压缩技术和训练成本,评估其对现有工作流的影响。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Geth v1.13.0 发布,引入新的数据库模型以存储以太坊状态,提高了性能并实现了适当的修剪。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face Transformer 支持多种量化方案,包括 bitsandbytes 和 auto-gptq,旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用,支持跨模态互操作性,而 auto-gptq 量化方案在文本生成方面速度更快,支持高达 2 位的量化精度。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
Hugging Face 发布了 Falcon 180B 开源语言模型,具有1800亿参数,在多个自然语言任务上取得了最先进的成果,并提供了使用指南。
推荐理由:Falcon 180B 是目前最大的开源语言模型,具有1800亿参数,在多个自然语言任务上取得了最先进的成果,读者可以了解其性能和如何使用。
Hugging Face 博客介绍了 AudioLDM 2 的优化方法,包括代码优化和模型优化,将音频生成时间从 14 秒缩短到不到 1 秒。
Code Llama 是一系列针对代码任务的 Llama 2 开放访问版本,它被集成到 Hugging Face 生态系统中。Code Llama 可以通过在 IDE 中提供代码补全来提高软件工程师的生产力,处理编写文档字符串或创建单元测试等重复或令人烦恼的任务。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了开源多模态视觉语言模型 IDEFICS,该模型基于 Flamingo,能够接受图像和文本输入并生成文本输出,性能与闭源模型相当,并提供了开源的数据集和模型。
推荐理由:IDEFICS 是一个开源的多模态视觉语言模型,其性能与闭源模型相当,为多模态 AI 系统的研究提供了新的可能性。
Hugging Face 推出 DPO 方法,用于微调 Llama 2 模型,并介绍了在 TRL 库中如何使用该方法。
Hugging Face Blog发布了一篇关于使用全同态加密技术保护大型语言模型隐私的研究,该技术允许在加密数据上执行函数,从而在保护模型所有者知识产权的同时,维护用户数据的隐私。
推荐理由:该研究提出了使用全同态加密技术保护大型语言模型隐私的方法,对关注AI安全和隐私的读者有参考价值。