Hugging Face 推出 RWKV 模型:结合 RNN 和 Transformer 优势的新架构
Hugging Face 推出 RWKV 模型,结合了 RNN 和 Transformer 的优势,具有长上下文处理能力和高效的训练速度。该模型已集成到 Hugging Face transformers 库中,并支持多种应用场景。
推荐理由:原文介绍了 RWKV 模型的特点和优势,读者可以了解其在自然语言处理领域的应用潜力。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face 推出 RWKV 模型,结合了 RNN 和 Transformer 的优势,具有长上下文处理能力和高效的训练速度。该模型已集成到 Hugging Face transformers 库中,并支持多种应用场景。
推荐理由:原文介绍了 RWKV 模型的特点和优势,读者可以了解其在自然语言处理领域的应用潜力。
Hugging Face 推出辅助生成,一种新的低延迟文本生成方法,通过使用较小的辅助模型来加速文本生成过程,实现高达 10 倍的延迟降低。
推荐理由:原文介绍了低延迟文本生成的新方法,读者可以了解其如何优化现有工作流。
BigCode 的 StarCoder 模型发布,一个基于 80 多种编程语言、GitHub 问题和 Jupyter 笔记本训练的 1600 亿参数模型。该模型可用于创建个性化的编码助手,并支持多查询注意力机制和快速的大批量推理。
推荐理由:原文展示了如何将 StarCoder 模型微调为聊天机器人,读者可以了解其如何改变现有工作流。
本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,如Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo、Video Diffusion Models (VDM)、MagicVideo、Tune-a-Video、Video LDM、Text2Video-Zero、Runway Gen1和Gen2、NUWA-XL等。
推荐理由:本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,对了解该领域的发展具有重要意义。
StarCoder 是一款基于 GitHub 数据训练的代码大语言模型,具有超过 15B 参数和 1 万亿个 token 的上下文长度。它在多个编程基准测试中优于现有的开源代码 LLM,并与 OpenAI 的 Codex 模型相媲美。StarCoder 可以用于自动完成代码、根据指令修改代码以及用自然语言解释代码片段。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力,包括图像变体和图像修复。
推荐理由:介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力。
Hugging Face 与 AWS 合作,推出 AWS Inferentia2 加速器,用于优化 Hugging Face Transformers 的性能。该加速器提供了前所未有的吞吐量、延迟、性能功耗比和可扩展性。通过 AWS Neuron SDK 的原生集成,开发者只需一行代码即可将模型编译为 Inferentia2。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 Habana Gaudi2 加速器上的 BLOOMZ 大语言模型快速推理功能,使用 🤗 Optimum Habana 库可以轻松部署百亿参数的大型语言模型,如 BLOOM,并实现比市场上任何 GPU 更快的推理速度。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face发布TRL和PEFT集成,允许用户在24GB消费级GPU上微调20B参数的大型语言模型,提高了RLHF微调的易用性。
推荐理由:原文介绍了如何使用TRL和PEFT库在24GB消费级GPU上微调20B参数的大型语言模型,读者可以了解如何利用这些工具进行大规模语言模型的微调。
Kakao Brain 和 Hugging Face 发布了新的开源图像-文本数据集 COYO 和基于该数据集训练的两个视觉语言模型 ViT 和 ALIGN。这是首个公开的免费和开源的 ALIGN 模型,也是首个与训练数据集一起发布的 ViT 和 ALIGN 模型。Kakao Brain 的 ViT 和 ALIGN 模型在性能上与 Google 的版本相当,并且演示了如何使用这些模型。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
ControlNet 是一种框架,允许用户通过不同的空间上下文(如深度图、分割图、涂鸦、关键点等)来定制生成过程。该框架支持多种条件模型,并已集成到 Diffusers 中,允许用户通过控制网络来控制图像生成过程。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 Swift Diffusers,一个基于最先进的扩散模型的 Mac 本地应用程序。它利用了社区贡献给 Hugging Face Hub 的 SoTA 文本到图像模型,并转换为 Core ML 以实现闪电般的性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
本文探讨了大型语言模型(LLM)的安全性和潜在风险,提出了红队测试作为评估模型安全性的方法,并讨论了相关的研究和开源数据集。
推荐理由:文章探讨了大型语言模型的安全性和潜在风险,并提出了红队测试作为评估模型安全性的方法。
Hugging Face 与 Amazon Web Services (AWS) 合作,旨在通过使下一代机器学习模型更易于访问,以加速其可用性,并帮助开发者以最低的成本实现最高性能。Hugging Face 将利用 AWS 作为首选云服务提供商,使开发者能够访问 AWS 的先进工具,以训练、微调和部署模型。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Salesforce 研究推出的 BLIP-2 可用于图像字幕、提示图像字幕、视觉问答和基于聊天的提示,它是一种零样本视觉语言模型,可用于多种图像到文本任务,具有高效和有效的方法,适用于多种图像理解场景,特别是示例稀缺的情况下。
推荐理由:BLIP-2 是一种零样本视觉语言模型,可用于多种图像到文本任务,具有高效和有效的方法,适用于多种图像理解场景,特别是示例稀缺的情况下。该模型通过在预训练模型之间添加一个 Transformer 来弥合视觉和自然语言模态之间的差距。新的预训练范式使该模型能够跟上各个模态的进步。
Hugging Face发布了PEFT库,提供参数高效的微调技术,用于在下游任务和数据集上微调大型语言模型,同时节省计算和存储资源。
推荐理由:原文介绍了PEFT方法在微调大型语言模型时的效率和效果,读者可以了解其如何应用于不同任务和数据集,以及如何使用PEFT库进行模型微调。
Hugging Face 发布了 SpeechT5 模型,这是一个支持语音合成、识别等多种功能的模型,它基于 🤗 Transformers 开源库,并提供了多种预训练模型和演示。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了计算机视觉功能更新,包括支持 8 个核心视觉任务、3000 多个模型和 100 多个数据集,以及与其他第三方库的集成。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face推出LoRA技术,用于高效Stable Diffusion模型微调。LoRA技术通过冻结预训练模型权重并注入可训练层,大大减少了可训练参数数量和GPU内存需求,从而提高了模型微调的效率和效果。
推荐理由:原文介绍了LoRA技术及其在Stable Diffusion模型微调中的应用,读者可以了解如何利用LoRA提高模型微调的效率和效果。
Hugging Face 的 Optimum 库通过集成 ONNX Runtime 进行训练,为许多流行的 Hugging Face 模型提供了开源解决方案,以提高训练时间 35% 或更多。Optimum 集成了机器学习加速器如 ONNX Runtime 和专用硬件,如 Intel 的 Habana Gaudi,以在训练和推理中实现显著加速。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。