ControlNet 在 Diffusers 中的应用
ControlNet 是一种框架,允许用户通过不同的空间上下文(如深度图、分割图、涂鸦、关键点等)来定制生成过程。该框架支持多种条件模型,并已集成到 Diffusers 中,允许用户通过控制网络来控制图像生成过程。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
ControlNet 是一种框架,允许用户通过不同的空间上下文(如深度图、分割图、涂鸦、关键点等)来定制生成过程。该框架支持多种条件模型,并已集成到 Diffusers 中,允许用户通过控制网络来控制图像生成过程。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Witty Works利用Hugging Face的专家加速计划,通过迁移学习预训练的spaCy模型,构建了写作助手,用于检测和过滤潜在偏见词汇。Hugging Face专家建议使用Sentence Transformers架构和SetFit库进行微调,以减少标注数据量并提高效率。最终,Witty Works在Azure上部署了模型,实现了低延迟。
Hugging Face 发布了 Swift Diffusers,一个基于最先进的扩散模型的 Mac 本地应用程序。它利用了社区贡献给 Hugging Face Hub 的 SoTA 文本到图像模型,并转换为 Core ML 以实现闪电般的性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
本文探讨了大型语言模型(LLM)的安全性和潜在风险,提出了红队测试作为评估模型安全性的方法,并讨论了相关的研究和开源数据集。
推荐理由:文章探讨了大型语言模型的安全性和潜在风险,并提出了红队测试作为评估模型安全性的方法。
Fetch公司利用Hugging Face和AWS平台,开发了自己的AI工具,用于处理用户上传的收据,实现数据分析和存储。通过这种方式,Fetch将开发时间缩短了30%,并提高了数据处理速度,同时降低了成本。
Hugging Face 与 Amazon Web Services (AWS) 合作,旨在通过使下一代机器学习模型更易于访问,以加速其可用性,并帮助开发者以最低的成本实现最高性能。Hugging Face 将利用 AWS 作为首选云服务提供商,使开发者能够访问 AWS 的先进工具,以训练、微调和部署模型。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Salesforce 研究推出的 BLIP-2 可用于图像字幕、提示图像字幕、视觉问答和基于聊天的提示,它是一种零样本视觉语言模型,可用于多种图像到文本任务,具有高效和有效的方法,适用于多种图像理解场景,特别是示例稀缺的情况下。
推荐理由:BLIP-2 是一种零样本视觉语言模型,可用于多种图像到文本任务,具有高效和有效的方法,适用于多种图像理解场景,特别是示例稀缺的情况下。该模型通过在预训练模型之间添加一个 Transformer 来弥合视觉和自然语言模态之间的差距。新的预训练范式使该模型能够跟上各个模态的进步。
Hugging Face推出Inference Endpoints服务,旨在简化Transformer模型的部署。该服务支持在AWS、Azure和GCP等云平台上部署模型,并支持多种实例类型,包括GPU。
Hugging Face发布了PEFT库,提供参数高效的微调技术,用于在下游任务和数据集上微调大型语言模型,同时节省计算和存储资源。
推荐理由:原文介绍了PEFT方法在微调大型语言模型时的效率和效果,读者可以了解其如何应用于不同任务和数据集,以及如何使用PEFT库进行模型微调。
Hugging Face 发布了 SpeechT5 模型,这是一个支持语音合成、识别等多种功能的模型,它基于 🤗 Transformers 开源库,并提供了多种预训练模型和演示。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Intel Sapphire Rapids CPU通过结合集群服务器和Intel Extension for PyTorch库,实现了与上一代Xeon相比的8倍速度提升,并展示了在Hugging Face Optimum Intel库支持下,对NLP模型进行推理的性能测试。
本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
推荐理由:本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
Hugging Face 发布了计算机视觉功能更新,包括支持 8 个核心视觉任务、3000 多个模型和 100 多个数据集,以及与其他第三方库的集成。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 博客发布了一篇关于使用 AI 工具生成 2D 资产的游戏开发教程,介绍了如何利用 Stable Diffusion 模型在 2D 工作流程中生成 2D 资产,并提供了具体的案例和步骤。教程适用于熟悉图像编辑和 2D 资产创建的读者,同时对于初学者和专家也具有参考价值。
Hugging Face推出LoRA技术,用于高效Stable Diffusion模型微调。LoRA技术通过冻结预训练模型权重并注入可训练层,大大减少了可训练参数数量和GPU内存需求,从而提高了模型微调的效率和效果。
推荐理由:原文介绍了LoRA技术及其在Stable Diffusion模型微调中的应用,读者可以了解如何利用LoRA提高模型微调的效率和效果。
Hugging Face 的 Optimum 库通过集成 ONNX Runtime 进行训练,为许多流行的 Hugging Face 模型提供了开源解决方案,以提高训练时间 35% 或更多。Optimum 集成了机器学习加速器如 ONNX Runtime 和专用硬件,如 Intel 的 Habana Gaudi,以在训练和推理中实现显著加速。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 Mask2Former 和 OneFormer,两种用于图像分割的神经网络,它们现在可在 Hugging Face Transformers 库中使用。Mask2Former 和 OneFormer 支持实例分割、语义分割和全景分割,并提供了使用指南和示例代码。
推荐理由:介绍了 Mask2Former 和 OneFormer 两种先进的图像分割神经网络,并提供了在 Hugging Face Transformers 库中使用的指南,对图像分割领域的研究者和开发者有参考价值。
PaddlePaddle,自2016年起由百度开源的深度学习平台,已拥有超过535万开发者和20万家企业用户。PaddlePaddle提供多种开源库,如PaddleOCR、PaddleDetection、PaddleNLP等,并计划逐步将其库与Hugging Face Hub集成,预计将提供全系列预训练模型。
Hugging Face 博客介绍了如何使用 🤗 Transformers 和 datasets 库构建图像相似度系统,通过计算图像嵌入并使用余弦相似度来比较查询图像和候选图像的相似度。该系统使用基于 ViT 的模型和 Beans 数据集,并支持扩展到其他视觉模型和图像数据集。
本文介绍了图机器学习的基本概念、应用和代表性方法,包括图的结构、表示、预神经方法、图神经网络和图 Transformer。
推荐理由:本文介绍了图机器学习的基本概念、应用和代表性方法,对于想要了解该领域的读者具有参考价值。
Hugging Face 博客介绍了如何使用 Intel Sapphire Rapids 服务器集群加速 PyTorch Transformers 的训练。通过 Intel oneAPI Collective Communications Library (CCL) 和 Intel Extension for PyTorch (IPEX) 库,可以在不修改代码的情况下实现加速。
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,包括模型卡片创建工具、更新模板、注释模板、用户研究和文献综述。
推荐理由:Hugging Face 推出模型卡片创建工具和指南,旨在提高机器学习模型的文档质量,对开发者、学生、政策制定者等不同背景的用户都有价值。
Hugging Face 推出 Bumblebee 库,实现 Hugging Face Transformers 在 Elixir 中的纯 Elixir 实现,助力 Elixir 社区 AI 发展。
本文详细介绍了从人类反馈中进行强化学习(RLHF)的技术,包括其原理、训练过程、应用案例以及开源工具。
推荐理由:本文详细介绍了RLHF技术及其应用,对理解语言模型的发展具有重要意义。
本文介绍了深度学习在蛋白质研究中的应用,包括蛋白质折叠预测和分类任务,并提供了相关工具和资源。
Hugging Face Blog 发布了 Stable Diffusion Core ML 版本,兼容 Apple Silicon,提供了转换脚本和推理代码,并支持 CPU、GPU 和 Apple 的 Neural Engine。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 博客发布了一篇关于使用 🤗 Transformers 进行概率时间序列预测的研究论文,介绍了该方法在时间序列预测领域的应用。
推荐理由:该研究介绍了使用 Transformer 进行概率时间序列预测的方法,为读者提供了对时间序列预测领域最新进展的了解。
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型,它使用离散潜在空间进行噪声和去噪过程,为图像生成领域带来了新的研究方向。
推荐理由:VQ-Diffusion 是一种新颖的图像生成模型,其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。
Hugging Face 提供免费推理小部件和 API,支持模型快速测试和部署;Inference Endpoints 可在 AWS 或 Azure 上部署模型,支持自动扩展和多种安全级别;Spaces 可在简单 UI 框架上部署模型,支持硬件升级。
Hugging Face发布了Contrastive Search文本生成工具,该工具基于Transformer架构,旨在提高文本生成的质量和连贯性。
推荐理由:原文介绍了Contrastive Search在文本生成中的优势,读者可以了解其如何改进现有工作流。
Hugging Face 正式取消 Inference API 服务的付费层级,推出 Inference Endpoints 提供快速、企业级推理服务。Spaces 引入硬件升级,支持用户选择硬件运行 ML 演示。付费服务使用需添加信用卡,账单设置集中管理个人 PRO 订阅、支付方式及过去三个月的使用情况。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
Hugging Face 和 Intel 合作推出 Optimum Intel 和 OpenVINO,支持在多种 Intel 处理器上使用 OpenVINO Runtime 进行推理,并可通过 OpenVINO Neural Network Compression Framework 对模型进行量化,减少模型大小和预测延迟。
Hugging Face 发布了 🤗 Evaluate 工具,用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法,帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由:该工具提供了评估大型语言模型偏见的方法,有助于读者了解模型在偏见方面的表现。
Hugging Face 推出 Inference Endpoints,简化机器学习模型部署流程,支持从 Hugging Face hub 一键部署至云基础设施,提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限,并通过 API 调用或界面测试模型。
Hugging Face Diffusers 从 0.5.1 版本开始支持 Flax,可在 Google TPUs 上实现超快推理,如 Colab、Kaggle 或 Google Cloud Platform。本文介绍了如何使用 JAX/Flax 运行推理,并提供了相关 Colab 笔记本链接。
Hugging Face 优化了 BLOOM 模型的推理服务器,实现了 5 倍的延迟降低和 50 倍的吞吐量提升,并分享了优化过程中的挑战和经验。
推荐理由:本文详细介绍了如何优化 BLOOM 模型的推理服务器,包括多种优化策略和技术,读者可以从中学习到模型优化的方法和经验。
Hugging Face 推出 DOI 标识符功能,允许用户直接从 Hub 生成模型或数据集的 DOI,方便学术社区引用和分享。DOI 与对象元数据绑定,提供永久链接,确保信息持久可用。通过与 DataCite 合作,用户可轻松申请 DOI,并更新模型或数据集的新版本。