Hugging Face发布Contrastive Search文本生成工具
Hugging Face发布了Contrastive Search文本生成工具,该工具基于Transformer架构,旨在提高文本生成的质量和连贯性。
推荐理由:原文介绍了Contrastive Search在文本生成中的优势,读者可以了解其如何改进现有工作流。
Hugging Face发布了Contrastive Search文本生成工具,该工具基于Transformer架构,旨在提高文本生成的质量和连贯性。
推荐理由:原文介绍了Contrastive Search在文本生成中的优势,读者可以了解其如何改进现有工作流。
Hugging Face 和 Intel 合作推出 Optimum Intel 和 OpenVINO,支持在多种 Intel 处理器上使用 OpenVINO Runtime 进行推理,并可通过 OpenVINO Neural Network Compression Framework 对模型进行量化,减少模型大小和预测延迟。
Hugging Face 发布了 🤗 Evaluate 工具,用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法,帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由:该工具提供了评估大型语言模型偏见的方法,有助于读者了解模型在偏见方面的表现。
Hugging Face 优化了 BLOOM 模型的推理服务器,实现了 5 倍的延迟降低和 50 倍的吞吐量提升,并分享了优化过程中的挑战和经验。
推荐理由:本文详细介绍了如何优化 BLOOM 模型的推理服务器,包括多种优化策略和技术,读者可以从中学习到模型优化的方法和经验。
Hugging Face 推出零样本评估工具,支持研究人员评估大型语言模型,无需编写代码,并支持开源生态和评测基准。
推荐理由:该工具使研究人员能够轻松评估大型语言模型,并支持零样本评估,有助于推动开源生态和评测基准的发展。
Hugging Face 推出 AutoTrain 图像分类功能,允许用户无需编码即可训练模型,支持多种图像分类任务,如识别蝴蝶种类、植物疾病等。
Hugging Face 开发了工具,利用 PyTorch 特性加载和运行大型模型,即使它们不适合大多数消费级硬件的内存。
推荐理由:原文介绍了如何使用 PyTorch 加速运行大型模型,读者可以了解如何利用这些工具优化模型运行效率。
Hugging Face 推出 SetFit,一种高效的少样本学习框架,无需提示即可在少量标记数据下实现高精度,支持多语言,并提供简单易用的训练方法。
推荐理由:SetFit 是一种高效的少样本学习框架,可以在少量标记数据的情况下实现高精度,读者可以了解其工作原理和应用方法。
Hugging Face 博客介绍了如何使用 DeepSpeed 和 Accelerate 极速推理 BLOOM 模型,包括不同 GPU 配置、量化方案和优化方法。
推荐理由:原文提供了多种加速 BLOOM 模型推理的方法,读者可以了解不同方案的优缺点,选择适合自己需求的方案。
Hugging Face 发布 Diffusers 2.0,新增图像到图像生成、文本逆转换、修复、Mac OS 支持、ONNX 导出器、新文档和社区功能,包括视频生成、模型可解释性、日语 Stable Diffusion、交叉注意力控制、可重用种子等。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenRAIL 是一种针对 AI 模型的开放和负责任的许可框架,旨在解决当前开源许可在 AI 模型使用中的不足,并推动 AI 模型的负责任使用。
推荐理由:OpenRAIL 提出了一种新的 AI 许可框架,旨在促进 AI 模型的开放和负责任的使用,读者可以了解其具体内容和潜在影响。
Stable Diffusion 是一个文本到图像的潜在扩散模型,由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。本文介绍了如何使用 🧨 Diffusers 库来使用 Stable Diffusion,解释了模型的工作原理,并深入探讨了如何使用 diffusers 定制图像生成流程。
推荐理由:原文详细介绍了如何使用 Stable Diffusion 模型,并解释了其工作原理,读者可以了解如何将其集成到自己的项目中。
Hugging Face 推出 LLM.int8() 技术,通过 8 位矩阵乘法降低大型语言模型对 GPU 的需求,提高模型的可访问性,对需要使用大型模型但资源有限的用户具有潜在价值。
推荐理由:Hugging Face 推出 LLM.int8() 技术,通过 8 位矩阵乘法降低大型语言模型对 GPU 的需求,提高模型的可访问性,对需要使用大型模型但资源有限的用户具有潜在价值。
Nyströmformer 通过 Nyström 方法近似自注意力机制,在 NLP 和 CV 任务上表现优异,并提供了开源实现。
OpenAI 利用海量无标签人类游戏视频进行 Video PreTraining,仅结合少量标注数据即训练出能玩 Minecraft 的神经网络。该模型经微调后可完成制作钻石工具任务,通常需熟练人类耗时超 20 分钟(约 24,000 次操作)。其直接模拟人类键鼠输入接口,具备通用性,是迈向通用计算机使用智能体的一步。
GPT-3 通过 API 为超过 300 个应用提供搜索、对话、文本补全和其他高级 AI 功能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 成功扩展 Kubernetes 集群至 7500 节点,为大型模型提供可扩展基础设施,支持快速迭代研究。
OpenAI 发布了名为 DALL·E 的神经网络产品,该产品可以从文本描述中创建图像。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 发布了新的 API 接口,用于访问 OpenAI 开发的 AI 模型。
OpenAI 发布报告显示,自 2012 年以来,训练神经网络所需的计算量每 16 个月减少一倍,算法进步带来的收益超过传统硬件效率提升。
推荐理由:原文展示了 AI 训练效率的提升,读者可以了解算法进步对 AI 任务的贡献。
OpenAI 观察到智能体在简单捉迷藏游戏中通过训练发现逐步复杂的工具使用行为。这些智能体构建了六种不同策略与反策略,其中部分策略是环境原本未支持但被意外发现的。这种自监督的涌现复杂性表明,多智能体协同适应未来可能产生极其复杂和智能的行为。
OpenAI 推出名为 CoinRun 的强化学习训练环境,旨在提供衡量智能体将经验迁移至新情境能力的指标。该环境复杂度介于传统平台游戏与简单任务之间,既比《索尼克》等游戏更简洁,又能为当前最先进算法带来有效的泛化挑战,有助于厘清强化学习领域的长期难题。
OpenAI 发布了一篇论文,提出了一种结合监督学习和无监督预训练的新方法,在多个语言任务上取得了最先进的成果,并计划开源。
OpenAI 开发了名为 Reptile 的元学习算法,该算法通过重复采样任务、在任务上执行随机梯度下降并更新初始参数,使其向最终参数学习。Reptile 是将最短下降算法应用于元学习环境,与仅需要黑盒访问优化器(如 SGD 或 Adam)的第一阶 MAML 算法在数学上相似,具有相似的计算效率和性能。
OpenAI 开发了一种分层强化学习算法,通过自动发现高层动作来快速解决需要数千时间步的任务。该算法在导航问题中识别出不同方向的行走和爬行等高层动作,使智能体能迅速掌握新的导航任务。
OpenAI 发布 Learning with Opponent-Learning Awareness (LOLA) 算法,该算法考虑了其他智能体也在学习的特性。LOLA 在迭代囚徒困境中发现了既自利又合作的策略(如 tit-for-tat),是迈向能够建模其他心智的智能体的重要一步。
OpenAI 指出多智能体竞争环境是通往 AGI 的垫脚石,具备自然课程和动态压力两大特性。在该环境中,难度随竞争对手技能提升而增加,且不存在稳定平衡点,迫使智能体持续进化。目前此类环境与传统环境差异显著,仍需大量研究才能有效驾驭。