CLIPSeg:零样本图像分割模型指南
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
OpenAI 宣布推出新一代嵌入模型。该模型在能力上显著增强,同时具备更高的成本效益,且使用方式更加简便。
OpenAI 正式推出 ChatGPT,这是一款基于 GPT-3.5 架构的对话式 AI 模型。该模型旨在通过自然语言交互回答各类问题并协助完成文本任务。用户现可通过 OpenAI 平台直接体验其对话功能。
推荐理由:官方直接发布了新对话模型,读者可据此了解其即时可用性及基础交互能力。
Hugging Face 博客发布机器学习洞察系列第四部分,邀请多位机器学习行业领导者分享他们对机器学习在各行业影响的看法。Javier Mansilla,Shaun Gittens,Samuel Franklin 和 Evan Castle 等人分享了他们在电子商务、工程和金融等领域对机器学习的应用和挑战的看法。
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本,并提供了优化建议。实验表明,低学习率与合适的训练步数能提高图像质量,训练人脸模型时需更多步数。此外,使用先验保持技术可减少人脸训练中的过拟合问题。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
rinna Co., Ltd. 开发了名为 "Japanese Stable Diffusion" 的日本特定文本到图像模型,通过在日语标题图像上微调 Stable Diffusion 模型实现。该模型接受日语提示并生成反映日本文化风格的图像,可在 Hugging Face 和 GitHub 上使用。
OpenAI 发布名为 Whisper 的自动语音识别系统,该模型在多种语言和口音下表现出高鲁棒性。Whisper 已在 GitHub 上开源,支持多语言转录和翻译任务。
推荐理由:官方直接发布了新语音识别模型,提供了具体的准确率数据和开源代码入口。
Hugging Face 推出 Decision Transformers,一种基于 Transformer 的决策模型,通过序列建模实现强化学习。该模型可离线训练,使用预训练权重,并支持自定义数据预处理。在 Gym HalfCheetah 环境中,该模型可学习专家行为,实现半猫奔跑。
Hugging Face 联合 BigScience 项目发布拥有 176B 参数的多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言生成。该模型完全透明训练,提供中间检查点与优化器状态,并附带基于 Google TPU 云的推理 API 供快速测试。用户需遵守 Responsible AI License 方可在本地或云端使用,团队计划后续增加指令微调能力并扩展更多语言。
推荐理由:原文披露了 BLOOM 的参数量、多语言支持及训练透明度细节,读者可据此评估其在学术研究与开放部署中的实际可用性。
OpenAI 发布新版 GPT-3 和 Codex,新增对现有文本进行编辑或插入内容的能力。此前模型仅能完成文本续写,此次更新扩展了其在文本处理任务中的功能范围。
OpenAI 构建了用于 Lean 的神经定理证明器,成功解决了包括 AMC12、AIME 及两道改编 IMO 题目在内的高中奥赛难题。该模型通过机器学习掌握了处理高难度形式化数学问题的能力。
OpenAI 推出 InstructGPT 模型,该模型在遵循用户意图、真实性和减少毒性方面优于 GPT-3,现已作为默认语言模型部署于 API。这些模型采用人类反馈强化学习技术训练,源自 OpenAI 的对齐研究成果。
推荐理由:OpenAI 官方宣布 InstructGPT 成为 API 默认模型,标志着其通过人类反馈强化学习提升指令遵循能力并降低毒性的技术正式落地。
OpenAI 推出 WebGPT,通过对 GPT-3 进行微调,使其能利用基于文本的网页浏览器更准确地回答开放式问题。该方案旨在通过引入外部信息检索能力,改善大语言模型在事实性问答中的表现。
Hugging Face 将 Perceiver IO 加入 Transformers 库,这是首个能处理文本、图像、音频等任意模态及组合的 Transformer 架构模型。该模型通过在潜在变量上执行自注意力机制,解决了传统 Transformer 在高维数据上的计算与内存扩展性瓶颈。
OpenAI 训练出一套解决小学数学应用题的新系统,其准确率接近微调 GPT-3 模型的两倍。该系统在测试中得分 55%,约为 9-12 岁儿童平均得分(60%)的 90%。
Hugging Face 在“使用 JAX/Flax 进行 NLP & CV 的社区周”中开发了 SOTA 句子嵌入模型,利用 7 个 TPU v3-8 和 10 亿句对数据完成训练。该研究采用对比学习(Multiple Negative Ranking Loss),通过扩大 Batch Size、引入 Hard Negatives 及跨数据集混合采样显著提升语义表示质量。
OpenAI 的 GPT-4.0 引入人类反馈机制,以增强对难以评估任务的AI系统监督,旨在提升AI系统的评估准确性。
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别,无论以文字、符号还是概念形式呈现,这有助于解释 CLIP 在分类视觉概念时的准确性,并推动对模型学习关联和偏差的理解。
OpenAI 推出名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。该模型只需提供识别类别的名称,即可应用于任意视觉分类基准,具备类似 GPT-2 和 GPT-3 的“零样本”能力。
Hugging Face 发布了 PyTorch Block Sparse Matrix 扩展,通过稀疏矩阵计算优化神经网络,使模型更小、更快。该扩展基于 CUTLASS,性能比 PyTorch 稀疏矩阵实现快一个数量级,内存消耗减少 4 倍。未来将优化稀疏模式,提升性能。
OpenAI 的 GPT-4 模型通过人类反馈的强化学习,提升了总结能力。
Reformer 模型通过局部自注意力、LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项技术,实现用不到 8GB 内存训练长达 50 万 token 的序列。相比 BERT 仅支持 512 token 输入,Reformer 显著突破长序列建模瓶颈且保持性能。该模型已集成至 Hugging Face Transformers 库供开发者使用。
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛,采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
OpenAI 推出 Image GPT,证明在像素序列上训练的大型 Transformer 模型可生成连贯的图像补全和样本。该研究建立了样本质量与图像分类准确率之间的相关性,显示其最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。
OpenAI 推出音乐生成神经网络 Jukebox,该模型可生成多种风格和流派的音乐,包括基本的歌唱,并公开了模型权重和代码,同时提供工具供用户探索生成的样本。
OpenAI 发布 GPT-2 分阶段发布的最终版本,包含 1.5B 参数的最大模型、代码及权重。尽管自八月以来已有更大语言模型发布,OpenAI 仍坚持原计划以提供完整分阶段发布流程的测试案例,供未来强大模型的开发者参考,并继续与 AI 社区探讨负责任的发布方式。
推荐理由:OpenAI 官方释出 GPT-2 系列最大参数版本及权重,旨在为社区提供检测模型输出的测试案例并推动负责任发布讨论。
OpenAI 训练出一对神经网络,利用类人机器人手成功解决魔方。该模型完全在模拟环境中通过强化学习训练,结合了与 OpenAI Five 相同的代码及自动域随机化(ADR)技术。系统能处理训练中未见过的物理干扰情况,证明强化学习可解决需要极高灵巧性的现实世界问题。
OpenAI 官方宣布发布一款新模型。该消息由 OpenAI News 直接发出,具体模型名称、版本及详细能力参数在提供的材料片段中未明确列出。
推荐理由:OpenAI 官方发布新模型,读者可获取第一手的能力说明与技术细节。
OpenAI 推出 MuseNet,这是一款能生成 4 分钟、含 10 种乐器的音乐作品的深度神经网络。该模型采用与 GPT-2 相同的大规模 Transformer 架构,通过预测数十万个 MIDI 文件中的下一个 token 来学习和谐、节奏和风格模式。
OpenAI 推出 Sparse Transformer,这是一种用于文本、图像和声音序列预测的深度神经网络。该模型通过改进注意力机制算法,实现了比此前技术长30倍的序列模式提取能力,并刷新了相关领域的预测记录。
OpenAI 推出 Neural MMO,这是一个专为强化学习智能体设计的大规模多智能体游戏环境。该平台支持在持久且开放的任务中容纳大量可变数量的智能体。引入众多智能体和物种有助于改善探索过程、促进差异化生态位形成并提升整体能力。
OpenAI 发布 GPT-2,这是一个拥有 15 亿参数的自回归语言模型。该模型在 800 万篇网页文本上训练,无需微调即可在多项任务中展现强大的零样本学习能力。
推荐理由:OpenAI 官方发布了基于 Transformer 架构的大规模生成式预训练模型,展示了零样本迁移能力。
OpenAI 正在接受 2019 年 Fellow 和 Intern 的申请,旨在培养下一代 AI 领域人才。
Solidity 0.4.25 版本修复了两个重要漏洞,包括指数运算中短类型导致的无效结果和多维数组解码中的内存损坏问题。此外,还解决了事件中结构体编码无效的问题。
OpenAI 训练出一只人形机器人手,能以前所未有的灵巧度操控物理对象。
OpenAI 五人组基准赛已圆满结束。
OpenAI推出Glow模型,采用可逆1x1卷积,简化架构,生成高分辨率图像,支持高效采样,并发现可操控数据属性的特征。同时提供模型代码和在线可视化工具,供用户探索和构建。
OpenAI 训练的智能体通过单次人类演示学会玩 Montezuma’s Revenge,得分高达74,500分,优于之前任何已发布结果;采用与 OpenAI Five 相同的强化学习算法 PPO 进行游戏得分优化。
OpenAI 开发的五个神经网络组成的 OpenAI Five,已开始击败《Dota 2》中的业余人类团队。