OpenAI 构建 Lean 神经定理证明器解决部分数学奥赛题
OpenAI 构建了用于 Lean 的神经定理证明器,成功解决了包括 AMC12、AIME 及两道改编 IMO 题目在内的高中奥赛难题。该模型通过机器学习掌握了处理高难度形式化数学问题的能力。
OpenAI 构建了用于 Lean 的神经定理证明器,成功解决了包括 AMC12、AIME 及两道改编 IMO 题目在内的高中奥赛难题。该模型通过机器学习掌握了处理高难度形式化数学问题的能力。
OpenAI 推出 InstructGPT 模型,该模型在遵循用户意图、真实性和减少毒性方面优于 GPT-3,现已作为默认语言模型部署于 API。这些模型采用人类反馈强化学习技术训练,源自 OpenAI 的对齐研究成果。
推荐理由:OpenAI 官方宣布 InstructGPT 成为 API 默认模型,标志着其通过人类反馈强化学习提升指令遵循能力并降低毒性的技术正式落地。
OpenAI 在 API 中新增 embeddings 端点,支持文本和代码的嵌入生成。该功能旨在简化语义搜索、聚类、主题建模及分类等自然语言处理任务。
OpenAI 推出 WebGPT,通过对 GPT-3 进行微调,使其能利用基于文本的网页浏览器更准确地回答开放式问题。该方案旨在通过引入外部信息检索能力,改善大语言模型在事实性问答中的表现。
OpenAI 推出 GPT-3 应用定制功能,支持通过单条命令完成微调。该特性旨在简化开发者对大语言模型的适配流程,降低自定义模型的技术门槛。
OpenAI 宣布启动 OpenAI Residency 项目,旨在支持和培养人工智能人才。该项目是 OpenAI 在 AI 人才培养方面的重要举措。
OpenAI 宣布其 API 现已无需等待名单即可直接使用。官方称这一更广泛的可用性得益于安全方面的进展。
OpenAI 训练出一套解决小学数学应用题的新系统,其准确率接近微调 GPT-3 模型的两倍。该系统在测试中得分 55%,约为 9-12 岁儿童平均得分(60%)的 90%。
OpenAI 的 GPT-4.0 引入人类反馈机制,以增强对难以评估任务的AI系统监督,旨在提升AI系统的评估准确性。
OpenAI 宣布任命 Helen Toner 加入董事会,为董事会注入新力量。
OpenAI 发布改进版 Codex,该 AI 系统可将自然语言转换为代码。新版本即日起通过 API 以私有测试形式开放。
OpenAI 正式发布 Triton 1.0,这是一个用于编写高性能深度学习原语的语言和编译器。Triton 允许开发者使用类似 Python 的语法直接操作 GPU,无需掌握 CUDA C++ 或复杂的底层优化技巧,即可实现接近专家手写代码的性能。该工具旨在简化自定义神经网络层、注意力机制及优化器的开发流程,目前已在 GitHub 开源并支持 PyTorch 集成。
OpenAI 最新研究发现,通过在小型精选数据集上进行微调,可以提升 GPT-4 语言模型在特定行为价值方面的表现。
OpenAI Scholar 2021学员完成六个月导师计划,产出开源研究项目,获得OpenAI资助和支持。
Will Hurd 正式加入 OpenAI 董事会。OpenAI 表示,实现造福全人类的通用人工智能目标需要公共政策与技术的双重专业知识,因此任命这位前国会议员以增强治理结构中的政策专长。
GPT-3 通过 API 为超过 300 个应用提供搜索、对话、文本补全和其他高级 AI 功能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别,无论以文字、符号还是概念形式呈现,这有助于解释 CLIP 在分类视觉概念时的准确性,并推动对模型学习关联和偏差的理解。
OpenAI 成功扩展 Kubernetes 集群至 7500 节点,为大型模型提供可扩展基础设施,支持快速迭代研究。
OpenAI 推出名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。该模型只需提供识别类别的名称,即可应用于任意视觉分类基准,具备类似 GPT-2 和 GPT-3 的“零样本”能力。
OpenAI 发布了名为 DALL·E 的神经网络产品,该产品可以从文本描述中创建图像。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 发布组织更新公告,指出过去一年经历了剧烈变化与增长。该消息源自 OpenAI News,未披露具体人员变动或战略调整细节。
OpenAI 已同意将 GPT-3 技术授权给 Microsoft,用于其自身产品和服务。
推荐理由:OpenAI 将 GPT-3 技术授权给 Microsoft,对行业有重要影响。
OpenAI 的 GPT-4 模型通过人类反馈的强化学习,提升了总结能力。
OpenAI第三届学者项目展示在虚拟Demo Day上圆满落幕,学者们展示了过去五个月的研究成果。
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛,采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
OpenAI 推出 Image GPT,证明在像素序列上训练的大型 Transformer 模型可生成连贯的图像补全和样本。该研究建立了样本质量与图像分类准确率之间的相关性,显示其最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。
OpenAI 发布了新的 API 接口,用于访问 OpenAI 开发的 AI 模型。
OpenAI 发布报告显示,自 2012 年以来,训练神经网络所需的计算量每 16 个月减少一倍,算法进步带来的收益超过传统硬件效率提升。
推荐理由:原文展示了 AI 训练效率的提升,读者可以了解算法进步对 AI 任务的贡献。
OpenAI 推出音乐生成神经网络 Jukebox,该模型可生成多种风格和流派的音乐,包括基本的歌唱,并公开了模型权重和代码,同时提供工具供用户探索生成的样本。
OpenAI 联合 30 家机构的 58 位作者发布报告,提出 10 种机制以提升 AI 系统声明的可验证性。这些工具旨在帮助开发者证明 AI 系统在安全、公平及隐私保护方面的合规性。同时,用户、政策制定者及公民社会可利用该框架评估 AI 开发过程。
OpenAI 推出 Microscope,提供八个视觉“模式生物”模型中所有重要层和神经元的可视化集合。该工具旨在简化对神经网络内部特征的分析,帮助研究社区理解这些复杂系统。
OpenAI 宣布将其深度学习框架标准化为 PyTorch。这一举措旨在统一内部技术栈,提升开发效率与协作一致性。
OpenAI 研究表明,CNN、ResNet 和 Transformer 均存在“双重下降”现象:随着模型规模、数据量或训练时间增加,性能先提升后恶化再提升。该效应通常通过正则化避免,其成因尚不明确,被视为重要研究方向。
OpenAI 发布 Procgen Benchmark,包含 16 个易于使用的程序化生成环境。该基准旨在直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI 发布 Safety Gym,这是一套用于测量强化学习智能体在训练过程中遵守安全约束进度的环境和工具。该套件旨在帮助开发者评估 AI 智能体如何在满足安全限制的前提下进行有效训练。
OpenAI 发布 GPT-2 分阶段发布的最终版本,包含 1.5B 参数的最大模型、代码及权重。尽管自八月以来已有更大语言模型发布,OpenAI 仍坚持原计划以提供完整分阶段发布流程的测试案例,供未来强大模型的开发者参考,并继续与 AI 社区探讨负责任的发布方式。
推荐理由:OpenAI 官方释出 GPT-2 系列最大参数版本及权重,旨在为社区提供检测模型输出的测试案例并推动负责任发布讨论。
OpenAI 训练出一对神经网络,利用类人机器人手成功解决魔方。该模型完全在模拟环境中通过强化学习训练,结合了与 OpenAI Five 相同的代码及自动域随机化(ADR)技术。系统能处理训练中未见过的物理干扰情况,证明强化学习可解决需要极高灵巧性的现实世界问题。
OpenAI 现已开放 2020 年第三期 OpenAI Scholars 项目的申请。该项目旨在为参与者提供学习机会,目前正接受新一批学员的报名。
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调,成功匹配外部标注员偏好。摘要任务需 60k 标签且导致模型倾向复制原文,简单续写任务仅需 5k 标签。此举旨在将安全技术融入“机器与人对话”以提取人类价值观信息。
OpenAI 观察到智能体在简单捉迷藏游戏中通过训练发现逐步复杂的工具使用行为。这些智能体构建了六种不同策略与反策略,其中部分策略是环境原本未支持但被意外发现的。这种自监督的涌现复杂性表明,多智能体协同适应未来可能产生极其复杂和智能的行为。