OpenAI 发布 Triton 1.0:面向 GPU 的高性能深度学习编程框架
OpenAI 正式发布 Triton 1.0,这是一个用于编写高性能深度学习原语的语言和编译器。Triton 允许开发者使用类似 Python 的语法直接操作 GPU,无需掌握 CUDA C++ 或复杂的底层优化技巧,即可实现接近专家手写代码的性能。该工具旨在简化自定义神经网络层、注意力机制及优化器的开发流程,目前已在 GitHub 开源并支持 PyTorch 集成。
OpenAI 正式发布 Triton 1.0,这是一个用于编写高性能深度学习原语的语言和编译器。Triton 允许开发者使用类似 Python 的语法直接操作 GPU,无需掌握 CUDA C++ 或复杂的底层优化技巧,即可实现接近专家手写代码的性能。该工具旨在简化自定义神经网络层、注意力机制及优化器的开发流程,目前已在 GitHub 开源并支持 PyTorch 集成。
OpenAI 最新研究发现,通过在小型精选数据集上进行微调,可以提升 GPT-4 语言模型在特定行为价值方面的表现。
OpenAI Scholar 2021学员完成六个月导师计划,产出开源研究项目,获得OpenAI资助和支持。
Will Hurd 正式加入 OpenAI 董事会。OpenAI 表示,实现造福全人类的通用人工智能目标需要公共政策与技术的双重专业知识,因此任命这位前国会议员以增强治理结构中的政策专长。
GPT-3 通过 API 为超过 300 个应用提供搜索、对话、文本补全和其他高级 AI 功能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别,无论以文字、符号还是概念形式呈现,这有助于解释 CLIP 在分类视觉概念时的准确性,并推动对模型学习关联和偏差的理解。
OpenAI 成功扩展 Kubernetes 集群至 7500 节点,为大型模型提供可扩展基础设施,支持快速迭代研究。
OpenAI 推出名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。该模型只需提供识别类别的名称,即可应用于任意视觉分类基准,具备类似 GPT-2 和 GPT-3 的“零样本”能力。
OpenAI 发布了名为 DALL·E 的神经网络产品,该产品可以从文本描述中创建图像。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 发布组织更新公告,指出过去一年经历了剧烈变化与增长。该消息源自 OpenAI News,未披露具体人员变动或战略调整细节。
OpenAI 已同意将 GPT-3 技术授权给 Microsoft,用于其自身产品和服务。
推荐理由:OpenAI 将 GPT-3 技术授权给 Microsoft,对行业有重要影响。
OpenAI 的 GPT-4 模型通过人类反馈的强化学习,提升了总结能力。
OpenAI第三届学者项目展示在虚拟Demo Day上圆满落幕,学者们展示了过去五个月的研究成果。
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛,采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
OpenAI 推出 Image GPT,证明在像素序列上训练的大型 Transformer 模型可生成连贯的图像补全和样本。该研究建立了样本质量与图像分类准确率之间的相关性,显示其最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。
OpenAI 发布了新的 API 接口,用于访问 OpenAI 开发的 AI 模型。
OpenAI 发布报告显示,自 2012 年以来,训练神经网络所需的计算量每 16 个月减少一倍,算法进步带来的收益超过传统硬件效率提升。
推荐理由:原文展示了 AI 训练效率的提升,读者可以了解算法进步对 AI 任务的贡献。
OpenAI 推出音乐生成神经网络 Jukebox,该模型可生成多种风格和流派的音乐,包括基本的歌唱,并公开了模型权重和代码,同时提供工具供用户探索生成的样本。
OpenAI 联合 30 家机构的 58 位作者发布报告,提出 10 种机制以提升 AI 系统声明的可验证性。这些工具旨在帮助开发者证明 AI 系统在安全、公平及隐私保护方面的合规性。同时,用户、政策制定者及公民社会可利用该框架评估 AI 开发过程。
OpenAI 推出 Microscope,提供八个视觉“模式生物”模型中所有重要层和神经元的可视化集合。该工具旨在简化对神经网络内部特征的分析,帮助研究社区理解这些复杂系统。
OpenAI 宣布将其深度学习框架标准化为 PyTorch。这一举措旨在统一内部技术栈,提升开发效率与协作一致性。
OpenAI 研究表明,CNN、ResNet 和 Transformer 均存在“双重下降”现象:随着模型规模、数据量或训练时间增加,性能先提升后恶化再提升。该效应通常通过正则化避免,其成因尚不明确,被视为重要研究方向。
OpenAI 发布 Procgen Benchmark,包含 16 个易于使用的程序化生成环境。该基准旨在直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI 发布 Safety Gym,这是一套用于测量强化学习智能体在训练过程中遵守安全约束进度的环境和工具。该套件旨在帮助开发者评估 AI 智能体如何在满足安全限制的前提下进行有效训练。
OpenAI 发布 GPT-2 分阶段发布的最终版本,包含 1.5B 参数的最大模型、代码及权重。尽管自八月以来已有更大语言模型发布,OpenAI 仍坚持原计划以提供完整分阶段发布流程的测试案例,供未来强大模型的开发者参考,并继续与 AI 社区探讨负责任的发布方式。
推荐理由:OpenAI 官方释出 GPT-2 系列最大参数版本及权重,旨在为社区提供检测模型输出的测试案例并推动负责任发布讨论。
OpenAI 训练出一对神经网络,利用类人机器人手成功解决魔方。该模型完全在模拟环境中通过强化学习训练,结合了与 OpenAI Five 相同的代码及自动域随机化(ADR)技术。系统能处理训练中未见过的物理干扰情况,证明强化学习可解决需要极高灵巧性的现实世界问题。
OpenAI 现已开放 2020 年第三期 OpenAI Scholars 项目的申请。该项目旨在为参与者提供学习机会,目前正接受新一批学员的报名。
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调,成功匹配外部标注员偏好。摘要任务需 60k 标签且导致模型倾向复制原文,简单续写任务仅需 5k 标签。此举旨在将安全技术融入“机器与人对话”以提取人类价值观信息。
OpenAI 观察到智能体在简单捉迷藏游戏中通过训练发现逐步复杂的工具使用行为。这些智能体构建了六种不同策略与反策略,其中部分策略是环境原本未支持但被意外发现的。这种自监督的涌现复杂性表明,多智能体协同适应未来可能产生极其复杂和智能的行为。
OpenAI 开发了一种新方法,用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击。该方法引入了名为 UAR(Unforeseen Attack Robustness)的新指标,专门衡量单个模型针对未预期攻击的鲁棒性。研究结果凸显了需要在更多样化的未知攻击范围内测量模型性能的重要性。
OpenAI 官方宣布发布一款新模型。该消息由 OpenAI News 直接发出,具体模型名称、版本及详细能力参数在提供的材料片段中未明确列出。
推荐理由:OpenAI 官方发布新模型,读者可获取第一手的能力说明与技术细节。
OpenAI 将每周四定为“学习日”,员工可选择自学有助于提升工作表现的技术技能。该机制旨在补充日常工作中未涵盖的知识领域,鼓励员工利用工作时间进行自我提升。
微软宣布向 OpenAI 投资 10 亿美元,双方将合作开发基于 Microsoft Azure 的硬件和软件平台以支持通用人工智能(AGI)的研发。微软将成为 OpenAI 的独家云服务提供商,共同开发新的 Azure AI 超级计算技术,以扩展大规模 AI 系统的能力。
推荐理由:原文披露了微软向 OpenAI 投资 10 亿美元并确立独家云合作关系,明确了双方在 Azure 上构建 AGI 基础设施的战略绑定。
OpenAI 发布政策研究论文,提出沟通风险与收益、技术协作、增加透明度及激励标准四项策略,以改善 AI 安全规范的长期行业合作。分析指出竞争压力可能导致集体行动困境,使企业减少安全投入,而加强合作对确保 AI 系统安全有益至关重要。
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。该活动标志着 OpenAI 在机器人领域的正式学术与行业交流开端。
OpenAI Scholars 2019 第二期学员结业,八位学者在 Demo Day 展示了各自完成的最终项目。
OpenAI 公布 2018 年秋季 Fellows 计划最终项目,该批次学员在为期 6 个月的学徒制中从机器学习新手成长为 OpenAI 核心贡献者。目前 OpenAI 正以滚动方式审核 2019 年夏季 Fellows 计划的申请。
OpenAI 推出 MuseNet,这是一款能生成 4 分钟、含 10 种乐器的音乐作品的深度神经网络。该模型采用与 GPT-2 相同的大规模 Transformer 架构,通过预测数十万个 MIDI 文件中的下一个 token 来学习和谐、节奏和风格模式。
OpenAI 推出 Sparse Transformer,这是一种用于文本、图像和声音序列预测的深度神经网络。该模型通过改进注意力机制算法,实现了比此前技术长30倍的序列模式提取能力,并刷新了相关领域的预测记录。
OpenAI 宣布其开发的 Dota 2 AI 系统在公开比赛中击败了顶级职业选手团队。这一成就标志着人工智能在需要长期规划和团队协作的复杂游戏环境中取得了重大进展。
推荐理由:作为 OpenAI 早期在强化学习领域的标志性成果,该发布展示了 AI 在复杂实时策略游戏中的突破能力。