OpenAI 发布论文预测 AI 恶意使用风险及缓解措施
OpenAI 联合多家机构发布论文,预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
OpenAI 联合多家机构发布论文,预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
OpenAI 宣布欢迎新的捐赠者加入。该消息简短地表达了机构对新增支持者的兴奋之情,未披露具体捐赠金额、名单或用途细节。
OpenAI 设计了一种方法,鼓励 AI 通过对人类有意义的示例相互教学,自动选择最有信息量的示例来教授概念,如描述狗的最佳图像,实验表明该方法在教授 AI 方面有效。
OpenAI 研发了一种基于神经网络的自动实体消歧系统,通过识别约100个自动发现的“类型”来判断词语所指的具体对象。
OpenAI 发布 Requests for Research 2.0,包含七个在研究过程中出现的未解问题。
OpenAI 推出针对块稀疏神经网络架构的GPU内核,该内核能实现比cuBLAS或cuSPARSE快数个数量级的运行速度;已应用于文本情感分析和文本及图像生成模型,取得业界领先成果。
OpenAI 开发了一种分层强化学习算法,通过自动发现高层动作来快速解决需要数千时间步的任务。该算法在导航问题中识别出不同方向的行走和爬行等高层动作,使智能体能迅速掌握新的导航任务。
OpenAI 最新机器人技术使完全在仿真中训练的控制器能部署于物理机器人,并实时响应环境中的计划外变化以完成简单任务。该技术实现了从开环系统向闭环系统的转变,提升了机器人在非结构化环境中的适应性与鲁棒性。
OpenAI 展示元学习智能体在模拟机器人摔跤任务中,能快速击败更强的非元学习智能体。该智能体还能适应物理故障,验证了元学习在动态环境下的鲁棒性与适应能力。
OpenAI 发现自我博弈使模拟 AI 无需预设环境即可自主习得铲球、假动作等足球物理技能。该方法确保训练难度始终适配 AI 能力,结合 Dota 2 结果增强了对自我博弈作为未来核心 AI 组件的信心。
OpenAI 发布 Learning with Opponent-Learning Awareness (LOLA) 算法,该算法考虑了其他智能体也在学习的特性。LOLA 在迭代囚徒困境中发现了既自利又合作的策略(如 tit-for-tat),是迈向能够建模其他心智的智能体的重要一步。
OpenAI 在 Baselines 中发布了 ACKTR 和 A2C 两个新实现。A2C 是 A3C 的同步确定性变体,性能相当;ACKTR 比 TRPO 和 A2C 样本效率更高,且每次更新仅略增计算量。
OpenAI 展示其 Dota 2 AI 通过自我对弈在一个月内从接近高排名玩家水平提升至击败顶级职业选手。该机制证明在充足算力下,自我对弈能推动机器学习系统性能实现超人级飞跃。与受限于训练数据的监督学习不同,自我对弈系统随智能体能力提升自动优化可用数据。
OpenAI 开发出一款能在标准锦标赛规则下的 Dota 2 1v1 比赛中击败世界顶级职业选手的 AI。该 AI 完全通过自我对弈从零开始学习游戏,未使用模仿学习或树搜索技术。这一成果被视为构建能在涉及真实人类的混乱复杂情境中完成明确目标的 AI 系统的重要一步。
推荐理由:原文披露了通过自我对弈从零学习并在标准规则下击败顶级职业选手的 Dota 2 AI,展示了在复杂人类环境中实现明确目标的技术进展。
OpenAI 开源了 RL-Teacher,这是一种通过偶尔的人类反馈而非手工设计的奖励函数来训练 AI 的接口实现。该技术旨在推动安全 AI 系统的发展,同时也适用于那些难以指定奖励的强化学习问题。
OpenAI 发现向强化学习算法参数添加自适应噪声能频繁提升性能。该方法实现简单且极少降低表现,适用于各类问题场景。
OpenAI 推出新型强化学习算法 Proximal Policy Optimization (PPO),其性能与最先进方法相当或更优,且实现和调参更简单。凭借易用性和良好表现,PPO 已成为 OpenAI 的默认强化学习算法。
OpenAI 创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像。这一成果挑战了上周关于自动驾驶汽车因多视角采集而难以被恶意欺骗的说法。
OpenAI 开源了一款用于机器人仿真的高性能 Python 库,该库基于 MuJoCo 引擎构建。这一工具源自 OpenAI 过去一年的机器人研究积累,旨在提升物理仿真的运行速度。
OpenAI 联合 DeepMind 安全团队推出一种新算法,通过让模型判断两种行为中哪个更优来推断人类意图。该方法旨在消除人工编写目标函数的需求,避免因使用简单代理或目标定义偏差导致的不安全行为,是构建安全 AI 系统的重要一步。
OpenAI 指出多智能体竞争环境是通往 AGI 的垫脚石,具备自然课程和动态压力两大特性。在该环境中,难度随竞争对手技能提升而增加,且不存在稳定平衡点,迫使智能体持续进化。目前此类环境与传统环境差异显著,仍需大量研究才能有效驾驭。
OpenAI 开源了内部强化学习算法复现项目 Baselines,旨在实现与已发表结果相当的性能。本次发布包含 DQN 及其三个变体,其余算法将在未来几个月陆续推出。
OpenAI 推出一种完全在模拟环境中训练并部署于物理机器人的系统,该系统能在观看一次任务演示后学会执行新任务。
OpenAI 发布了开源机器人模拟软件 Roboschool。该工具与 OpenAI Gym 集成,旨在为机器人仿真提供基础支持。
OpenAI 开发了一种无监督系统,仅通过预测 Amazon 评论文本中的下一个字符进行训练,却学习到了极佳的情感表示。
OpenAI 创建了世界上第一个完全在模拟环境中训练并部署到物理机器人上的垃圾检测 AI。该模型实现了从纯虚拟仿真训练到真实物理世界机器人应用的直接迁移,展示了 AI 在实体环境中的新能力。
OpenAI 研究发现,进化策略(ES)在 Atari 和 MuJoCo 等现代基准测试中性能可与标准强化学习(RL)相媲美。该技术克服了 RL 的诸多不便,为大规模优化提供了可扩展的替代方案。
OpenAI 宣布支持新期刊 Distill 的发布。该期刊旨在以卓越的方式传播机器学习成果,涵盖新颖或已有的研究结果。
OpenAI 发布新研究,展示 AI 智能体在交互中自发发展出自有语言。该工作聚焦于多智能体通信机制的演化过程,未涉及具体模型版本或性能指标数据。
OpenAI 展示对抗样本如何作为输入导致机器学习模型出错,其机制类似机器版的光学错觉。文章分析了不同媒介中对抗样本的工作原理,并探讨了为何防御此类攻击以保障系统安全极具挑战性。
OpenAI 团队目前共有 45 人。该团队正通过验证新想法、创建新软件系统以及在机器人上部署机器学习,推动 AI 能力前沿发展。
OpenAI 指出强化学习算法可能因奖励函数设定错误而出现反直觉的失效模式。该分析聚焦于这一特定故障机制,揭示了模型在错误激励下的异常行为表现。
OpenAI 发布 Universe,这是一个用于测量和训练 AI 通用智能的软件平台。该平台利用全球范围内的游戏、网站及其他应用程序作为数据源进行工作。
OpenAI 正与 Microsoft 合作,开始在 Azure 上运行其大部分大规模实验。这一举措标志着双方基础设施协作的深化,旨在利用 Azure 平台支持 OpenAI 的核心研发工作负载。
OpenAI 在办公室举办了首届机器学习自组织会议,吸引了超过一百五十名 AI 从业者参与。
OpenAI 指出深度学习是一门经验科学,团队的基础设施质量是进步的关键倍增器。当前开源生态系统已使任何人都有可能构建优秀的深度学习基础设施。
OpenAI 机器学习 Unconference 的最新信息现已在 Unconference wiki 上线。该页面将定期更新,为参会者提供更多详情。
OpenAI 宣布招聘了更多优秀人才以助力实现公司目标。文章向所有新加入的成员表示欢迎,未披露具体人数、职位或技术细节。
OpenAI 指出,具有影响力的科学工作关键在于解决正确的问题。这些问题不仅需要具备趣味性,其解决方案更必须产生实际价值。
OpenAI 与 Berkeley、Stanford 研究人员共同署名由 Google Brain 主导的论文《Concrete Problems in AI Safety》。该研究探讨了确保现代机器学习系统按预期运行所面临的具体安全问题。