OpenAI 探讨 Goodhart's law 在目标优化中的影响
OpenAI 指出 Goodhart's law 表明当指标成为目标时，该指标便不再是好的衡量标准。这一源自经济学的定律是 OpenAI 在优化难以或昂贵测量的目标时必须面对的问题。
#论文/研究
#论文/研究
今日 3 条OpenAI NewsAI 评分3030
Hugging Face BlogAI 评分3838 Hugging Face 提出 DeDLOC 方法实现互联网协作训练语言模型
Hugging Face 推出 DeDLOC 算法，利用志愿者设备在互联网上协作预训练语言模型。该方法通过累积超大梯度批次适应网络与硬件限制，成功训练出 sahajBERT。在孟加拉语任务中，sahajBERT 性能接近 SOTA，媲美使用数百高端加速器的更大模型。
OpenAI NewsAI 评分3030 OpenAI Scholars 2021：完成六个月导师计划并产出开源研究项目
OpenAI Scholar 2021学员完成六个月导师计划，产出开源研究项目，获得OpenAI资助和支持。
Hugging Face BlogAI 评分2626 Hugging Face 解读长程 Transformer：Longformer、Compressive Transformer、Linformer 与 Performer
Hugging Face 二月阅读小组聚焦长程注意力机制，深入解析 Longformer、Compressive Transformer、Linformer 和 Performer 四种高效 Transformer 方案。Longformer 通过结合窗口局部稀疏与全局注意力，将内存消耗从二次方降至线性，支持预训练模型直接微调以处理长序列任务。
OpenAI NewsAI 评分4040 CLIP 模型中的多模态神经元发现
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别，无论以文字、符号还是概念形式呈现，这有助于解释 CLIP 在分类视觉概念时的准确性，并推动对模型学习关联和偏差的理解。
Ethereum BlogAI 评分3232 以太坊基金会本地资助项目：洪都拉斯和哥伦比亚资助项目回顾
以太坊基金会通过本地资助项目支持全球社区，近期在洪都拉斯和哥伦比亚进行了试点。项目包括帮助当地工匠销售产品、动物保护捐赠平台、教育文章、智能合约投票应用等，旨在促进以太坊生态系统的发展。
Ethereum BlogAI 评分5757 以太坊虚拟机：智能合约和区块链技术的核心
本文深入探讨了以太坊虚拟机（EVM）的工作原理，解释了其如何通过计算工作实现抽象计算的去中心化，并介绍了EVM的堆栈机器模型和气体机制。
OpenAI News精选AI 评分6262 OpenAI 发布 AI 与效率分析报告
OpenAI 发布报告显示，自 2012 年以来，训练神经网络所需的计算量每 16 个月减少一倍，算法进步带来的收益超过传统硬件效率提升。
推荐理由：原文展示了 AI 训练效率的提升，读者可以了解算法进步对 AI 任务的贡献。
Ethereum Blog精选AI 评分6565 无状态以太坊技术路线图：以太坊1.x研究之路
以太坊1.x团队详细介绍了无状态以太坊的技术路线图，包括见证格式、EVM语义、状态可用性等技术细节，旨在实现更高效、可靠的无状态以太坊网络。
推荐理由：原文详细介绍了无状态以太坊的技术路线图，读者可以了解其技术细节和实现路径。
Ethereum Blog精选AI 评分6262 无状态以太坊：状态的研究现状
本文深入探讨了无状态以太坊的概念，包括其数据结构、同步机制以及面临的挑战，为读者提供了对这一研究方向的理解和未来发展的展望。
推荐理由：深入探讨了无状态以太坊的概念及其对以太坊网络的影响，为读者提供了对这一研究方向的理解和未来发展的展望。
OpenAI NewsAI 评分3838 OpenAI 揭示 CNN、ResNet 和 Transformer 中的深度双重下降现象
OpenAI 研究表明，CNN、ResNet 和 Transformer 均存在“双重下降”现象：随着模型规模、数据量或训练时间增加，性能先提升后恶化再提升。该效应通常通过正则化避免，其成因尚不明确，被视为重要研究方向。
OpenAI NewsAI 评分3030 OpenAI 基于人类偏好微调 GPT-2
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调，成功匹配外部标注员偏好。摘要任务需 60k 标签且导致模型倾向复制原文，简单续写任务仅需 5k 标签。此举旨在将安全技术融入“机器与人对话”以提取人类价值观信息。
OpenAI NewsAI 评分4040 OpenAI 多智能体互动涌现工具使用
OpenAI 观察到智能体在简单捉迷藏游戏中通过训练发现逐步复杂的工具使用行为。这些智能体构建了六种不同策略与反策略，其中部分策略是环境原本未支持但被意外发现的。这种自监督的涌现复杂性表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
OpenAI NewsAI 评分2727 OpenAI 提出 UAR 指标评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发了一种新方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击。该方法引入了名为 UAR（Unforeseen Attack Robustness）的新指标，专门衡量单个模型针对未预期攻击的鲁棒性。研究结果凸显了需要在更多样化的未知攻击范围内测量模型性能的重要性。
OpenAI NewsAI 评分2121 OpenAI 提出四项策略促进 AI 安全领域的行业合作
OpenAI 发布政策研究论文，提出沟通风险与收益、技术协作、增加透明度及激励标准四项策略，以改善 AI 安全规范的长期行业合作。分析指出竞争压力可能导致集体行动困境，使企业减少安全投入，而加强合作对确保 AI 系统安全有益至关重要。
OpenAI NewsAI 评分2323 OpenAI 提出能量模型隐式生成与泛化方法
OpenAI 在能量模型（EBMs）的稳定可扩展训练方面取得进展，其样本质量与泛化能力优于现有模型。该方法通过持续计算优化答案，低温下生成效果可与 GAN 竞争，同时具备似然模型的模式覆盖保证。
OpenAI NewsAI 评分1212 OpenAI 推出 Activation Atlases 神经元可视化技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，这是一种用于可视化神经元交互所代表含义的新方法。该技术旨在帮助开发者理解 AI 系统的内部决策过程，从而识别弱点并调查故障，特别是在 AI 部署于敏感场景时提升透明度。
OpenAI NewsAI 评分2828 OpenAI 呼吁 AI 安全研究引入社会科学家
OpenAI 发表论文主张长期 AI 安全研究需引入社会科学家，以确保对齐算法在涉及真实人类时成功。正确对齐高级 AI 系统需解决人类理性、情感及偏见等心理学不确定性。OpenAI 计划全职招聘社会科学家并推动机器学习与社会科学研究者协作。
OpenAI NewsAI 评分3131 OpenAI 发现梯度噪声尺度可预测神经网络训练的并行化能力
OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练在广泛任务上的并行化能力。由于复杂任务的梯度通常更嘈杂，未来更大的批次大小将变得有用，从而消除 AI 系统进一步增长的一个潜在限制。
OpenAI NewsAI 评分2121 OpenAI 发布 CoinRun 强化学习环境以量化泛化能力
OpenAI 推出名为 CoinRun 的强化学习训练环境，旨在提供衡量智能体将经验迁移至新情境能力的指标。该环境复杂度介于传统平台游戏与简单任务之间，既比《索尼克》等游戏更简洁，又能为当前最先进算法带来有效的泛化挑战，有助于厘清强化学习领域的长期难题。
OpenAI NewsAI 评分3131 OpenAI 开发基于能量函数的模型以快速学习概念
OpenAI 开发出一种基于能量的模型，仅需五次演示即可快速学习并生成近、上、之间等二维点集概念。该模型还展示了跨域迁移能力，利用在二维粒子环境中学到的概念解决三维物理机器人的任务。
OpenAI NewsAI 评分3737 OpenAI 提出 RND 方法，强化学习智能体首次超越人类在 Montezuma’s Revenge 的表现
OpenAI 开发了基于预测的随机网络蒸馏（RND）方法，通过好奇心驱动强化学习智能体探索环境。该方法首次在 Montezuma’s Revenge 游戏中实现超过人类平均水平的表现。
OpenAI NewsAI 评分1818 OpenAI 提出 iterated amplification AI 安全方法
OpenAI 提出名为 iterated amplification 的 AI 安全技术，旨在通过演示任务分解而非提供标注数据或奖励函数，来指定超越人类尺度的复杂目标。该方法目前处于早期阶段，仅在简单玩具算法领域完成实验，但被认为可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分5555 OpenAI 提出基于无监督学习的语言理解改进方法
OpenAI 发布了一篇论文，提出了一种结合监督学习和无监督预训练的新方法，在多个语言任务上取得了最先进的成果，并计划开源。
OpenAI News精选AI 评分6565 OpenAI发布最新研究进展
OpenAI于2018年5月16日发布了最新的研究进展。该内容由OpenAI官方渠道直接公布，具体涉及当时的技术研究细节。
推荐理由：OpenAI官方发布的早期研究动态，反映了其在2018年对模型训练或相关技术方向的探索，可作为理解其技术演进路径的历史参考。
OpenAI NewsAI 评分3737 Reptile：可扩展的元学习算法
OpenAI 开发了名为 Reptile 的元学习算法，该算法通过重复采样任务、在任务上执行随机梯度下降并更新初始参数，使其向最终参数学习。Reptile 是将最短下降算法应用于元学习环境，与仅需要黑盒访问优化器（如 SGD 或 Adam）的第一阶 MAML 算法在数学上相似，具有相似的计算效率和性能。
OpenAI NewsAI 评分2727 OpenAI 发布论文预测 AI 恶意使用风险及缓解措施
OpenAI 联合多家机构发布论文，预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
OpenAI NewsAI 评分2020 OpenAI 开发自动实体消歧系统
OpenAI 研发了一种基于神经网络的自动实体消歧系统，通过识别约100个自动发现的“类型”来判断词语所指的具体对象。
OpenAI NewsAI 评分2323 OpenAI 开发分层强化学习算法以加速长时程任务求解
OpenAI 开发了一种分层强化学习算法，通过自动发现高层动作来快速解决需要数千时间步的任务。该算法在导航问题中识别出不同方向的行走和爬行等高层动作，使智能体能迅速掌握新的导航任务。
OpenAI NewsAI 评分3030 OpenAI 展示机器人从仿真到实机的泛化能力
OpenAI 最新机器人技术使完全在仿真中训练的控制器能部署于物理机器人，并实时响应环境中的计划外变化以完成简单任务。该技术实现了从开环系统向闭环系统的转变，提升了机器人在非结构化环境中的适应性与鲁棒性。
OpenAI NewsAI 评分1616 OpenAI 展示元学习在模拟机器人摔跤中的应用
OpenAI 展示元学习智能体在模拟机器人摔跤任务中，能快速击败更强的非元学习智能体。该智能体还能适应物理故障，验证了元学习在动态环境下的鲁棒性与适应能力。
OpenAI NewsAI 评分3838 OpenAI 发现自我博弈助 AI 习得足球技能
OpenAI 发现自我博弈使模拟 AI 无需预设环境即可自主习得铲球、假动作等足球物理技能。该方法确保训练难度始终适配 AI 能力，结合 Dota 2 结果增强了对自我博弈作为未来核心 AI 组件的信心。
OpenAI NewsAI 评分2525 OpenAI 发布 LOLA 算法以建模其他智能体思维
OpenAI 发布 Learning with Opponent-Learning Awareness (LOLA) 算法，该算法考虑了其他智能体也在学习的特性。LOLA 在迭代囚徒困境中发现了既自利又合作的策略（如 tit-for-tat），是迈向能够建模其他心智的智能体的重要一步。
OpenAI NewsAI 评分1515 OpenAI 提出参数噪声增强强化学习探索
OpenAI 发现向强化学习算法参数添加自适应噪声能频繁提升性能。该方法实现简单且极少降低表现，适用于各类问题场景。
OpenAI NewsAI 评分2828 OpenAI 与 DeepMind 合作开发基于人类偏好学习的安全 AI 算法
OpenAI 联合 DeepMind 安全团队推出一种新算法，通过让模型判断两种行为中哪个更优来推断人类意图。该方法旨在消除人工编写目标函数的需求，避免因使用简单代理或目标定义偏差导致的不安全行为，是构建安全 AI 系统的重要一步。
OpenAI NewsAI 评分1212 OpenAI 探讨多智能体环境在通往 AGI 路径中的作用
OpenAI 指出多智能体竞争环境是通往 AGI 的垫脚石，具备自然课程和动态压力两大特性。在该环境中，难度随竞争对手技能提升而增加，且不存在稳定平衡点，迫使智能体持续进化。目前此类环境与传统环境差异显著，仍需大量研究才能有效驾驭。
OpenAI NewsAI 评分4747 OpenAI 发现进化策略可替代强化学习
OpenAI 研究发现，进化策略（ES）在 Atari 和 MuJoCo 等现代基准测试中性能可与标准强化学习（RL）相媲美。该技术克服了 RL 的诸多不便，为大规模优化提供了可扩展的替代方案。
OpenAI NewsAI 评分2121 OpenAI 支持 Distill 期刊发布
OpenAI 宣布支持新期刊 Distill 的发布。该期刊旨在以卓越的方式传播机器学习成果，涵盖新颖或已有的研究结果。
OpenAI NewsAI 评分1818 OpenAI 研究智能体如何发展自有语言
OpenAI 发布新研究，展示 AI 智能体在交互中自发发展出自有语言。该工作聚焦于多智能体通信机制的演化过程，未涉及具体模型版本或性能指标数据。
OpenAI NewsAI 评分2121 OpenAI 解析对抗样本攻击机器学习原理
OpenAI 展示对抗样本如何作为输入导致机器学习模型出错，其机制类似机器版的光学错觉。文章分析了不同媒介中对抗样本的工作原理，并探讨了为何防御此类攻击以保障系统安全极具挑战性。