PANews·· 4 天前精选AI 评分70
METR 提出前沿 AI “失控风险”公开评估方案
AI 导读
METR 发布了针对前沿 AI 模型失控风险的公开评估方案,包括对齐、控制和研发加速三个领域的评估,旨在与开发者合作,向公众披露风险证据。
推荐理由
该方案为评估前沿 AI 模型的失控风险提供了新的视角,对 AI 安全领域的研究具有重要意义。
原文
PANews 10月15日消息,据 METR 在 X 发布的系列帖文,这家 AI 评估机构公布了与 AI 开发者合作、向公众披露前沿模型失控风险证据的方案。方案聚焦三个领域:对齐(Alignment)、控制(Control)与 AI 研发加速(AI R&D acceleration)。在对齐方面,独立评估员将分析开发者内部事件(如 Hugging Face 遭黑客攻击类事件),并检查训练是否掩盖了更严重的错位;在控制方面,评估内部智能体能否在不被发现的情况下造成严重危害;在研发加速方面,衡量 AI 自动化对内部能力增长的推动幅度。METR 称已准备好与前沿开发者开展这三项演练,并强调方案仅提供证据,而非安全保证或正式监督,同时鼓励开发者联合其他外部团体并主动公开证据。
来源:PANews · panewslab.com