Hugging Face探讨机器学习中的偏见问题
Hugging Face团队探讨了机器学习中的偏见问题，并分享了他们的工具和方法，以帮助识别和减轻偏见，构建更公平、更安全的机器学习系统。
推荐理由：文章深入探讨了机器学习中的偏见问题，并提供了Hugging Face团队开发的工具和方法，读者可以了解如何识别和减轻偏见，以及如何构建更公平、更安全的机器学习系统。
#安全/对齐
#安全/对齐
今日 2 条Hugging Face Blog精选AI 评分6565
Hugging Face BlogAI 评分4545 Hugging Face Ethics and Society Newsletter #1 发布：探讨AI伦理与透明度
Hugging Face 发布了首期 Ethics and Society Newsletter，强调公司对协作、责任和透明度的重视，并探讨了AI伦理与透明度的重要性。该刊由公司内部一群关注AI社会影响和Hugging Face角色的平等成员共同编写，旨在通过社区讨论、工具开发等方式，推动AI伦理的实践和价值观的体现。
OpenAI NewsAI 评分2121 OpenAI 阐述对齐研究路径
OpenAI 正在提升 AI 系统从人类反馈中学习及辅助人类评估 AI 的能力。其目标是构建足够对齐的 AI 系统，以协助解决其他所有对齐问题。
OpenAI NewsAI 评分2828 OpenAI 推出改进版内容审核工具
OpenAI 推出改进版内容审核工具 Moderation endpoint，该端点优化了此前的内容过滤器。目前该工具已面向 OpenAI API 开发者免费开放使用。
OpenAI NewsAI 评分3333 OpenAI 在 DALL·E 2 中减少偏见并提升安全性
OpenAI 为 DALL·E 实施新技术，使其生成的人物图像更准确反映世界人口多样性。该更新旨在减少模型偏见并提升安全性。
OpenAI NewsAI 评分2121 DALL·E 2 预训练缓解措施
OpenAI 在 DALL·E 2 中实施多种防护措施，以降低强大图像生成模型的风险。这些措施旨在防止生成的图像违反内容政策，从而支持向更广泛受众分享该模型。
OpenAI NewsAI 评分2929 OpenAI 训练 AI 撰写批评以助人类发现摘要缺陷
OpenAI 训练了“撰写批评”模型来描述摘要中的缺陷，人类评估者在看到这些批评后更频繁地发现错误。实验显示，更大规模的模型在自我批评方面表现更佳，且规模对提升批评能力的效果优于提升摘要生成能力。这一结果展示了利用 AI 系统辅助人类监督困难任务中 AI 系统的潜力。
Hugging Face BlogAI 评分2424 Hugging Face 多模态学习团队发布伦理章程
Hugging Face 多模态学习团队于2022年5月发布伦理章程，将透明度、开放性、公平性等原则纳入机器学习生命周期。该文档旨在应对数据隐私与算法偏见风险，明确禁止生成有害内容或侵犯隐私，并承诺通过GitHub追踪更新以接受社区反馈。
Hugging Face BlogAI 评分2323 Hugging Face 专家 Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 研究员 Margaret Mitchell 分享其在 Google 创立 Ethical AI Group 的经历，强调数据偏见对模型输出的影响。她指出 ML 团队需建立包容性文化并完善伦理评估体系，以解决如将爆炸场景误判为美景等严重偏差问题。
OpenAI NewsAI 评分2828 OpenAI 分享语言模型安全与滥用防范经验
OpenAI 发布关于语言模型安全与滥用的最新思考，旨在协助其他 AI 开发者应对已部署模型的安全挑战。该文章聚焦于分享在防止模型被恶意使用方面的实践经验，为行业提供安全治理参考。
OpenAI News精选AI 评分7979 OpenAI 发布 InstructGPT 并将其设为 API 默认模型
OpenAI 推出 InstructGPT 模型，该模型在遵循用户意图、真实性和减少毒性方面优于 GPT-3，现已作为默认语言模型部署于 API。这些模型采用人类反馈强化学习技术训练，源自 OpenAI 的对齐研究成果。
推荐理由：OpenAI 官方宣布 InstructGPT 成为 API 默认模型，标志着其通过人类反馈强化学习提升指令遵循能力并降低毒性的技术正式落地。
OpenAI NewsAI 评分2727 GPT-4.0 引入人类反馈，提升AI系统评估难度任务
OpenAI 的 GPT-4.0 引入人类反馈机制，以增强对难以评估任务的AI系统监督，旨在提升AI系统的评估准确性。
OpenAI NewsAI 评分3030 OpenAI 参与多机构报告提出 AI 可验证性机制
OpenAI 联合 30 家机构的 58 位作者发布报告，提出 10 种机制以提升 AI 系统声明的可验证性。这些工具旨在帮助开发者证明 AI 系统在安全、公平及隐私保护方面的合规性。同时，用户、政策制定者及公民社会可利用该框架评估 AI 开发过程。
OpenAI NewsAI 评分3636 OpenAI 发布 Microscope 可视化工具
OpenAI 推出 Microscope，提供八个视觉“模式生物”模型中所有重要层和神经元的可视化集合。该工具旨在简化对神经网络内部特征的分析，帮助研究社区理解这些复杂系统。
OpenAI NewsAI 评分3232 OpenAI 发布 Safety Gym：用于测量强化学习智能体安全约束的套件
OpenAI 发布 Safety Gym，这是一套用于测量强化学习智能体在训练过程中遵守安全约束进度的环境和工具。该套件旨在帮助开发者评估 AI 智能体如何在满足安全限制的前提下进行有效训练。
OpenAI NewsAI 评分2727 OpenAI 提出 UAR 指标评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发了一种新方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击。该方法引入了名为 UAR（Unforeseen Attack Robustness）的新指标，专门衡量单个模型针对未预期攻击的鲁棒性。研究结果凸显了需要在更多样化的未知攻击范围内测量模型性能的重要性。
OpenAI NewsAI 评分2121 OpenAI 提出四项策略促进 AI 安全领域的行业合作
OpenAI 发布政策研究论文，提出沟通风险与收益、技术协作、增加透明度及激励标准四项策略，以改善 AI 安全规范的长期行业合作。分析指出竞争压力可能导致集体行动困境，使企业减少安全投入，而加强合作对确保 AI 系统安全有益至关重要。
OpenAI NewsAI 评分1212 OpenAI 推出 Activation Atlases 神经元可视化技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，这是一种用于可视化神经元交互所代表含义的新方法。该技术旨在帮助开发者理解 AI 系统的内部决策过程，从而识别弱点并调查故障，特别是在 AI 部署于敏感场景时提升透明度。
OpenAI NewsAI 评分2828 OpenAI 呼吁 AI 安全研究引入社会科学家
OpenAI 发表论文主张长期 AI 安全研究需引入社会科学家，以确保对齐算法在涉及真实人类时成功。正确对齐高级 AI 系统需解决人类理性、情感及偏见等心理学不确定性。OpenAI 计划全职招聘社会科学家并推动机器学习与社会科学研究者协作。
OpenAI NewsAI 评分1818 OpenAI 提出 iterated amplification AI 安全方法
OpenAI 提出名为 iterated amplification 的 AI 安全技术，旨在通过演示任务分解而非提供标注数据或奖励函数，来指定超越人类尺度的复杂目标。该方法目前处于早期阶段，仅在简单玩具算法领域完成实验，但被认为可能成为可扩展的 AI 安全方案。
Ethereum BlogAI 评分3535 Solidity 0.4.25 版本发布，修复两项重要漏洞
Solidity 0.4.25 版本修复了两个重要漏洞，包括指数运算中短类型导致的无效结果和多维数组解码中的内存损坏问题。此外，还解决了事件中结构体编码无效的问题。
OpenAI NewsAI 评分2727 OpenAI 提出通过辩论训练智能体以提升 AI 安全性的技术
OpenAI 提出一种 AI 安全技术，通过训练智能体进行辩论，并由人类评判胜负，以提升 AI 安全性。
OpenAI NewsAI 评分2727 OpenAI 发布论文预测 AI 恶意使用风险及缓解措施
OpenAI 联合多家机构发布论文，预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
OpenAI NewsAI 评分2222 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，这是一种通过偶尔的人类反馈而非手工设计的奖励函数来训练 AI 的接口实现。该技术旨在推动安全 AI 系统的发展，同时也适用于那些难以指定奖励的强化学习问题。
OpenAI NewsAI 评分4040 OpenAI 发布鲁棒对抗性输入图像
OpenAI 创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像。这一成果挑战了上周关于自动驾驶汽车因多视角采集而难以被恶意欺骗的说法。
OpenAI NewsAI 评分2828 OpenAI 与 DeepMind 合作开发基于人类偏好学习的安全 AI 算法
OpenAI 联合 DeepMind 安全团队推出一种新算法，通过让模型判断两种行为中哪个更优来推断人类意图。该方法旨在消除人工编写目标函数的需求，避免因使用简单代理或目标定义偏差导致的不安全行为，是构建安全 AI 系统的重要一步。
OpenAI NewsAI 评分2121 OpenAI 解析对抗样本攻击机器学习原理
OpenAI 展示对抗样本如何作为输入导致机器学习模型出错，其机制类似机器版的光学错觉。文章分析了不同媒介中对抗样本的工作原理，并探讨了为何防御此类攻击以保障系统安全极具挑战性。
OpenAI NewsAI 评分1313 OpenAI 探讨强化学习中奖励函数错误导致的意外失效
OpenAI 指出强化学习算法可能因奖励函数设定错误而出现反直觉的失效模式。该分析聚焦于这一特定故障机制，揭示了模型在错误激励下的异常行为表现。
OpenAI NewsAI 评分2121 OpenAI 参与 Google Brain 主导的《Concrete Problems in AI Safety》论文
OpenAI 与 Berkeley、Stanford 研究人员共同署名由 Google Brain 主导的论文《Concrete Problems in AI Safety》。该研究探讨了确保现代机器学习系统按预期运行所面临的具体安全问题。