OpenAI 在 DALL·E 2 中减少偏见并提升安全性
OpenAI 为 DALL·E 实施新技术，使其生成的人物图像更准确反映世界人口多样性。该更新旨在减少模型偏见并提升安全性。
#安全/对齐
#安全/对齐
今日 19 条OpenAI NewsAI 评分3333
Ethereum Blog精选AI 评分8585 以太坊 Sepolia 测试网合并公告
以太坊 Sepolia 测试网即将进行合并，标志着以太坊网络向权益证明过渡的重要一步。合并后，Sepolia 将采用权限验证者集，Goerli/Prater 测试网将保持开放验证者集。
推荐理由：原文详细介绍了 Sepolia 测试网合并的进展和后续计划，读者可以了解以太坊网络向权益证明过渡的最新动态。
OpenAI NewsAI 评分2121 DALL·E 2 预训练缓解措施
OpenAI 在 DALL·E 2 中实施多种防护措施，以降低强大图像生成模型的风险。这些措施旨在防止生成的图像违反内容政策，从而支持向更广泛受众分享该模型。
OpenAI NewsAI 评分2929 OpenAI 训练 AI 撰写批评以助人类发现摘要缺陷
OpenAI 训练了“撰写批评”模型来描述摘要中的缺陷，人类评估者在看到这些批评后更频繁地发现错误。实验显示，更大规模的模型在自我批评方面表现更佳，且规模对提升批评能力的效果优于提升摘要生成能力。这一结果展示了利用 AI 系统辅助人类监督困难任务中 AI 系统的潜力。
Hugging Face BlogAI 评分2424 Hugging Face 多模态学习团队发布伦理章程
Hugging Face 多模态学习团队于2022年5月发布伦理章程，将透明度、开放性、公平性等原则纳入机器学习生命周期。该文档旨在应对数据隐私与算法偏见风险，明确禁止生成有害内容或侵犯隐私，并承诺通过GitHub追踪更新以接受社区反馈。
Ethereum Blog精选AI 评分7070 以太坊基金会合并漏洞赏金计划并提高最高赏金至 25 万美元
以太坊基金会宣布将两个漏洞赏金计划合并，并大幅提高最高赏金至 25 万美元，以加强以太坊网络的安全性。
推荐理由：Ethereum 基金会宣布将两个漏洞赏金计划合并，并大幅提高最高赏金至 25 万美元，以加强以太坊网络的安全性。
Ethereum Blog精选AI 评分7070 以太坊基金会加强安全团队以应对即将到来的合并
以太坊基金会加强其安全团队，包括多种安全审计和技术，为即将到来的合并做准备，包括自动化扫描、手动审计、第三方审计、模糊测试和网络模拟等。
推荐理由：原文详细介绍了以太坊基金会如何加强其安全团队，包括多种安全审计和技术，为即将到来的合并做准备，读者可以了解其安全措施和策略。
Hugging Face BlogAI 评分2323 Hugging Face 专家 Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 研究员 Margaret Mitchell 分享其在 Google 创立 Ethical AI Group 的经历，强调数据偏见对模型输出的影响。她指出 ML 团队需建立包容性文化并完善伦理评估体系，以解决如将爆炸场景误判为美景等严重偏差问题。
Ethereum BlogAI 评分3737 以太坊基金会公开首批漏洞披露信息
以太坊基金会通过其漏洞赏金计划，公开了首批漏洞信息，涉及执行层和共识层的多个客户端，包括Nimbus、Teku、Lighthouse等。这些漏洞在最新分叉前已被修复，感谢所有参与漏洞发现和报告的人员，以及负责修复漏洞的团队。更多信息可在新的披露仓库中查看。
OpenAI NewsAI 评分2828 OpenAI 分享语言模型安全与滥用防范经验
OpenAI 发布关于语言模型安全与滥用的最新思考，旨在协助其他 AI 开发者应对已部署模型的安全挑战。该文章聚焦于分享在防止模型被恶意使用方面的实践经验，为行业提供安全治理参考。
OpenAI News精选AI 评分7979 OpenAI 发布 InstructGPT 并将其设为 API 默认模型
OpenAI 推出 InstructGPT 模型，该模型在遵循用户意图、真实性和减少毒性方面优于 GPT-3，现已作为默认语言模型部署于 API。这些模型采用人类反馈强化学习技术训练，源自 OpenAI 的对齐研究成果。
推荐理由：OpenAI 官方宣布 InstructGPT 成为 API 默认模型，标志着其通过人类反馈强化学习提升指令遵循能力并降低毒性的技术正式落地。
Ethereum Blog精选AI 评分7070 以太坊 PoS 算法潜在攻击及缓解措施分析
以太坊官方博客发布文章，分析了针对其 PoS 算法的三种潜在攻击，并提出了相应的缓解措施，预计将在合并前实施修复，不会延迟合并时间表。
推荐理由：原文详细介绍了针对以太坊 PoS 算法的三种潜在攻击及其缓解措施，读者可以了解其对以太坊合并升级的影响。
OpenAI NewsAI 评分2727 GPT-4.0 引入人类反馈，提升AI系统评估难度任务
OpenAI 的 GPT-4.0 引入人类反馈机制，以增强对难以评估任务的AI系统监督，旨在提升AI系统的评估准确性。
Ethereum BlogAI 评分3737 Ethereum Bug Bounty Program：BLS 原语安全漏洞分析
Ethereum 实施的针对 beacon chain 规范和客户端实现的漏洞赏金计划发现了一系列 BLS 原语相关漏洞，包括 IRTF 草案疏忽、实现错误和 IRTF 草案实现违规，这些漏洞已得到修复。
Ethereum BlogAI 评分4040 Rayonism☀️：Ethereum以太坊的Merge开发网络黑客松及blst安全公告
Ethereum以太坊社区启动了名为Rayonism☀️的黑客松活动，旨在基于当前规范创建Merge开发网络，并计划加入分片和L2汇总集成。同时，Supranational发布了针对blst BLS库的安全公告，提醒用户升级至最新版本。此外，以太坊基金会（EF）正在寻找提升信标链安全性和鲁棒性的提案。
Ethereum Blog精选AI 评分6565 Ethereum 发布 Altair 升级和合并进度更新
Ethereum 发布了 beacon chain 的 Altair 升级和合并进度，包括安全测试提案、Altair 升级功能和合并设计进展。
推荐理由：原文介绍了 Ethereum beacon chain 的 Altair 升级和合并进度，读者可以了解其安全性和测试进展，以及行业动态。
Ethereum BlogAI 评分3737 Ethereum 2.0 验证：质押机制与节点安全策略
Ethereum 2.0 验证网络通过多种激励机制鼓励验证者行为，包括惩罚、不活跃泄露和削减。验证者应关注可能同时影响其他验证者的故障，如互联网/电源故障、硬件故障和云服务故障。此外，使用质押服务存在相关故障风险。
Ethereum BlogAI 评分4545 Geth 1.9.24 版本发布，修复安全漏洞
Geth 1.9.24 版本发布，修复了 Go 语言标准库中的安全漏洞，并建议所有用户升级至该版本以避免节点崩溃。同时，还修复了与 ethash 算法相关的挖矿漏洞和 Geth 浅拷贝漏洞，并建议用户和矿工考虑使用其他客户端以增强以太坊网络的弹性。
Ethereum BlogAI 评分4242 Ethereum Medalla 测试网进展更新 #15：客户端多样性、端到端演示及审计进展
Ethereum Medalla 测试网在经历了一次重大事故后，客户端软件变得更加稳健，目前拥有 39k 活跃验证者和 12k 在激活队列中。客户端多样性对于增强共识的鲁棒性和保护用户至关重要。
OpenAI NewsAI 评分3030 OpenAI 参与多机构报告提出 AI 可验证性机制
OpenAI 联合 30 家机构的 58 位作者发布报告，提出 10 种机制以提升 AI 系统声明的可验证性。这些工具旨在帮助开发者证明 AI 系统在安全、公平及隐私保护方面的合规性。同时，用户、政策制定者及公民社会可利用该框架评估 AI 开发过程。
OpenAI NewsAI 评分3636 OpenAI 发布 Microscope 可视化工具
OpenAI 推出 Microscope，提供八个视觉“模式生物”模型中所有重要层和神经元的可视化集合。该工具旨在简化对神经网络内部特征的分析，帮助研究社区理解这些复杂系统。
Ethereum BlogAI 评分4545 Ethereum 2.0 Phase 0 安全审计完成及预发布赏金计划启动
Least Authority 完成了 Ethereum 2.0 Phase 0 的全面安全审计，发现了多个潜在问题并提出改进建议；同时，Ethereum 基金会启动了 Phase 0 预发布赏金计划，奖励发现并报告核心规格中漏洞的用户，最高奖励可达 1 万美元。此外，eth1+eth2 通信已被统一至 Eth R&D Discord 服务器，以促进生态系统内的协作。
Ethereum BlogAI 评分5555 以太坊2.0分片共识机制详解
以太坊2.0采用分片共识机制，通过将验证者分组到委员会中，提高了网络的可扩展性和安全性。
Ethereum Blog精选AI 评分6767 以太坊2.0质押机制详细介绍
以太坊2.0质押机制详细介绍，包括其设计理念、安全性和对参与者的影响。
推荐理由：原文详细介绍了以太坊2.0的质押机制，对理解区块链行业的发展趋势和安全性有重要意义。
OpenAI NewsAI 评分3232 OpenAI 发布 Safety Gym：用于测量强化学习智能体安全约束的套件
OpenAI 发布 Safety Gym，这是一套用于测量强化学习智能体在训练过程中遵守安全约束进度的环境和工具。该套件旨在帮助开发者评估 AI 智能体如何在满足安全限制的前提下进行有效训练。
Ethereum BlogAI 评分4545 Ethereum eth2 快速更新 #3：加强分叉选择防御，推出 challenges.ethereum.org 网站，Herumi BLS 奖学金
Ethereum 团队加强了 Phase 0 分叉选择规则的防御，针对潜在的攻击向量进行了审计和修复。同时，推出了 challenges.ethereum.org 网站，提供以太坊相关的研究和开发赏金。此外，还授予了 Shigeo Mitsunari 的 Herumi BLS 库奖学金，以优化其性能并支持 eth2 的实用性。
OpenAI NewsAI 评分2727 OpenAI 提出 UAR 指标评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发了一种新方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击。该方法引入了名为 UAR（Unforeseen Attack Robustness）的新指标，专门衡量单个模型针对未预期攻击的鲁棒性。研究结果凸显了需要在更多样化的未知攻击范围内测量模型性能的重要性。
OpenAI NewsAI 评分2121 OpenAI 提出四项策略促进 AI 安全领域的行业合作
OpenAI 发布政策研究论文，提出沟通风险与收益、技术协作、增加透明度及激励标准四项策略，以改善 AI 安全规范的长期行业合作。分析指出竞争压力可能导致集体行动困境，使企业减少安全投入，而加强合作对确保 AI 系统安全有益至关重要。
Ethereum BlogAI 评分4040 Solidity 存储数组漏洞公告
Curvegrid 的 Daenam Kim 和 Nguyen Pham 发现了两个与存储数组相关的漏洞，一个影响使用有符号整数数组的合约，另一个影响使用实验性 ABI 编码器 V2 的合约。Ethereum 已发布 0.5.10 版本修复这两个漏洞，目前不计划修复旧版本。
Ethereum BlogAI 评分3232 Solidity Optimizer 和 ABIEncoderV2 漏洞公告
Ethereum 通过漏洞赏金计划发现 Solidity Optimizer 和 ABIEncoderV2 存在漏洞，影响约 2500 个使用实验性 ABI 编码器的合约。0.5.7 版本已修复所有漏洞，建议受影响合约开发者更新至最新版本。
OpenAI NewsAI 评分1212 OpenAI 推出 Activation Atlases 神经元可视化技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，这是一种用于可视化神经元交互所代表含义的新方法。该技术旨在帮助开发者理解 AI 系统的内部决策过程，从而识别弱点并调查故障，特别是在 AI 部署于敏感场景时提升透明度。
OpenAI NewsAI 评分2828 OpenAI 呼吁 AI 安全研究引入社会科学家
OpenAI 发表论文主张长期 AI 安全研究需引入社会科学家，以确保对齐算法在涉及真实人类时成功。正确对齐高级 AI 系统需解决人类理性、情感及偏见等心理学不确定性。OpenAI 计划全职招聘社会科学家并推动机器学习与社会科学研究者协作。
Ethereum Blog精选AI 评分6767 以太坊推迟 Constantinople 升级以应对潜在安全漏洞
以太坊社区因潜在安全漏洞推迟了 Constantinople 升级，要求节点运营商更新 Geth 或 Parity 版本，并提供了升级和降级的指导。
推荐理由：原文详细描述了因潜在安全漏洞而推迟 Ethereum Constantinople 升级的决策过程，对了解区块链安全事件和行业决策有参考价值。
OpenAI NewsAI 评分1818 OpenAI 提出 iterated amplification AI 安全方法
OpenAI 提出名为 iterated amplification 的 AI 安全技术，旨在通过演示任务分解而非提供标注数据或奖励函数，来指定超越人类尺度的复杂目标。该方法目前处于早期阶段，仅在简单玩具算法领域完成实验，但被认为可能成为可扩展的 AI 安全方案。
Ethereum BlogAI 评分3535 Solidity 0.4.25 版本发布，修复两项重要漏洞
Solidity 0.4.25 版本修复了两个重要漏洞，包括指数运算中短类型导致的无效结果和多维数组解码中的内存损坏问题。此外，还解决了事件中结构体编码无效的问题。
OpenAI NewsAI 评分2727 OpenAI 提出通过辩论训练智能体以提升 AI 安全性的技术
OpenAI 提出一种 AI 安全技术，通过训练智能体进行辩论，并由人类评判胜负，以提升 AI 安全性。
OpenAI NewsAI 评分2727 OpenAI 发布论文预测 AI 恶意使用风险及缓解措施
OpenAI 联合多家机构发布论文，预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
Ethereum BlogAI 评分4040 Mist Browser Beta v0.9.3及以下版本存在Chromium漏洞安全警报
Mist Browser Beta v0.9.3及以下版本存在Chromium漏洞，可能导致恶意网站窃取私钥，建议用户不要使用Mist Browser Beta浏览不受信任的网站，并使用Ethereum Wallet管理资金和智能合约交互。
OpenAI NewsAI 评分2222 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，这是一种通过偶尔的人类反馈而非手工设计的奖励函数来训练 AI 的接口实现。该技术旨在推动安全 AI 系统的发展，同时也适用于那些难以指定奖励的强化学习问题。
OpenAI NewsAI 评分4040 OpenAI 发布鲁棒对抗性输入图像
OpenAI 创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像。这一成果挑战了上周关于自动驾驶汽车因多视角采集而难以被恶意欺骗的说法。