OpenAI 封禁“Spamouflage”相关账号
OpenAI 封禁了与中国关联的“Spamouflage”影响力行动相关账号。该行动利用 AI 研究社交媒体活动、生成帖子，并调试一个此前未报告的网站。
#安全/对齐
#安全/对齐
今日 19 条OpenAI NewsAI 评分4747 OpenAI NewsAI 评分3838 OpenAI 封禁伊朗关联影响力内容网络 IUVM
OpenAI 封禁了与伊朗关联的影响力内容网络“IUVM”相关的账户。该网络利用 AI 生成和翻译亲伊朗、反以色列及反美国内容的网站文章。
OpenAI NewsAI 评分3333 OpenAI 提出指令层级训练 LLM 优先处理特权指令
OpenAI 提出“指令层级”方法，旨在训练大语言模型（LLM）优先处理特权指令。当前 LLM 易受提示注入和越狱攻击，导致原始指令被恶意覆盖。该研究通过调整指令优先级来增强模型安全性。
Hugging Face BlogAI 评分3737 Zama 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 公司的隐私保护机器学习框架 Concrete ML 现已支持在 Hugging Face Endpoints 上部署，使用全同态加密 (FHE) 技术保护用户数据隐私，预编译模型可直接部署，支持 scikit-learn、ONNX、PyTorch 和 TensorFlow 等传统机器学习框架。
Hugging Face Blog精选AI 评分6565 Hugging Face 与 Wiz Research 合作提升 AI 安全性
Hugging Face 与 Wiz Research 合作，通过集成 Wiz 的安全工具，提升平台安全性，并开源相关安全工具，以促进 AI/ML 生态系统的安全发展。
推荐理由：Hugging Face 与 Wiz Research 合作，提升平台和 AI/ML 生态系统的安全性，读者可以关注其安全改进和开源合作对行业的影响。
Ethereum Blog精选AI 评分6565 以太坊网络安全事件：Sepolia 事件
以太坊网络出现安全漏洞，可能导致部分节点拒绝接受区块，引发网络分叉。官方已采取措施修复漏洞，并更新了客户端版本。
推荐理由：原文揭示了以太坊网络面临的安全威胁，并提供了应对措施，读者可以了解其对网络的影响和防范方法。
Hugging Face BlogAI 评分4747 Hugging Face Hub 上的 AI 水印工具与技术
Hugging Face Hub 提供多种 AI 水印工具，用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印，以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据，如图像、音频、文本等，并面临独特的挑战。Hugging Face Hub 提供开源工具，帮助用户进行不同类型的水印操作。
OpenAI NewsAI 评分4242 OpenAI 构建 LLM 辅助生物威胁创建的早期预警系统
OpenAI 正在开发评估大语言模型（LLM）辅助创建生物威胁风险的蓝图。在包含生物学专家和学生的评测中，GPT-4 对生物威胁创建准确率的提升至多为轻微水平。该发现虽不足以得出定论，但为后续研究和社区讨论提供了起点。
Hugging Face Blog精选AI 评分7070 介绍 AI 安全 LLM 安全排行榜
Secure Learning Lab 推出了 DecodingTrust 平台，用于评估 LLM 的可信度，包括毒性、刻板印象偏见、对抗鲁棒性等多个方面。同时，发布了新的 LLM 安全排行榜，基于 HF 排行榜模板，提供对 LLM 安全性的评估。
推荐理由：DecodingTrust 平台提供了对 LLM 安全性的全面评估，对理解 LLM 的安全性和风险具有重要意义。
OpenAI NewsAI 评分4545 OpenAI 启动 1000 万美元 Superalignment Fast Grants
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，支持超人 AI 系统的对齐与安全研究。资助方向涵盖弱到强泛化、可解释性、可扩展监督等技术领域。
OpenAI NewsAI 评分4747 OpenAI 提出弱到强泛化以控制强模型
OpenAI 提出“弱到强泛化”这一超级对齐新研究方向，旨在利用深度学习的泛化特性实现用弱监督者控制强模型。该研究展示了初步的积极结果，探索了通过弱监督信号引导更强 AI 系统的可能性。
Ethereum BlogAI 评分3737 Ethereum EIP-4844：c-kzg-4844 库的安全实践与优化
Ethereum Foundation 的 Protocol Security Research 团队对 c-kzg-4844 库进行了审查和改进，该库用于计算和验证 KZG 承诺，支持 EIP-4844。
OpenAI NewsAI 评分3030 OpenAI 推进前沿风险与灾难性风险准备
OpenAI 正在开发针对高能力 AI 系统的灾难性风险准备方法，以支持其安全性。为此，OpenAI 组建了 Preparedness 团队并发起了一项挑战。
OpenAI NewsAI 评分3535 Frontier Model Forum 任命新执行董事并设立 1000 万美元 AI Safety Fund
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任命执行董事，并设立 1000 万美元的 AI Safety Fund。
Ethereum BlogAI 评分3232 Devconnect 伊斯坦布尔活动安全风险与旅行建议更新
Devconnect 伊斯坦布尔活动组织者密切关注当地安全状况，鉴于以色列和加沙地带冲突可能带来的风险，目前对活动本身的直接威胁较低，但存在大规模抗议、针对性暴力或伊斯坦布尔部分地区中断的风险。以色列政府已发布警告，要求以色列公民立即离开土耳其。因此，建议高风险群体认真考虑旅行计划。
OpenAI NewsAI 评分2828 OpenAI 发布 Red Teaming Network 招募公告
OpenAI 宣布启动 OpenAI Red Teaming Network，面向领域专家发出公开招募邀请。旨在通过外部专家协作提升其模型的安全性。
Hugging Face BlogAI 评分3737 Hugging Face Hub Git 认证方式变更：弃用密码认证
Hugging Face 从 2023 年 10 月 1 日起不再接受密码作为 Git 操作的认证方式，建议用户使用更安全的个人访问令牌或 SSH 密钥进行认证。用户需在截止日期前更新认证方法，否则将无法进行 Git 操作。
OpenAI NewsAI 评分3333 OpenAI 使用 GPT-4 进行内容审核
OpenAI 利用 GPT-4 辅助制定内容政策及执行审核决策。该应用实现了更一致的标签分类，加速了政策优化的反馈循环，并减少了人工审核员的介入需求。
Hugging Face Blog精选AI 评分7070 迈向加密大型语言模型：全同态加密的应用
Hugging Face Blog发布了一篇关于使用全同态加密技术保护大型语言模型隐私的研究，该技术允许在加密数据上执行函数，从而在保护模型所有者知识产权的同时，维护用户数据的隐私。
推荐理由：该研究提出了使用全同态加密技术保护大型语言模型隐私的方法，对关注AI安全和隐私的读者有参考价值。
OpenAI NewsAI 评分4545 OpenAI 等成立 Frontier Model Forum 推动前沿 AI 安全
OpenAI 宣布联合成立行业组织 Frontier Model Forum，旨在促进前沿 AI 系统的安全与负责任发展。该论坛将推进 AI 安全研究、确立最佳实践与标准，并协助政策制定者与产业界进行信息共享。
OpenAI NewsAI 评分3636 OpenAI 等领先实验室通过自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺强化 AI 的安全性、可靠性和可信度。这些举措旨在推动 AI 治理向前发展，确保人工智能技术的安全应用与信任建立。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。
Ethereum BlogAI 评分4040 Ethereum 社区与教育活动更新：2023 年第一季度
Ethereum 社区在 2023 年第一季度举办了多项活动，包括 Black Sky 会议探讨主权与隐私的关系、BuildETH 开发者大会、Cluj 开发者聚会系列、Devfolio 学生和开发者支持计划、ETH 北京黑客马拉松等，旨在促进以太坊生态系统的发展和区块链技术的教育。
OpenAI NewsAI 评分3737 OpenAI Cybersecurity Grant Program 发布
OpenAI 推出网络安全能力发展资助计划，旨在通过资助和其他支持，促进AI在网络安全领域的应用。
Hugging Face Blog精选AI 评分7070 Hugging Face 安全审计确认 Safetensors 库安全，将成为默认格式
Hugging Face 与 EleutherAI 和 Stability AI 合作，对 Safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。Safetensors 是一个用于保存和加载张量的库，具有安全、懒加载和快速加载等特性。
推荐理由：Hugging Face 对 safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。读者可以了解其安全特性和应用场景。
OpenAI NewsAI 评分1919 OpenAI 探讨超级智能治理
OpenAI 指出当前是开始思考超级智能治理的合适时机。超级智能被定义为未来比通用人工智能（AGI）能力更强大的 AI 系统。
Hugging Face BlogAI 评分4040 Hugging Face 获选法国数据保护局增强支持计划
Hugging Face 被法国数据保护局 CNIL 选入增强支持计划，旨在支持其在数据保护方面的责任理解和实施。Hugging Face 在 BigScience 和 BigCode 项目中已采取多项措施保障隐私，CNIL 的支持将助力其进一步推进 GDPR 合规和提升数据保护透明度。
Ethereum BlogAI 评分3737 以太坊基金会漏洞赏金计划公布第二套漏洞
以太坊基金会公布第二套漏洞，包括Erigon、Go Ethereum、Lodestar等客户端软件以及Deposit Contract、Execution Layer & Consensus Layer Specifications和Solidity等。最高赏金为50,000美元，由scio报告的Lighthouse beacon节点崩溃问题获得。所有漏洞在最新分叉前已修复。
OpenAI News精选AI 评分6565 OpenAI 官方宣布漏洞赏金计划
OpenAI 官方宣布其漏洞赏金计划，旨在提高 AI 技术的安全性和可靠性。
推荐理由：OpenAI 官方宣布其漏洞赏金计划，关注安全与信任问题，对 AI 领域具有重要意义。
OpenAI NewsAI 评分2020 OpenAI 的 AI 安全方法
OpenAI 强调确保 AI 系统安全构建、部署和使用是其使命的核心。
Hugging Face BlogAI 评分4545 Hugging Face 推出伦理开放机器学习计划
Hugging Face 推出伦理开放机器学习计划，旨在通过促进伦理机器学习工具和案例，帮助用户发现和参与伦理相关的机器学习工作。该计划包括六个高层次的伦理类别标签，以及一系列保障措施，如标记功能、社区讨论板监控、模型卡片详细记录等，以降低潜在危害。
Hugging Face BlogAI 评分4545 Hugging Face 发布 Diffusers 库伦理指南
Hugging Face 发布了 Diffusers 库的伦理框架，旨在指导维护者关于社区贡献的技术决策，强调透明度、一致性、简洁性和可访问性，并提供一系列安全特性和机制，如社区标签、偏见探索和评估、安全 Stable Diffusion 等。
Hugging Face Blog精选AI 评分6565 大型语言模型红队测试：评估安全性和潜在风险
本文探讨了大型语言模型（LLM）的安全性和潜在风险，提出了红队测试作为评估模型安全性的方法，并讨论了相关的研究和开源数据集。
推荐理由：文章探讨了大型语言模型的安全性和潜在风险，并提出了红队测试作为评估模型安全性的方法。
OpenAI NewsAI 评分3535 OpenAI 探讨 AI 系统行为准则及决策权归属
OpenAI 阐明 ChatGPT 行为塑造机制，并公布改进计划。该计划旨在增加用户自定义选项，并在相关决策中引入更多公众意见。
OpenAI NewsAI 评分5757 OpenAI 发布用于识别 AI 生成文本的新分类器
OpenAI 推出一个经过训练以区分 AI 生成文本与人类撰写文本的分类器。
OpenAI NewsAI 评分3131 OpenAI 联合研究预测语言模型在虚假信息中的潜在滥用及风险缓解
OpenAI 与乔治城大学、斯坦福互联网观察站合作，发布报告预测大语言模型被用于虚假信息的潜在威胁。该研究基于2021年10月汇集30位专家的研讨会及逾一年调研，提出分析潜在缓解措施的框架。
Hugging Face Blog精选AI 评分6565 Hugging Face探讨机器学习中的偏见问题
Hugging Face团队探讨了机器学习中的偏见问题，并分享了他们的工具和方法，以帮助识别和减轻偏见，构建更公平、更安全的机器学习系统。
推荐理由：文章深入探讨了机器学习中的偏见问题，并提供了Hugging Face团队开发的工具和方法，读者可以了解如何识别和减轻偏见，以及如何构建更公平、更安全的机器学习系统。
Hugging Face BlogAI 评分4545 Hugging Face Ethics and Society Newsletter #1 发布：探讨AI伦理与透明度
Hugging Face 发布了首期 Ethics and Society Newsletter，强调公司对协作、责任和透明度的重视，并探讨了AI伦理与透明度的重要性。该刊由公司内部一群关注AI社会影响和Hugging Face角色的平等成员共同编写，旨在通过社区讨论、工具开发等方式，推动AI伦理的实践和价值观的体现。
OpenAI NewsAI 评分2121 OpenAI 阐述对齐研究路径
OpenAI 正在提升 AI 系统从人类反馈中学习及辅助人类评估 AI 的能力。其目标是构建足够对齐的 AI 系统，以协助解决其他所有对齐问题。
OpenAI NewsAI 评分2828 OpenAI 推出改进版内容审核工具
OpenAI 推出改进版内容审核工具 Moderation endpoint，该端点优化了此前的内容过滤器。目前该工具已面向 OpenAI API 开发者免费开放使用。