OpenAI 披露针对选举操纵的 AI 滥用案例
OpenAI 发布报告，披露了利用人工智能进行选举操纵和虚假宣传的具体案例。该报告详细分析了相关威胁行为者如何滥用生成式 AI 技术干扰民主进程。
#安全/对齐
#安全/对齐
今日 4 条OpenAI NewsAI 评分5353 OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 起草针对越南公众人物滥用报告的账户
OpenAI 封禁了利用 AI 起草针对越南公众人物和平台的滥用报告及投诉的账户。此举旨在打击通过自动化手段生成恶意举报内容的违规行为，维护平台生态安全。
OpenAI NewsAI 评分1212 OpenAI 安全与隐私实践更新
OpenAI 发布关于其安全与隐私实践的最新进展。该更新旨在向用户透明展示公司在数据保护、内容审核及系统安全性方面的具体措施与改进方向。
Hugging Face BlogAI 评分4040 Hugging Face 与 TruffleHog 合作，增强平台安全功能
Hugging Face 与 TruffleHog 合作，将 TruffleHog 的秘密扫描功能集成到平台中，以增强安全性。TruffleHog 是一款开源工具，可检测和验证代码中的秘密泄露。Hugging Face 已将 TruffleHog 集成到其自动扫描流程中，并创建了一个原生 Hugging Face 扫描器，以帮助用户主动扫描账户数据中的泄露秘密。
OpenAI NewsAI 评分1010 OpenAI 董事会迎来 AI 安全与对齐专家 Zico Kolter
OpenAI 宣布，AI 安全与对齐专家 Zico Kolter 加入董事会，并担任安全与安全委员会成员，旨在加强公司治理和 AI 安全。
OpenAI NewsAI 评分2525 OpenAI 利用基于规则奖励改进模型安全行为
OpenAI 开发并应用了一种名为 Rule-Based Rewards (RBRs) 的新方法，使模型在无需大量人工数据收集的情况下实现安全对齐。该技术通过基于规则的奖励机制优化模型行为，旨在提升安全性并降低对人工标注数据的依赖。
OpenAI NewsAI 评分4242 OpenAI 与洛斯阿拉莫斯国家实验室宣布研究合作
OpenAI 与洛斯阿拉莫斯国家实验室建立研究伙伴关系，共同开发安全评估方法。双方旨在评估和衡量前沿模型相关的生物能力及风险。
Hugging Face BlogAI 评分4040 Hugging Face Dataset Hub 探索自动 PII 检测功能：Presidio 报告
Hugging Face Dataset Hub 推出 Presidio 自动 PII 检测工具，帮助用户识别数据集中的个人隐私信息，提升机器学习模型的隐私保护。Presidio 报告可帮助用户了解数据集中 PII 的存在情况，从而做出更明智的决策。
OpenAI NewsAI 评分1717 OpenAI 提出真实世界不良内容检测的整体方法
OpenAI 提出一种构建稳健且实用的自然语言分类系统的整体方法，用于真实世界的不良内容检测。该方案旨在解决现实场景下的内容审核挑战，提升检测系统的鲁棒性与实用性。
OpenAI NewsAI 评分2727 OpenAI 董事会新增前美国陆军上将 Paul M. Nakasone
OpenAI 董事会新增前美国陆军上将 Paul M. Nakasone，其丰富的网络安全经验将加入董事会安全与安全委员会。
OpenAI NewsAI 评分2020 OpenAI 探索语音引擎技术及安全研究
OpenAI 深入研究其文本到语音模型背后的技术，并持续进行安全研究，以提升模型性能和安全性。
Hugging Face Blog精选AI 评分6262 CyberSecEval 2 - 大型语言模型网络安全风险全面评估框架
Hugging Face 发布了 CyberSecEval 2 评测框架，用于评估大型语言模型（LLM）的网络安全风险，包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。
推荐理由：CyberSecEval 2 评测框架为评估大型语言模型（LLM）的网络安全风险提供了全面的基准，揭示了行业改进和持续挑战。
OpenAI NewsAI 评分1212 OpenAI 安全实践
OpenAI 发布关于通用人工智能（AGI）的安全实践声明。文章指出 AGI 有潜力惠及生活各方面，因此必须负责任地开发和部署。
OpenAI NewsAI 评分3838 OpenAI 封禁参与“Doppelganger”俄方影响力行动的账户
OpenAI 封禁了与俄罗斯发起的“Doppelganger”影响力行动相关的账户。这些账户利用 AI 生成针对乌克兰的反乌社交媒体评论、翻译及多语言网站文案。
OpenAI NewsAI 评分4242 OpenAI 封禁“Bad Grammar”俄关联 Telegram 评论活动账户
OpenAI 封禁了与名为“Bad Grammar”的俄罗斯来源行动相关的账户。该行动利用 AI 生成关于乌克兰、摩尔多瓦、波罗的海及美国政治的英语和俄语 Telegram 评论。
OpenAI NewsAI 评分4747 OpenAI 封禁“Spamouflage”相关账号
OpenAI 封禁了与中国关联的“Spamouflage”影响力行动相关账号。该行动利用 AI 研究社交媒体活动、生成帖子，并调试一个此前未报告的网站。
OpenAI NewsAI 评分3838 OpenAI 封禁伊朗关联影响力内容网络 IUVM
OpenAI 封禁了与伊朗关联的影响力内容网络“IUVM”相关的账户。该网络利用 AI 生成和翻译亲伊朗、反以色列及反美国内容的网站文章。
OpenAI NewsAI 评分3333 OpenAI 提出指令层级训练 LLM 优先处理特权指令
OpenAI 提出“指令层级”方法，旨在训练大语言模型（LLM）优先处理特权指令。当前 LLM 易受提示注入和越狱攻击，导致原始指令被恶意覆盖。该研究通过调整指令优先级来增强模型安全性。
Hugging Face BlogAI 评分3737 Zama 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 公司的隐私保护机器学习框架 Concrete ML 现已支持在 Hugging Face Endpoints 上部署，使用全同态加密 (FHE) 技术保护用户数据隐私，预编译模型可直接部署，支持 scikit-learn、ONNX、PyTorch 和 TensorFlow 等传统机器学习框架。
Hugging Face BlogAI 评分4747 Hugging Face Hub 上的 AI 水印工具与技术
Hugging Face Hub 提供多种 AI 水印工具，用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印，以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据，如图像、音频、文本等，并面临独特的挑战。Hugging Face Hub 提供开源工具，帮助用户进行不同类型的水印操作。
OpenAI NewsAI 评分4242 OpenAI 构建 LLM 辅助生物威胁创建的早期预警系统
OpenAI 正在开发评估大语言模型（LLM）辅助创建生物威胁风险的蓝图。在包含生物学专家和学生的评测中，GPT-4 对生物威胁创建准确率的提升至多为轻微水平。该发现虽不足以得出定论，但为后续研究和社区讨论提供了起点。
Hugging Face Blog精选AI 评分7070 介绍 AI 安全 LLM 安全排行榜
Secure Learning Lab 推出了 DecodingTrust 平台，用于评估 LLM 的可信度，包括毒性、刻板印象偏见、对抗鲁棒性等多个方面。同时，发布了新的 LLM 安全排行榜，基于 HF 排行榜模板，提供对 LLM 安全性的评估。
推荐理由：DecodingTrust 平台提供了对 LLM 安全性的全面评估，对理解 LLM 的安全性和风险具有重要意义。
OpenAI NewsAI 评分4545 OpenAI 启动 1000 万美元 Superalignment Fast Grants
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，支持超人 AI 系统的对齐与安全研究。资助方向涵盖弱到强泛化、可解释性、可扩展监督等技术领域。
OpenAI NewsAI 评分4747 OpenAI 提出弱到强泛化以控制强模型
OpenAI 提出“弱到强泛化”这一超级对齐新研究方向，旨在利用深度学习的泛化特性实现用弱监督者控制强模型。该研究展示了初步的积极结果，探索了通过弱监督信号引导更强 AI 系统的可能性。
OpenAI NewsAI 评分3030 OpenAI 推进前沿风险与灾难性风险准备
OpenAI 正在开发针对高能力 AI 系统的灾难性风险准备方法，以支持其安全性。为此，OpenAI 组建了 Preparedness 团队并发起了一项挑战。
OpenAI NewsAI 评分3535 Frontier Model Forum 任命新执行董事并设立 1000 万美元 AI Safety Fund
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任命执行董事，并设立 1000 万美元的 AI Safety Fund。
OpenAI NewsAI 评分2828 OpenAI 发布 Red Teaming Network 招募公告
OpenAI 宣布启动 OpenAI Red Teaming Network，面向领域专家发出公开招募邀请。旨在通过外部专家协作提升其模型的安全性。
Hugging Face BlogAI 评分3737 Hugging Face Hub Git 认证方式变更：弃用密码认证
Hugging Face 从 2023 年 10 月 1 日起不再接受密码作为 Git 操作的认证方式，建议用户使用更安全的个人访问令牌或 SSH 密钥进行认证。用户需在截止日期前更新认证方法，否则将无法进行 Git 操作。
OpenAI NewsAI 评分3333 OpenAI 使用 GPT-4 进行内容审核
OpenAI 利用 GPT-4 辅助制定内容政策及执行审核决策。该应用实现了更一致的标签分类，加速了政策优化的反馈循环，并减少了人工审核员的介入需求。
Hugging Face Blog精选AI 评分7070 迈向加密大型语言模型：全同态加密的应用
Hugging Face Blog发布了一篇关于使用全同态加密技术保护大型语言模型隐私的研究，该技术允许在加密数据上执行函数，从而在保护模型所有者知识产权的同时，维护用户数据的隐私。
推荐理由：该研究提出了使用全同态加密技术保护大型语言模型隐私的方法，对关注AI安全和隐私的读者有参考价值。
OpenAI NewsAI 评分4545 OpenAI 等成立 Frontier Model Forum 推动前沿 AI 安全
OpenAI 宣布联合成立行业组织 Frontier Model Forum，旨在促进前沿 AI 系统的安全与负责任发展。该论坛将推进 AI 安全研究、确立最佳实践与标准，并协助政策制定者与产业界进行信息共享。
OpenAI NewsAI 评分3636 OpenAI 等领先实验室通过自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺强化 AI 的安全性、可靠性和可信度。这些举措旨在推动 AI 治理向前发展，确保人工智能技术的安全应用与信任建立。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。
Hugging Face Blog精选AI 评分7070 Hugging Face 安全审计确认 Safetensors 库安全，将成为默认格式
Hugging Face 与 EleutherAI 和 Stability AI 合作，对 Safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。Safetensors 是一个用于保存和加载张量的库，具有安全、懒加载和快速加载等特性。
推荐理由：Hugging Face 对 safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。读者可以了解其安全特性和应用场景。
OpenAI NewsAI 评分1919 OpenAI 探讨超级智能治理
OpenAI 指出当前是开始思考超级智能治理的合适时机。超级智能被定义为未来比通用人工智能（AGI）能力更强大的 AI 系统。
OpenAI NewsAI 评分2020 OpenAI 的 AI 安全方法
OpenAI 强调确保 AI 系统安全构建、部署和使用是其使命的核心。
Hugging Face BlogAI 评分4545 Hugging Face 推出伦理开放机器学习计划
Hugging Face 推出伦理开放机器学习计划，旨在通过促进伦理机器学习工具和案例，帮助用户发现和参与伦理相关的机器学习工作。该计划包括六个高层次的伦理类别标签，以及一系列保障措施，如标记功能、社区讨论板监控、模型卡片详细记录等，以降低潜在危害。
Hugging Face BlogAI 评分4545 Hugging Face 发布 Diffusers 库伦理指南
Hugging Face 发布了 Diffusers 库的伦理框架，旨在指导维护者关于社区贡献的技术决策，强调透明度、一致性、简洁性和可访问性，并提供一系列安全特性和机制，如社区标签、偏见探索和评估、安全 Stable Diffusion 等。
Hugging Face Blog精选AI 评分6565 大型语言模型红队测试：评估安全性和潜在风险
本文探讨了大型语言模型（LLM）的安全性和潜在风险，提出了红队测试作为评估模型安全性的方法，并讨论了相关的研究和开源数据集。
推荐理由：文章探讨了大型语言模型的安全性和潜在风险，并提出了红队测试作为评估模型安全性的方法。
OpenAI NewsAI 评分3535 OpenAI 探讨 AI 系统行为准则及决策权归属
OpenAI 阐明 ChatGPT 行为塑造机制，并公布改进计划。该计划旨在增加用户自定义选项，并在相关决策中引入更多公众意见。