ChatGPT 推出“可信联系人”功能
OpenAI 推出 ChatGPT 的新功能“可信联系人”，当检测到严重自伤风险时，会通知用户信任的人。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分3535
OpenAI NewsAI 评分4242 OpenAI 推出高级账户安全功能：抗钓鱼登录、更强恢复和增强保护
OpenAI 推出高级账户安全功能，包括抗钓鱼登录、更强恢复机制和增强保护，旨在保护敏感数据并预防账户接管。
OpenAI NewsAI 评分3535 OpenAI 如何在 ChatGPT 中保障社区安全
OpenAI 通过模型安全措施、滥用检测、政策执行和安全专家合作，在 ChatGPT 中保护社区安全。
OpenAI NewsAI 评分5050 OpenAI Privacy Filter：开放权重模型助力文本中个人身份信息检测与编辑
OpenAI推出开放权重模型OpenAI Privacy Filter，用于检测和编辑文本中的个人身份信息（PII），准确率达到业界领先水平。
OpenAI NewsAI 评分5050 OpenAI 发布 AI 责任与安全使用指南
OpenAI 推出指南，指导用户在 ChatGPT 等工具中使用 AI，强调安全、准确和透明度。
OpenAI NewsAI 评分4242 ChatGPT 在医疗领域的应用：支持诊断、文档记录和患者护理
OpenAI 的 ChatGPT 被应用于医疗领域，支持临床医生进行诊断、文档记录和患者护理，同时确保符合 HIPAA 安全标准。
Google DeepMind精选AI 评分6060 Google DeepMind 发布首个实证验证的 AI 有害操纵测量工具包
Google DeepMind 发布新研究，推出了首个经实证验证的工具包以衡量 AI 在现实世界中进行有害操纵的能力。该研究基于英国、美国和印度的超过 10,000 名参与者进行的九项实验，重点测试了金融和健康等高风险领域，发现 AI 在健康话题上的操纵效果最弱且不同领域的成功并不互通。
推荐理由：Google DeepMind 发布了首个经实证验证的 AI 有害操纵测量工具包，通过九项涵盖万人的实验区分了有益说服与有害操纵，为评估模型在高风险场景下的潜在危害提供了可复用的方法论。
OpenAI NewsAI 评分3737 GPT-oss-safeguard：OpenAI发布青少年安全策略，助力开发者构建更安全的AI体验
OpenAI推出基于提示的青少年安全策略gpt-oss-safeguard，帮助开发者降低AI系统中的年龄特定风险，提升青少年AI体验的安全性。
OpenAI NewsAI 评分3535 OpenAI 推出 Sora 2 和 Sora 应用，强化视频模型安全
OpenAI 推出 Sora 2 和 Sora 应用，旨在解决顶级视频模型和社交创作平台带来的新安全挑战。该方案以具体保护措施为基础，确保安全始终是核心。
OpenAI NewsAI 评分5252 OpenAI 发布内部编码智能体对齐监控研究
OpenAI 发布了关于如何监控内部编码智能体对齐的研究，通过分析实际部署来检测风险并加强AI安全防护。
OpenAI NewsAI 评分4242 OpenAI Japan 发布《日本青少年安全蓝图》强化青少年使用生成式AI的安全保护
OpenAI Japan 推出《日本青少年安全蓝图》，旨在加强青少年使用生成式AI时的年龄保护、家长控制和健康保障措施。
OpenAI NewsAI 评分3535 Codex Security 不依赖传统 SAST 的原因分析
OpenAI 的 Codex Security 采用 AI 驱动的约束推理和验证技术，以减少误报，而非传统安全评估工具 SAST，深入解析其不依赖 SAST 的原因。
OpenAI NewsAI 评分3737 ChatGPT 如何防御提示注入和社会工程学攻击
ChatGPT 通过限制风险行为和保护敏感数据，在智能体工作流程中防御提示注入和社会工程学攻击。
OpenAI NewsAI 评分3737 OpenAI IH-Challenge 提升前沿 LLM 指令层次结构
OpenAI 推出的 IH-Challenge 训练模型优先执行可信指令，提升指令层次结构，增强安全可控性和抵抗提示注入攻击的能力。
OpenAI NewsAI 评分3535 OpenAI Codex Security 研究预览：AI 应用安全代理
OpenAI 推出 Codex Security，一款 AI 应用安全代理，可分析项目上下文，以更高置信度和更少噪声检测、验证和修补复杂漏洞。
OpenAI NewsAI 评分4242 OpenAI 推出 CoT-Control：推理模型难以控制思维链，监控成为 AI 安全保障
OpenAI 推出 CoT-Control，发现推理模型难以控制思维链，强调监控在 AI 安全中的重要性。
OpenAI NewsAI 评分4242 OpenAI 如何保护用户数据，防止AI代理点击链接时的数据泄露和提示注入
OpenAI 通过内置安全措施，保护用户数据免受AI代理打开链接时的URL数据泄露和提示注入攻击。
OpenAI NewsAI 评分2727 ChatGPT 推出年龄预测功能，保障青少年账户安全
ChatGPT 推出年龄预测功能，用于判断账户是否为18岁以下青少年，并实施相关保护措施，同时不断优化预测准确性。
OpenAI NewsAI 评分3737 OpenAI for Healthcare：医疗保健领域的企业级AI解决方案
OpenAI 推出针对医疗保健领域的 AI 解决方案 OpenAI for Healthcare，支持 HIPAA 合规，减轻行政负担，并支持临床工作流程。
OpenAI NewsAI 评分3030 ChatGPT Health：OpenAI 推出健康数据连接体验
OpenAI 推出 ChatGPT Health，一个安全连接健康数据和应用的专属体验，具备隐私保护和医生指导设计。
OpenAI News精选AI 评分6565 OpenAI 加强 ChatGPT Atlas 对提示注入攻击的防御
OpenAI 正在使用强化学习训练的自动化红队技术来加强 ChatGPT Atlas 对提示注入攻击的防御，以提前发现新型漏洞并加固浏览器代理的防御能力。
推荐理由：OpenAI 正在加强 ChatGPT Atlas 对提示注入攻击的防御，读者可以关注这一进展对 AI 安全领域的影响。
OpenAI NewsAI 评分4545 ChatGPT 更新 Model Spec，引入未成年人保护原则
OpenAI 对 ChatGPT 的 Model Spec 进行更新，新增未成年人保护原则，旨在为青少年提供安全、适宜的指导，强化安全防护措施，并明确高风险情况下的模型行为，以提升 ChatGPT 的青少年安全保护水平。
OpenAI NewsAI 评分3737 OpenAI 发布青少年及家长 AI 智慧资源指南
OpenAI 推出针对青少年及家长的 AI 智慧资源，旨在指导他们安全、自信地使用 ChatGPT，包含专家审核的负责任使用、批判性思维、健康边界和情感敏感话题支持等建议。
Google DeepMind精选AI 评分6060 Google DeepMind 与英国人工智能安全研究所深化合作
Google DeepMind 与英国人工智能安全研究所（AISI）宣布扩大合作，聚焦基础安全和安全研究，以确保人工智能安全发展并造福所有人。合作内容包括共享模型、数据和想法，共同发布报告，进行安全研究和技术讨论。
推荐理由：Google DeepMind 与英国人工智能安全研究所的合作扩展，涉及基础安全和安全研究，有助于确保人工智能安全发展并造福所有人。
Google Research精选AI 评分6262 Google Research发布基于差分隐私的AI聊天机器人使用洞察框架
Google Research发布了一篇论文，介绍了一个名为Urania的框架，该框架通过差分隐私技术从LLM聊天机器人交互中获取见解，同时保护用户隐私。该框架使用差分隐私聚类算法和关键词提取方法，确保单个对话不会过度影响结果，从而提供更好的隐私保障。
推荐理由：该研究提出了一个基于差分隐私的框架，用于从LLM聊天机器人交互中获取见解，同时确保用户隐私。读者可以了解该框架如何平衡隐私保护和信息获取的需求。
OpenAI NewsAI 评分5252 OpenAI 加强 AI 模型网络安全防御能力
OpenAI 正在投资于更强大的安全防护和防御能力，以应对 AI 模型在网络安全方面的增强能力。
OpenAI NewsAI 评分3535 GPT-4.5 测试“忏悔”方法，提升AI诚实度和透明度
OpenAI 研究人员正在测试“忏悔”方法，通过训练模型在犯错或行为不当时承认错误，有助于提高 AI 的诚实度、透明度和对模型输出的信任。
OpenAI NewsAI 评分4040 OpenAI 与独立专家合作评估前沿 AI 系统，加强安全生态系统
OpenAI 与独立专家合作，通过第三方测试评估前沿 AI 系统，以加强安全性和验证安全措施，提高对模型能力和风险的评估透明度。
Google Research精选AI 评分8585 Google Research 发布 JAX-Privacy 1.0：大规模差分隐私机器学习工具
Google Research 发布了 JAX-Privacy 1.0，这是一个用于构建和审计差分隐私模型的工具包，旨在简化大规模机器学习中的隐私保护。
推荐理由：JAX-Privacy 1.0 的发布为大规模机器学习中的差分隐私提供了强大的工具，有助于推动隐私保护机器学习的研究和应用。
Hugging Face BlogAI 评分4545 Hugging Face 推出基于同意的语音克隆系统
Hugging Face 推出基于同意的语音克隆系统，通过“语音同意门”确保只有当说话者明确表示同意时，才能克隆其声音。该系统结合语音识别和语音合成技术，旨在减少恶意使用风险，并支持用户在保持自主权的同时使用语音克隆功能。
OpenAI NewsAI 评分3535 ChatGPT 引入公司知识功能，提升企业用户工作效率
OpenAI 推出 ChatGPT 公司知识功能，将企业应用中的上下文信息引入模型，为用户提供特定业务问题的答案，并支持清晰的引用、安全隐私和行政控制，现已面向企业、企业和教育用户开放。
OpenAI NewsAI 评分3737 OpenAI 专家委员会：ChatGPT 情绪健康支持与青少年
OpenAI 成立专家委员会，汇聚心理学家、临床医生和研究人员，指导 ChatGPT 支持青少年情绪健康，提升 AI 体验安全性。
OpenAI NewsAI 评分4040 OpenAI 评估 ChatGPT 政治偏见的测试方法
OpenAI 通过新的真实世界测试方法评估 ChatGPT 的政治偏见，提高客观性并减少偏见。
OpenAI NewsAI 评分4040 OpenAI 推出 Sora 2 和 Sora 应用，以安全为核心
OpenAI 推出新型视频模型 Sora 2 及其社交创作平台 Sora 应用，强调安全为首要考量，采用具体保护措施。
OpenAI NewsAI 评分3030 OpenAI 探索青少年在 AI 使用中的安全、自由与隐私平衡之道
OpenAI 探索青少年在 AI 使用中的安全、自由与隐私平衡之道，旨在确保青少年在享受 AI 带来的便利的同时，保护其个人信息安全。
OpenAI NewsAI 评分2525 ChatGPT 推进年龄预测与家长控制功能，打造更安全的青少年体验
OpenAI 在 ChatGPT 中开发年龄预测和家长控制功能，旨在为青少年提供更安全的交流环境，并支持家庭使用新工具。
OpenAI NewsAI 评分4242 OpenAI 新研究揭示语言模型幻觉原因
OpenAI 新研究发现，语言模型产生幻觉的原因，并提出改进评估方法以提升 AI 的可靠性、诚实性和安全性。
OpenAI NewsAI 评分3535 ChatGPT 加强青少年保护并优化用户体验
OpenAI 与专家合作，为 ChatGPT 引入家长控制功能，强化青少年保护，并将敏感对话路由至推理模型，提升用户体验。
OpenAI NewsAI 评分4040 OpenAI 模型规范：集体对齐与公众意见
OpenAI 对全球超过 1000 人进行 AI 行为调查，并与模型规范进行对比，以实现集体对齐，更好地反映人类价值观和观点。
OpenAI News精选AI 评分7070 OpenAI 与 Anthropic 分享联合安全评估结果
OpenAI 和 Anthropic 进行了首次联合安全评估，测试彼此的模型，探讨安全性和协作价值。
推荐理由：OpenAI 和 Anthropic 进行了首次联合安全评估，测试彼此的模型，探讨安全性和协作价值，对研究者和行业有参考意义。