Anthropic 开发开源系统 FlashProve，验证 AI 输出来源

PANews 11月4日消息，据IT之家报道，Anthropic正在开发一套名为FlashProve的开源系统，通过密码学证明验证某一AI输出究竟由哪个模型生成。该系统旨在实现“可证明推理”，为用户提供数学层面的保证，确认收到的答案确实来自其认为正在使用的模型，并抵御将一个模型伪装成另一个模型的行为。

FlashProve工作原理类似加密电子邮件签名，可为每个模型提供不泄露权重的“指纹”，之后与特定输出匹配验证。研究人员称，该系统有望防止AI公司暗中换用更便宜的模型，或企业换用更昂贵模型抬高测试结果，也可验证第三方关于某项任务由先进模型完成的声明。系统设计轻量化，用户可在本地设备完成验证。Anthropic已公布技术规范及可运行代码，代码已在GitHub以开源许可证公开。目前研究仍在进行，Anthropic尚未计划部署该系统。