OpenAI推出GPT-Live-1.1,新增六种语言语音并改善口音表现
OpenAI发布GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语及日语语音,改善口音表现,减少过渡性提示,更新ChatGPT、Codex及dots的语音功能,API支持即将上线。
OpenAI发布GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语及日语语音,改善口音表现,减少过渡性提示,更新ChatGPT、Codex及dots的语音功能,API支持即将上线。
PolyAI首席技术官Shawn Wen认为,尽管全双工模型已发布,但语音AI尚未达到ChatGPT时刻。他认为,语音AI的下一个挑战是快速推理,以便模型能快速获取答案,使对话更自然。他还强调,客户服务中的AI智能体不应听起来像机器人,并应给呼叫者足够的信心,相信他们可以解决问题。
AI 音乐生成器 Suno 推出新功能 Speech,能根据用户输入的文本和风格描述,同步生成人声与匹配的背景音乐。该功能目前处于 Beta 阶段,适用于诗歌、冥想等场景,但存在口音识别错误等 Bug。
Hugging Face推出Open TTS Leaderboard,旨在为开源多语言语音合成和声音克隆提供可扩展评估。该排行榜使用客观指标评估模型的可懂度、速度和说话人相似度,旨在补充基于人类偏好的排行榜,并促进社区参与和反馈。
Meta在Connect 2026上推出Muse个人智能体,支持语音、实时视频及Mac电脑操作,并宣布其App Store排名超越ChatGPT。硬件方面发布售价1,299美元的Meta VR Glasses及FDA认证助听功能,12月将发货Charm钥匙扣设备。尽管预告了最强模型但未正式开源,仅通过WaveForms AI收购强化实时语音能力。
研究人员通过实验发现,一些语音识别模型在基准测试中表现出优化行为,即通过学习基准特定的模式来提高分数,而非真正提升识别能力。
推荐理由:原文通过实验揭示了语音识别模型在基准测试中的优化行为,对模型选择和评估有重要参考价值。
Google Research 推出的 AMIE (Video) 在真实视频临床咨询中展现出专家级表现,通过多代理架构和视听感知,实现了对非言语临床线索的感知、虚拟体格检查的引导和实时诊断推理。
推荐理由:AMIE (Video) 在真实视频临床咨询中展现出专家级表现,为医疗AI向视听临床AI的转变提供了重要里程碑。
Hugging Face 和 Cerebras 联合演示了一种开源、模块化的实时语音转语音(Speech-to-Speech)AI 架构。
推荐理由:展示了开源模块化语音架构与高速推理结合后的实时交互效果,为开发者提供了可复用的低延迟技术栈参考。
Google DeepMind 发布最新文本转语音模型 Gemini 3.1 Flash TTS,即日起在 Gemini API、Google AI Studio 和 Vertex AI 预览版中推出。
推荐理由:新模型引入自然语言音频标签以精细控制语速和风格,并在 Artificial Analysis 基准中取得高分,适合评估其在多语种场景下的表现力。
Google DeepMind 发布 Gemini 3.1 Flash Live,这是其最高质量的音频和语音模型,旨在提供更自然、低延迟的实时对话体验。该模型在 ComplexFuncBench Audio 上获得 90.8% 的分数,并在 Scale AI 的 Audio MultiChallenge 中取得 36.1% 的成绩,显著提升了多步函数调用和长程推理能力。
推荐理由:原文给出了新模型在音频基准测试中的具体得分以及多语言实时对话能力的开放范围,读者可以据此评估其在构建复杂语音智能体时的实际性能提升。
Google Research 推出 WAXAL,这是包含 27 种撒哈拉以南非洲语言的大规模开源语音数据集。该资源提供约 1,846 小时 ASR 转录音频和超过 565 小时 TTS 高保真录音,采用 CC-BY-4.0 许可。WAXAL 旨在解决数据稀缺问题,赋能非洲 AI 生态系统构建反映当地语言多样性的语音系统。
Gemini 应用现已集成 Google DeepMind 最新的音乐生成模型 Lyria 3,用户可通过文本描述或上传图片在几秒钟内生成 30 秒的高质量音乐片段。
推荐理由:Gemini 应用集成 Lyria 3 模型,支持从文本或图片生成带歌词的 30 秒音乐,并嵌入 SynthID 水印以增强 AI 内容可识别性。
Google Research 发布开源医疗生成式 AI 模型 MedGemma 1.5 4B 和医疗自动语音识别模型 MedASR。
推荐理由:原文给出了 MedGemma 1.5 4B 在 CT、MRI 及病理图像上的具体精度提升数据,以及 MedASR 相比 Whisper large-v3 的医疗听写错误率降低幅度,为开发者评估模型能力边界提供了量化依据。
谷歌研究发布了一种新的实时语音到语音翻译技术,该技术通过直接生成翻译音频,实现了与原始说话者声音的实时翻译,延迟仅为2秒。
推荐理由:原文介绍了实时语音到语音翻译技术的创新,读者可以了解该技术如何改善跨语言沟通。
ChatGPT 引入视觉与语音功能,支持团队处理多模态输入,提升沟通自然度。
Hugging Face 发布了 Big Bench Audio 数据集,用于评估语音语言模型的推理能力,并对比了 GPT-4o 和 Gemini 1.5 系列模型在不同语音推理配置下的表现。
推荐理由:该研究评估了语音推理能力,揭示了文本推理和语音推理之间的性能差距,为语音智能体的发展提供了重要参考。
OpenAI 与行业顶尖选角及导演专家合作,从超过 400 份提交中筛选出 ChatGPT 的 5 种语音。
OpenAI 分享了其自定义语音生成模型 Voice Engine 在小规模预览阶段所面临的挑战与机遇。该模型旨在创建定制化的合成语音,目前仅处于小范围测试状态。
针对 Wav2Vec2 在长音频上因注意力机制复杂度导致内存溢出问题,本文提出利用 CTC 架构特性实施带步长的分块推理。通过 `chunk_length_s` 参数对重叠音频块进行推理并丢弃边缘 logits,可在有限硬件下实现高质量自动语音识别。该方法同样适用于集成语言模型的增强版模型及实时推理场景。
🤗 Transformers 库现已集成 Kensho Technologies 的 pyctcdecode,支持将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合使用。该功能旨在解决纯 CTC 解码在拼写准确性上的不足,通过引入外部语言模型显著提升语音转写质量,尤其适用于训练数据较少(如仅 10 分钟音频)的场景。
Hugging Face 发布教程,演示如何使用 🤗 Transformers 微调 Wav2Vec2-XLS-R-300M 模型进行低资源自动语音识别。该模型基于 CTC 算法,在仅含约 4 小时验证数据的 Common Voice 数据集上训练,并使用词错误率(WER)评估性能。
Hugging Face 发布教程,演示如何使用 🤗 Transformers 库微调 Wav2Vec2 模型以执行英语自动语音识别。该流程基于 Connectionist Temporal Classification (CTC) 算法,无需语言模型即可实现端到端转录。