跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

9条精选相关主题多模态AI 视频产品更新

最新精选

第 1–9 条 · 共 9 条
8月21日周五
  1. Hugging Face Blog62

    语音识别基准优化测量

    研究人员通过实验发现,一些语音识别模型在基准测试中表现出优化行为,即通过学习基准特定的模式来提高分数,而非真正提升识别能力。

    推荐理由:原文通过实验揭示了语音识别模型在基准测试中的优化行为,对模型选择和评估有重要参考价值。

8月12日周三
  1. Google Research85

    Google Research 推进 AMIE 向专家级视听临床咨询发展

    Google Research 推出的 AMIE (Video) 在真实视频临床咨询中展现出专家级表现,通过多代理架构和视听感知,实现了对非言语临床线索的感知、虚拟体格检查的引导和实时诊断推理。

    推荐理由:AMIE (Video) 在真实视频临床咨询中展现出专家级表现,为医疗AI向视听临床AI的转变提供了重要里程碑。

7月1日周三
4月16日周四
3月26日周四
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其最高质量的音频和语音模型,旨在提供更自然、低延迟的实时对话体验。该模型在 ComplexFuncBench Audio 上获得 90.8% 的分数,并在 Scale AI 的 Audio MultiChallenge 中取得 36.1% 的成绩,显著提升了多步函数调用和长程推理能力。

    推荐理由:原文给出了新模型在音频基准测试中的具体得分以及多语言实时对话能力的开放范围,读者可以据此评估其在构建复杂语音智能体时的实际性能提升。

2月19日周四
  1. Google DeepMind65

    Gemini 应用推出 Lyria 3 音乐生成功能

    Gemini 应用现已集成 Google DeepMind 最新的音乐生成模型 Lyria 3,用户可通过文本描述或上传图片在几秒钟内生成 30 秒的高质量音乐片段。

    推荐理由:Gemini 应用集成 Lyria 3 模型,支持从文本或图片生成带歌词的 30 秒音乐,并嵌入 SynthID 水印以增强 AI 内容可识别性。

1月14日周三
  1. Google Research73

    Google Research 发布 MedGemma 1.5 4B 与 MedASR 医疗语音识别模型

    Google Research 发布开源医疗生成式 AI 模型 MedGemma 1.5 4B 和医疗自动语音识别模型 MedASR。

    推荐理由:原文给出了 MedGemma 1.5 4B 在 CT、MRI 及病理图像上的具体精度提升数据,以及 MedASR 相比 Whisper large-v3 的医疗听写错误率降低幅度,为开发者评估模型能力边界提供了量化依据。

11月19日周三
  1. Google Research85

    谷歌研究:实时语音到语音翻译

    谷歌研究发布了一种新的实时语音到语音翻译技术,该技术通过直接生成翻译音频,实现了与原始说话者声音的实时翻译,延迟仅为2秒。

    推荐理由:原文介绍了实时语音到语音翻译技术的创新,读者可以了解该技术如何改善跨语言沟通。

12月20日周五
  1. Hugging Face Blog70

    Big Bench Audio:语音推理能力评估研究

    Hugging Face 发布了 Big Bench Audio 数据集,用于评估语音语言模型的推理能力,并对比了 GPT-4o 和 Gemini 1.5 系列模型在不同语音推理配置下的表现。

    推荐理由:该研究评估了语音推理能力,揭示了文本推理和语音推理之间的性能差距,为语音智能体的发展提供了重要参考。