跳到正文

#语音

今日 0 条
10月16日周五
10月11日周日
  1. TechCrunch · AI40

    PolyAI CTO Shawn Wen:语音AI尚未达到ChatGPT时刻

    PolyAI首席技术官Shawn Wen认为,尽管全双工模型已发布,但语音AI尚未达到ChatGPT时刻。他认为,语音AI的下一个挑战是快速推理,以便模型能快速获取答案,使对话更自然。他还强调,客户服务中的AI智能体不应听起来像机器人,并应给呼叫者足够的信心,相信他们可以解决问题。

10月3日周六
9月30日周三
9月24日周四
8月21日周五
  1. Hugging Face Blog62

    语音识别基准优化测量

    研究人员通过实验发现,一些语音识别模型在基准测试中表现出优化行为,即通过学习基准特定的模式来提高分数,而非真正提升识别能力。

    推荐理由:原文通过实验揭示了语音识别模型在基准测试中的优化行为,对模型选择和评估有重要参考价值。

8月12日周三
  1. Google Research85

    Google Research 推进 AMIE 向专家级视听临床咨询发展

    Google Research 推出的 AMIE (Video) 在真实视频临床咨询中展现出专家级表现,通过多代理架构和视听感知,实现了对非言语临床线索的感知、虚拟体格检查的引导和实时诊断推理。

    推荐理由:AMIE (Video) 在真实视频临床咨询中展现出专家级表现,为医疗AI向视听临床AI的转变提供了重要里程碑。

7月1日周三
4月16日周四
3月26日周四
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其最高质量的音频和语音模型,旨在提供更自然、低延迟的实时对话体验。该模型在 ComplexFuncBench Audio 上获得 90.8% 的分数,并在 Scale AI 的 Audio MultiChallenge 中取得 36.1% 的成绩,显著提升了多步函数调用和长程推理能力。

    推荐理由:原文给出了新模型在音频基准测试中的具体得分以及多语言实时对话能力的开放范围,读者可以据此评估其在构建复杂语音智能体时的实际性能提升。

3月7日周六
2月19日周四
  1. Google DeepMind65

    Gemini 应用推出 Lyria 3 音乐生成功能

    Gemini 应用现已集成 Google DeepMind 最新的音乐生成模型 Lyria 3,用户可通过文本描述或上传图片在几秒钟内生成 30 秒的高质量音乐片段。

    推荐理由:Gemini 应用集成 Lyria 3 模型,支持从文本或图片生成带歌词的 30 秒音乐,并嵌入 SynthID 水印以增强 AI 内容可识别性。

1月14日周三
  1. Google Research73

    Google Research 发布 MedGemma 1.5 4B 与 MedASR 医疗语音识别模型

    Google Research 发布开源医疗生成式 AI 模型 MedGemma 1.5 4B 和医疗自动语音识别模型 MedASR。

    推荐理由:原文给出了 MedGemma 1.5 4B 在 CT、MRI 及病理图像上的具体精度提升数据,以及 MedASR 相比 Whisper large-v3 的医疗听写错误率降低幅度,为开发者评估模型能力边界提供了量化依据。

11月19日周三
  1. Google Research85

    谷歌研究:实时语音到语音翻译

    谷歌研究发布了一种新的实时语音到语音翻译技术,该技术通过直接生成翻译音频,实现了与原始说话者声音的实时翻译,延迟仅为2秒。

    推荐理由:原文介绍了实时语音到语音翻译技术的创新,读者可以了解该技术如何改善跨语言沟通。

4月8日周二
12月20日周五
  1. Hugging Face Blog70

    Big Bench Audio:语音推理能力评估研究

    Hugging Face 发布了 Big Bench Audio 数据集,用于评估语音语言模型的推理能力,并对比了 GPT-4o 和 Gemini 1.5 系列模型在不同语音推理配置下的表现。

    推荐理由:该研究评估了语音推理能力,揭示了文本推理和语音推理之间的性能差距,为语音智能体的发展提供了重要参考。

5月20日周一
3月29日周五
2月1日周二
  1. Hugging Face Blog36

    如何在 Hugging Face Transformers 中利用 Wav2Vec2 和 CTC 架构处理长音频语音识别

    针对 Wav2Vec2 在长音频上因注意力机制复杂度导致内存溢出问题,本文提出利用 CTC 架构特性实施带步长的分块推理。通过 `chunk_length_s` 参数对重叠音频块进行推理并丢弃边缘 logits,可在有限硬件下实现高质量自动语音识别。该方法同样适用于集成语言模型的增强版模型及实时推理场景。

1月12日周三
  1. Hugging Face Blog45

    Hugging Face Transformers 支持结合 n-gram 语言模型提升 Wav2Vec2 语音识别效果

    🤗 Transformers 库现已集成 Kensho Technologies 的 pyctcdecode,支持将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合使用。该功能旨在解决纯 CTC 解码在拼写准确性上的不足,通过引入外部语言模型显著提升语音转写质量,尤其适用于训练数据较少(如仅 10 分钟音频)的场景。

11月15日周一
3月12日周五