Tavus 发布 Griffin 模型称视频通话中近半用户误认其为真人
AI 初创公司 Tavus 于 10 月 1 日推出名为 Griffin 的“人类交互模型”,其测试版本 Griffin-Lite 在一分钟视频通话后让 48%(26/54)的参与者误以为对方是真人,而旧系统这一比例仅为 2.4%。
AI 初创公司 Tavus 于 10 月 1 日推出名为 Griffin 的“人类交互模型”,其测试版本 Griffin-Lite 在一分钟视频通话后让 48%(26/54)的参与者误以为对方是真人,而旧系统这一比例仅为 2.4%。
Latent Space 发布对 Runway CTO Kamil Sindi、首席研究科学家 Robin Kahlow 及联合创始人 Anastasis Germanidis 的访谈,重点介绍了 GWM Worlds 2 中的 WorldPrompt 功能及其背后的实时交互模拟技术。
Meta在Connect 2026上推出Muse个人智能体,支持语音、实时视频及Mac电脑操作,并宣布其App Store排名超越ChatGPT。硬件方面发布售价1,299美元的Meta VR Glasses及FDA认证助听功能,12月将发货Charm钥匙扣设备。尽管预告了最强模型但未正式开源,仅通过WaveForms AI收购强化实时语音能力。
Google Research 推出的 AMIE (Video) 在真实视频临床咨询中展现出专家级表现,通过多代理架构和视听感知,实现了对非言语临床线索的感知、虚拟体格检查的引导和实时诊断推理。
推荐理由:AMIE (Video) 在真实视频临床咨询中展现出专家级表现,为医疗AI向视听临床AI的转变提供了重要里程碑。
Google DeepMind 发布 Veo 3.1 Ingredients to Video 更新,提升了基于参考图像生成视频的角色与背景一致性,并支持原生 9:16 垂直视频输出及 1080p/4K 分辨率升级。
推荐理由:官方详细说明了 Veo 3.1 在角色一致性、垂直原生输出及高分辨率升级上的具体改进,并明确了各平台入口。
OpenAI 推出视频生成模型 Sora 2,具备同步对话和音效功能。Sora 产品已不再可用。
TimeScope 是一个开源的评测基准,用于衡量视觉-语言模型理解长视频的能力。通过在视频中插入短视频片段,评估模型在局部检索、信息综合和细粒度时间感知方面的能力。
推荐理由:TimeScope 评测基准揭示了当前视频大模型在理解长视频方面的不足,为模型训练和评估提供了新的视角。
本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
推荐理由:本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
Google 发布了 SigLIP 2,这是一种改进的多语言视觉语言编码器,具有更好的语义理解、定位和密集特征。SigLIP 2 模型在所有模型规模的核心能力方面优于旧的 SigLIP 模型,包括零样本分类、图像-文本检索和提取视觉表示时的迁移性能。
推荐理由:SigLIP 2 模型在多语言视觉语言编码方面取得了显著进步,读者可以了解其新功能和性能提升。
Hugging Face 推出视频生成数据集工具,包括视频下载、分割、预处理和过滤等功能,旨在帮助社区构建高质量视频数据集,用于微调视频生成模型。该工具支持使用yt-dlp下载视频,通过Video to Scenes脚本将长视频分割成短片段,并提供了多种过滤选项,如水印检测、美学评分、NSFW内容检测等。此外,还支持使用 Florence-2 和 Qwen2.5 等模型进行视频标注和OCR识别。
Hugging Face发布了AI艺术工具新闻简报第1期,回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,包括开源模型、图像生成、视频生成、音频生成和文本生成等领域的进展。
推荐理由:本文回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,读者可以了解AI艺术领域的最新动态和未来方向。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 上线供用户使用。该模型支持生成最高 1080p 分辨率、最长 20 秒的视频,并涵盖宽屏、竖屏和方形三种宽高比。用户既可以上传现有素材进行扩展、混剪或融合,也可以完全通过文本提示词生成全新内容。
推荐理由:官方宣布 Sora 开放使用,明确了分辨率、时长及多比例生成能力,为创作者提供了具体的技术规格参考。
电影制作人 Lyndon Barrois 分享了将 Sora 作为叙事工具的具体使用方法。他描述了如何利用该模型构建新的视觉世界,展示了其在故事讲述中的应用潜力。
OpenAI 发布视频生成模型 Sora 的系统卡。Sora 支持文本、图像和视频输入以生成新视频,并基于 DALL-E 和 GPT 模型的经验构建,旨在为用户提供扩展的故事讲述与创意表达工具。
跨学科艺术家 Minne Atairu 探讨了 OpenAI 视频生成模型 Sora 如何帮助其实现艺术愿景。该文章聚焦于创作者利用 AI 工具拓展视觉表达边界的具体实践与思考。
电影制作组合 Vallée Duhamel 解释了 Sora 如何帮助构建新世界。该工具被用于辅助影视创作,通过生成视频内容支持创作者打造全新的视觉世界。
🤗 LeRobotDataset提出了一种轻量级、易于分享和可视化的数据集格式,通过视频编码技术将视觉模态数据集大小平均减少14%,同时保持良好的训练能力。该格式支持快速加载和播放视频帧,并兼容多种媒体播放器和浏览器。
OpenAI 自上月向全球推出 Sora 以来,一直与艺术家合作以探索该模型如何辅助其创作流程。
OpenAI 发布名为 Sora 的视频生成模型,该模型基于文本条件扩散架构,能够生成长达一分钟的高保真视频。研究指出,通过在可变时长、分辨率和宽高比的视频及图像数据上联合训练 Transformer 架构,扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。
推荐理由:原文阐述了Sora作为世界模拟器的技术路径,读者可据此理解大规模视频生成模型在物理世界模拟上的潜力。
本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,如Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo、Video Diffusion Models (VDM)、MagicVideo、Tune-a-Video、Video LDM、Text2Video-Zero、Runway Gen1和Gen2、NUWA-XL等。
推荐理由:本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,对了解该领域的发展具有重要意义。
OpenAI 通过微调 GPT-3 模型来支持并扩展“代劳式”(done-for-you)视频创作服务。该方案旨在利用大语言模型的生成能力,实现视频内容的规模化自动生产。
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。