TypeSafe AI发布Jev 1.14,新增图像及边界框功能、上下文扩至4倍
TypeSafe AI发布Jev 1.14模型,新增图像输入和边界框数据类型,上下文容量扩大至4倍,现有模型获得多模态能力,新功能为实验性预览。
TypeSafe AI发布Jev 1.14模型,新增图像输入和边界框数据类型,上下文容量扩大至4倍,现有模型获得多模态能力,新功能为实验性预览。
阿里巴巴通义千问团队开源了图像生成模型Qwen-Image-2.1-Turbo,基于70亿参数架构,支持2K图像生成和自然语言编辑,权重已在Hugging Face和ModelScope开放。
Napster 联合创始人 Sean Parker 正带领 Stability AI 转向音乐领域,并强调此次将遵循行业规则。两年前他参与了该公司 8000 万美元的救援行动,目前他与 CEO Prem Akkaraju 正在展示这一新方向下的产品布局。
Google Research 发布了 Diffusion Controller 框架,该框架通过数学控制与图像生成模型的结合,简化了 AI 图像生成过程,提高了图像生成质量并满足用户需求。
推荐理由:Diffusion Controller 框架通过数学控制与图像生成模型的结合,为图像生成过程提供了统一的控制方法,有助于提高图像生成质量并满足用户需求。
Google Research 推出的 AMIE (Video) 在真实视频临床咨询中展现出专家级表现,通过多代理架构和视听感知,实现了对非言语临床线索的感知、虚拟体格检查的引导和实时诊断推理。
推荐理由:AMIE (Video) 在真实视频临床咨询中展现出专家级表现,为医疗AI向视听临床AI的转变提供了重要里程碑。
Google Research 发布论文,深入探讨了扩散模型创造力的来源,揭示了神经网络训练过程中的数学原理,并展示了如何通过调整训练过程来提高模型的创造力。
推荐理由:原文深入探讨了扩散模型创造力的来源,揭示了神经网络训练过程中的数学原理,对理解扩散模型的工作机制具有重要意义。
PRX 通过混合公共与内部数据集,并利用 VLM 重新生成图像长描述来构建预训练语料。该策略支持 7B 模型训练,采用 Lance 进行特征工程、MDS 用于流式训练,并实时计算 Qwen3-VL 文本潜变量以优化存储与灵活性。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(即 Gemini 3.1 Flash Image),旨在以 Flash 速度提供接近 Pro 级别的智能与视觉质量。
推荐理由:原文说明了新模型在保持 Flash 速度的同时引入了 Pro 级的世界知识与主体一致性,并给出了在各产品线的具体开放入口。
本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
推荐理由:本文全面概述了视觉语言模型(VLM)的最新进展,包括新模型趋势、推理模型、小型模型、混合专家解码器、视觉语言动作模型、专用能力、多模态安全模型、多模态RAG、多模态智能体、视频语言模型、新的对齐技术和新的基准,为读者提供了深入了解VLM领域的窗口。
Google 发布了 SigLIP 2,这是一种改进的多语言视觉语言编码器,具有更好的语义理解、定位和密集特征。SigLIP 2 模型在所有模型规模的核心能力方面优于旧的 SigLIP 模型,包括零样本分类、图像-文本检索和提取视觉表示时的迁移性能。
推荐理由:SigLIP 2 模型在多语言视觉语言编码方面取得了显著进步,读者可以了解其新功能和性能提升。
Hugging Face发布了AI艺术工具新闻简报第1期,回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,包括开源模型、图像生成、视频生成、音频生成和文本生成等领域的进展。
推荐理由:本文回顾了2024年AI在艺术领域的里程碑和突破,并展望了2025年的发展趋势,读者可以了解AI艺术领域的最新动态和未来方向。
🤗 LeRobotDataset提出了一种轻量级、易于分享和可视化的数据集格式,通过视频编码技术将视觉模态数据集大小平均减少14%,同时保持良好的训练能力。该格式支持快速加载和播放视频帧,并兼容多种媒体播放器和浏览器。
OpenAI 推出 Consistency Models,旨在解决扩散模型因迭代采样导致的生成速度慢问题。该模型通过一致性约束实现快速图像、音频及视频生成,无需依赖传统扩散模型的逐步去噪过程。
Canva 正在创建由 AI 驱动的 Magic Studio。该平台拥有超过 1.75 亿月活跃用户,通过易用界面、庞大素材库及省时工具,帮助缺乏设计训练的知识工作者制作演示文稿、视频和社交媒体图形等视觉内容。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。官方表示已开发安全缓解技术栈以支持更广泛的发布,并分享了关于内容溯源研究的最新进展。
Hugging Face 博客介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力,包括图像变体和图像修复。
推荐理由:介绍了如何使用开源模型 IF 在免费 Google Colab 上运行,并展示了其在图像生成方面的能力。
CLIPSeg,一款零样本图像分割模型,使用🤗 transformers,可创建粗略分割掩码,适用于机器人感知、图像修复等多种任务。该模型基于CLIP模型,通过Transformer解码器实现零样本分割,支持视觉提示功能,但输出分辨率较低。若需更精确的分割,可使用Segments.ai等工具进行微调。
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型,它使用离散潜在空间进行噪声和去噪过程,为图像生成领域带来了新的研究方向。
推荐理由:VQ-Diffusion 是一种新颖的图像生成模型,其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。
OpenAI 宣布 DALL·E API 即日起进入公测阶段。开发者现在可以开始使用 DALL·E API 构建应用程序。
OpenAI 宣布 DALL·E 现已取消等待名单,新用户可直接开始创建图像。官方指出,部署过程中积累的经验以及安全系统的改进使得更广泛的可用性成为可能。
推荐理由:官方宣布取消排队机制并开放新用户直接使用,结合安全系统改进说明了扩大可用性的背景。
DALL·E 正式引入 outpainting 功能,支持生成任意尺寸的图像。该更新旨在扩展创作边界,帮助用户讲述更宏大的视觉故事。
OpenAI 宣布将 DALL·E 2 的访问权限扩展至一百万人,并计划在未来几周内逐步增加名额。新加入的用户每月可获得 100 个免费积分用于生成图像,超出部分需付费购买额外积分。由于需求巨大,目前仍有数百万人在等待列表中,系统将根据申请顺序陆续发放邀请。
推荐理由:官方宣布 DALL·E 2 向百万用户开放,提供了具体的使用额度与等待队列机制,有助于了解早期商业化落地细节。
OpenAI 为 DALL·E 实施新技术,使其生成的人物图像更准确反映世界人口多样性。该更新旨在减少模型偏见并提升安全性。
DALL·E 2 研究预览阶段,来自 118 个国家的 3000 多名艺术家已将 DALL·E 融入其创意工作流。这些早期访问用户协助发现了 DALL·E 的新用途,并在功能决策中发挥了关键作用。
OpenAI 在 DALL·E 2 中实施多种防护措施,以降低强大图像生成模型的风险。这些措施旨在防止生成的图像违反内容政策,从而支持向更广泛受众分享该模型。
Hugging Face 博客深入解析去噪扩散概率模型(DDPM)的原理,并基于 Phil Wang 的实现提供分步 PyTorch 代码教程。文章涵盖前向加噪、反向去噪过程、U-Net 架构细节及训练采样流程,最后列举了 DALL-E 2 等后续改进工作。
推荐理由:文章逐步拆解了 DDPM 的数学原理与 PyTorch 实现,提供了从噪声调度到 U-Net 构建的完整代码示例。
DALL·E 2 研究预览版已生成超 300 万张图片,并据此优化了安全流程。OpenAI 计划每周从等待名单中新增最多 1,000 名用户以扩大测试范围。
本教程演示如何利用 🤗 transformers 库微调 SegFormer 模型,以构建披萨配送机器人的视觉系统。通过加载 segments/sidewalk-semantic 数据集并应用 ColorJitter 数据增强,模型能精准识别人行道像素。SegFormer 采用无位置编码的分层 Transformer 编码器,在多个基准测试中达到 SOTA 性能。
Hugging Face datasets 库新增图像特征类型,支持结合 sentence_transformers 和 faiss 构建图像搜索应用。该方案利用 ImageFolder loader 加载大英图书馆数字化书籍插图数据集,通过添加 faiss 索引实现高效相似性检索,解决了传统文本数据主导的局限。
Hugging Face 演示如何利用 🤗 datasets 加载 beans 数据集,并基于 google/vit-base-patch16-224-in21k 模型微调 Vision Transformer (ViT) 以执行图像分类任务。
OpenAI 推出 Image GPT,证明在像素序列上训练的大型 Transformer 模型可生成连贯的图像补全和样本。该研究建立了样本质量与图像分类准确率之间的相关性,显示其最佳生成模型在无监督设置下具备可与顶级卷积网络相竞争的特征提取能力。