smolagents 支持视觉语言模型，解锁视觉语言模型在智能体管道中的原生使用
smolagents 添加了视觉支持，使视觉语言模型在智能体管道中能够原生使用，解锁了在智能体中实现自主网页浏览等功能；通过两种方式传递图像给智能体，包括在启动时一次性传递图像列表以及在每个步骤中动态添加图像；使用 helium 和 selenium 等工具构建网页浏览智能体。
#现象/趋势
#现象/趋势
今日 5 条Hugging Face BlogAI 评分4242
Hugging Face BlogAI 评分4545 Hugging Face 推出 Synthetic Data Generator：无需代码构建自定义数据集
Hugging Face 推出 Synthetic Data Generator，一款无需代码即可创建自定义数据集的应用。该工具支持文本分类和聊天数据集，通过简单的三步流程，用户可在几分钟内创建数据集和模型。此外，用户还可以通过 Argilla 和 Hugging Face Hub 进行数据集的探索和评估。
Hugging Face BlogAI 评分5050 Hugging Face 社区发布开源文本到图像生成偏好数据集
Hugging Face 社区发布 Apache 2.0 许可的文本到图像生成偏好数据集，包含不同模型家族和复杂度的文本到图像偏好对，数据集可在 Hugging Face Hub 和 GitHub 仓库找到。
Hugging Face BlogAI 评分4545 Hugging Face 模型在 Amazon Bedrock 上的应用
Hugging Face 推出的 83 个开源模型现已可在 Amazon Bedrock 的 Bedrock Marketplace 上使用，支持 AWS 客户构建生成式 AI 应用。用户可通过 Bedrock Model Catalog 部署模型，如 Google Gemma 2 27B Instruct，并使用 Amazon Bedrock API 进行调用。
Mistral AIAI 评分3535 Mistral Batch API发布，降低AI应用成本50%
Mistral AI推出Batch API，以50%低于同步API调用的成本，高效处理大量请求。适用于数据量优先的AI应用，如客户反馈分析、文档摘要和翻译、向量嵌入等。API适用于所有Mistral模型，并即将在云服务合作伙伴推出。
Hugging Face BlogAI 评分4545 Hugging Face Expert Support项目：利用LLM构建农业智能聊天机器人
Hugging Face Expert Support项目与Digital Green合作，利用LLM构建名为Farmer.chat的农业智能聊天机器人，为农民提供个性化、可靠的农业建议。该系统采用RAG技术，结合GPT-4o等模型，通过每周的LLM评估会议优化性能，目前已服务超过20,000名农民，处理340,000个查询。
Hugging Face BlogAI 评分4747 CinePile 2.0：利用对抗性精炼提升数据集质量
Hugging Face 发布了 CinePile 2.0，这是一个经过显著改进的长视频问答数据集。新数据集的改进依赖于一种新的对抗性数据集精炼方法，该方法可增强现有数据集并直接应用于未来数据集创建流程。CinePile 2.0 包含约 300,000 个训练样本和 5,000 个测试样本，其问题多样性和难度均优于现有数据集。
Hugging Face BlogAI 评分3737 Llama 3.2 在 Keras 中的使用
Llama 3.2 已于两周前在 Hugging Face / Transformers 上线，可直接在 Keras 中使用，支持多种后端，包括 JAX、PyTorch 和 TensorFlow。Keras 提供了丰富的预训练模型，包括 Llama3、Gemma、StableDiffusion 等，并内置了 tokenizer，方便用户进行模型训练和推理。
Hugging Face BlogAI 评分3232 Hugging Face Transformers 更新：解决梯度累积问题
Hugging Face 的 Transformers 团队迅速响应了关于梯度累积问题的报告，通过更新代码和发布修复，确保了在梯度累积过程中损失计算的准确性。此外，团队还开放了 API，允许用户直接传递自定义损失函数，以增强模型的灵活性和适应性。
Hugging Face Blog精选AI 评分6060 中国AI公司海外扩张：趋势与挑战
中国AI公司在海外市场加速扩张，尤其是科技巨头如华为、腾讯、阿里巴巴等在云计算和AI基础设施领域的布局。文章分析了这一现象背后的原因，包括国内市场竞争加剧、政策环境和投资环境的变化，以及海外市场的机遇。
推荐理由：文章探讨了中资科技巨头在海外市场的扩张，特别是AI领域的布局，对于了解中国AI行业发展趋势有重要意义。
Hugging Face BlogAI 评分4040 Hugging Face Daily Papers 页面功能探索
Hugging Face Daily Papers 页面自推出以来，已收录超过 3,700 篇论文，拥有超过 12k 订阅者。该页面提供作者论文认领、论文提交、与作者互动、相关资源链接、点赞推荐、相似论文推荐、多语言评论和翻译、订阅等功能，旨在帮助开发者、研究人员及时了解 AI 领域最新研究进展。
Hugging Face BlogAI 评分4242 HuggingChat 推出社区工具功能，赋能模型直接使用
HuggingChat 推出社区工具功能，允许用户将 HuggingFace 上的任何 Space 转换为模型可用的工具，支持图像理解、视频生成和文本语音模型等功能。用户可创建自定义工具或使用社区工具增强助手，目前该功能处于实验阶段。
OpenAI NewsAI 评分3030 OpenAI 发布《将 AI 用于工作：数百次成功部署的经验教训》
OpenAI 发布报告，总结数百次AI成功部署案例，强调模型与业务需求匹配、数据质量及模型可解释性为关键成功因素。
Hugging Face BlogAI 评分3535 Hugging Face Hub 五大被低估的工具
Hugging Face Hub 拥有超过 850K 个公共模型，每月新增约 50k 个。本文介绍了五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas，它们可以帮助用户更轻松地构建各种 AI 解决方案。这些工具中的 ZeroGPU 提供免费 GPU 访问，适用于需要偶尔进行推理的场景。
Hugging Face BlogAI 评分4040 Infini-Attention实验失败：为何我们仍需探索？
Google研究人员发布的Infini-Attention实验表明，随着压缩内存次数的增加，其性能会下降。尽管如此，Ring Attention、YaRN和rope scaling仍然是扩展预训练模型到更长上下文长度的最佳方法。实验中，研究人员尝试将Llama 3 8B的上下文长度从8k扩展到1百万，但遇到了挑战。
Hugging Face BlogAI 评分3535 ggml：轻量级Transformer推理库入门指南
ggml是一个专注于Transformer推理的轻量级机器学习库，由C和C++编写，开源且由日益增长的社区积极开发。它具有最小化、易于编译、轻量级、良好的兼容性等特点，支持量化张量，内存效率极高。ggml适用于开发者入门，但需要深入了解底层编程。本文介绍了ggml的基本概念和基本用法，为后续学习和开发打下基础。
OpenAI NewsAI 评分3030 OpenAI 与 Rakuten 联合，利用 AI 解锁客户洞察与价值
OpenAI 与 Rakuten 合作，通过数据与 API 的结合，利用 AI 技术深入挖掘客户洞察，提升客户价值。
Hugging Face BlogAI 评分4040 Hugging Face 推出 TextImage 数据增强技术，助力文档图像模型训练
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强技术，旨在提高文档图像模型训练效果。该技术通过同时增强图像和文本，确保文本和图像在训练过程中的互动，从而提升模型对文档图像的识别准确率。TextImage 可用于在图像上插入文本，生成合成数据，并支持多种文本增强方法，如随机删除、替换和插入停用词等。
Hugging Face BlogAI 评分4242 Hugging Face Diffusers 库中的 Quanto 工具提升 Transformer-based Diffusion 模型内存效率
Hugging Face 的 Diffusers 库利用 Quanto 工具，通过量化技术显著提升了 Transformer-based Diffusion 模型的内存效率，例如 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 模型，在保持几乎无质量损失的情况下，内存使用量减少了约 30%。
Hugging Face BlogAI 评分4040 LAVE：基于LLM的零样本VQA评估在Docmatix上的应用——我们是否还需要微调？
Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估，发现微调模型在DocVQA上的表现良好，但在基准测试中得分较低。研究提出了LAVE（LLM-Assisted VQA Evaluation）评估指标，以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明，LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。
OpenAI NewsAI 评分3535 SearchGPT：OpenAI 新搜索功能原型
OpenAI 测试了 SearchGPT，这是一个新搜索功能原型，提供快速、及时且来源清晰的答案。
OpenAI NewsAI 评分3030 Prover-Verifier Games 提升语言模型输出可读性的 OpenAI 研究
OpenAI 的研究显示，Prover-Verifier Games 可以提升语言模型输出的可读性，使 AI 解决方案更清晰、易于验证，并提高人类和机器的信任度。
Hugging Face BlogAI 评分3535 如何利用 distilabel 创建 Argilla 2.0 聊天机器人
Hugging Face 博客介绍了如何利用 distilabel 和微调特定领域嵌入模型来创建一个既准确又吸引人的对话模型，用于理解和与用户交流技术文档。文章详细阐述了创建 Argilla 2.0 聊天机器人的过程，包括从技术文档生成合成数据集、创建向量数据库、部署聊天机器人到 Hugging Face Space，并存储交互以持续评估和改进。
Hugging Face BlogAI 评分4545 Hugging Face Hub 与 KerasHub 集成，扩展模型选择和功能
Hugging Face Hub 与 KerasHub 集成，支持 300K+ Transformer 模型，包括 Gemma、Llama 3 和 PaliGemma，用户可使用 KerasHub 训练和微调模型，并上传回 Hub。集成支持 TensorFlow、JAX 和 PyTorch 后端，方便模型部署和迁移。
Hugging Face BlogAI 评分4545 TRL 库支持视觉语言模型直接偏好优化 (DPO)
Hugging Face 的 TRL 库新增支持视觉语言模型直接偏好优化 (DPO)，简化了模型训练过程，并提高了预测准确性。该库使用 openbmb/RLAIF-V-Dataset 数据集，支持 Idefics2-8b 模型，并可通过内存优化技术适应不同硬件配置。
Hugging Face BlogAI 评分4040 Hugging Face Dataset Hub 探索自动 PII 检测功能：Presidio 报告
Hugging Face Dataset Hub 推出 Presidio 自动 PII 检测工具，帮助用户识别数据集中的个人隐私信息，提升机器学习模型的隐私保护。Presidio 报告可帮助用户了解数据集中 PII 的存在情况，从而做出更明智的决策。
Hugging Face BlogAI 评分4040 Hugging Face 与 Polyconseil 合作，利用 RAG 解决方案优化法国环境项目
Hugging Face 与 Polyconseil 合作，利用 RAG 解决方案优化法国环境项目 EduRénov，旨在通过数据主权和性能保障，简化、支持并资助公共学校建筑的能源改造。该方案旨在提高 Banque des Territoires 对社区的支持响应速度，并确保计算服务和模型使用的自主权。
Hugging Face BlogAI 评分4242 Hugging Face Dataset Hub 发布四项新功能，提升数据集搜索体验
Hugging Face Dataset Hub 推出四项新功能，包括按模态、大小、格式和库搜索数据集，提升数据集的可发现性和可视化，方便用户找到适合其用例的数据集。
OpenAI NewsAI 评分4040 GPT-4 模型 CriticGPT：辅助人类训练师发现 ChatGPT 响应中的错误
OpenAI 推出的 CriticGPT 模型基于 GPT-4，用于生成对 ChatGPT 响应的批评，帮助人类训练师在强化学习与人类反馈（RLHF）过程中识别错误。
Hugging Face BlogAI 评分4545 Hugging Face Data Is Better Together 创新项目回顾与展望
Hugging Face 与 Argilla 合作，推动开源社区共同创建有影响力的数据集。项目包括创建 10K 个提示词数据集、多语言提示评估项目（MPEP）等，旨在解决语言、领域和任务数据不平衡问题。社区积极参与，项目成果显著，鼓励更多贡献者加入。
Hugging Face BlogAI 评分4040 Hugging Face Expert Support Program 助力 Prezi 加速机器学习路线图
Prezi 加入 Hugging Face Expert Support Program，利用开源模型优化机器学习工作流程，通过多模态模型提升演示效果。专家团队协助 Prezi 在嵌入、重排序和目标检测等方面应用最佳实践和前沿模型，加速机器学习项目。
Hugging Face BlogAI 评分4545 Hugging Face Accelerate 中的 DeepSpeed 与 FSDP：差异与融合
Hugging Face Accelerate 提供了 DeepSpeed 和 PyTorch FSDP 两种 ZeRO 算法实现，本文探讨了两者在精度、混合精度处理和内存消耗方面的差异。
OpenAI NewsAI 评分2020 OpenAI 探索语音引擎技术及安全研究
OpenAI 深入研究其文本到语音模型背后的技术，并持续进行安全研究，以提升模型性能和安全性。
Hugging Face BlogAI 评分4242 Hugging Face Transformers 文档全面改版，面向开发者构建 AI 产品
Hugging Face 宣布对 Transformers 文档进行全面改版，旨在为开发者提供更易用的 AI 产品构建指南。新版本将更注重代码示例和解决方案，同时采用更灵活的结构，以适应不断发展的 AI 技术和应用场景。
OpenAI NewsAI 评分3737 GPT-4 自动识别 1600 万计算模式
OpenAI 利用新技术对稀疏自编码器进行扩展，自动从 GPT-4 中识别出 1600 万种计算模式。
Mistral AIAI 评分1515 Mistral AI 举办 Mistral Fine-tuning Hackathon
Mistral AI 于 2024 年 6 月 5 日至 30 日举办 Mistral Fine-tuning Hackathon，参与者可使用 Mistral 的微调 API 展示项目，奖品包括 €2,500 的 Mistral API 信用额度。参赛者需在 La Platforme 上注册并完成付款详情，以获取免费信用额度。提交的项目需包含代码链接、项目描述和不超过 2 分钟的视频演示。
Hugging Face BlogAI 评分4242 Hugging Face 优化 Intel Gaudi，加速文本生成
Hugging Face 对 Intel Gaudi 进行优化，采用 Speculative Sampling 和 Assisted Generation 技术加速文本生成，在大型 Transformer 模型上实现约 2 倍速度提升，并支持在 Hugging Face Transformers 中使用。
OpenAI NewsAI 评分3232 ChatGPT 数据分析功能升级：交互表格图表，直接添加 Google Drive 和 Microsoft OneDrive 文件
OpenAI 对 ChatGPT 进行了数据分析功能升级，用户现在可以与表格和图表进行交互，并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现Whisper语音识别模型的多功能部署
Hugging Face Inference Endpoints 支持Whisper语音识别模型，通过自定义推理处理程序，实现自动语音识别（ASR）、说话人分割和推测解码等功能。该方案采用模块化设计，支持多种用例，并使用Pyannote模型进行说话人分割，通过推测解码提高推理速度。用户可通过API调用创建端点，并部署到Inference Endpoints上。
Hugging Face BlogAI 评分4545 Hugging Face 探索提升提示词一致性的方法
Hugging Face 的 Leaderboards and Evals 研究团队发现，LLM 的基准性能与提示词格式密切相关。他们通过实验发现，模型在相同输入信息下，输出结果对提示词格式的微小变化极为敏感。为了提高提示词的一致性，Hugging Face 与 Dottxt 合作，探索了通过结构化生成来约束模型输出，以减少提示词格式变化带来的影响。