smolagents 支持视觉语言模型,解锁视觉语言模型在智能体管道中的原生使用
smolagents 添加了视觉支持,使视觉语言模型在智能体管道中能够原生使用,解锁了在智能体中实现自主网页浏览等功能;通过两种方式传递图像给智能体,包括在启动时一次性传递图像列表以及在每个步骤中动态添加图像;使用 helium 和 selenium 等工具构建网页浏览智能体。
smolagents 添加了视觉支持,使视觉语言模型在智能体管道中能够原生使用,解锁了在智能体中实现自主网页浏览等功能;通过两种方式传递图像给智能体,包括在启动时一次性传递图像列表以及在每个步骤中动态添加图像;使用 helium 和 selenium 等工具构建网页浏览智能体。
Hugging Face 对 Open LLM 排行榜上的 3000 多个模型进行了碳排放评估,分析了模型推理过程中的碳排放,并探讨了社区微调模型在降低碳排放方面的优势。
推荐理由:分析了开源语言模型在推理过程中的碳排放,揭示了社区微调和官方模型之间的差异,为模型创建者提供了性能与环保平衡的参考。
Technology Innovation Institute 发布了 Falcon3 模型家族,包括多个参数量小于 10 亿的解码器大型语言模型,强调科学、数学和代码能力。
推荐理由:Falcon3 模型家族的发布展示了其在科学、推理和通用知识能力方面的提升,读者可以了解其性能和潜力。
"Hugging Face 在 GCP 的 N2 和 C4 Xeon CPU 实例上对文本嵌入和文本生成进行了基准测试,结果显示 C4 在文本嵌入和文本生成方面比 N2 高 10 到 24 倍和 2.3 到 3.6 倍,同时 C4 的每小时价格是 N2 的 1.3 倍,表明 C4 在文本嵌入和文本生成方面具有 7 到 19 倍和 1.7 到 2.9 倍的 TCO 优势。"
Hugging Face 推出 Synthetic Data Generator,一款无需代码即可创建自定义数据集的应用。该工具支持文本分类和聊天数据集,通过简单的三步流程,用户可在几分钟内创建数据集和模型。此外,用户还可以通过 Argilla 和 Hugging Face Hub 进行数据集的探索和评估。
LeMaterial 是由 Entalpic 和 Hugging Face 领导的开源项目,旨在简化并加速材料研究,提供了一个统一的材料数据集 LeMat-Bulk,包含 670 万条条目和 7 个材料属性,以促进材料科学领域的研究。
推荐理由:LeMaterial 提供了一个统一的材料数据集,有助于加速材料研究和机器学习模型的训练,对材料科学领域的研究者具有参考价值。
Hugging Face 社区发布 Apache 2.0 许可的文本到图像生成偏好数据集,包含不同模型家族和复杂度的文本到图像偏好对,数据集可在 Hugging Face Hub 和 GitHub 仓库找到。
Hugging Face 推出的 83 个开源模型现已可在 Amazon Bedrock 的 Bedrock Marketplace 上使用,支持 AWS 客户构建生成式 AI 应用。用户可通过 Bedrock Model Catalog 部署模型,如 Google Gemma 2 27B Instruct,并使用 Amazon Bedrock API 进行调用。
本实验通过 Keras 和 TPUs 平台,测试了 LLM 在错误修正方面的能力。实验中使用了多个 LLM 模型,通过构建聊天机器人竞技场环境,观察 LLM 在面对错误时的修正效果。结果显示,LLM 在错误修正方面具有一定的能力,但仍需进一步优化以提高准确性。
AraGen 是一个针对阿拉伯语 LLM 的生成任务基准和排行榜,基于 3C3H 评估方法,旨在更全面地评估 LLM 的性能,包括事实准确性和可用性。
推荐理由:AraGen 引入了新的评估方法 3C3H,旨在更全面地评估 LLM 的性能,对 LLM 评估领域有重要意义。
欧盟AI法案正式生效,对AI开发和开源社区产生影响。Hugging Face发布了针对开源开发者的指南,解读法案要点,并提供合规工具。
推荐理由:该指南为开源开发者提供了关于欧盟AI法案的详细解读,有助于理解其对开源AI系统的影响和合规要求。
Hugging Face 与 LLM-jp 合作推出了日语大型语言模型 Open Leaderboard,包含超过 20 个数据集,用于评估日语 LLM 的性能。
推荐理由:该 leaderboard 为日本 LLM 提供了评估平台,有助于推动日本 LLM 的发展和研究。
Hugging Face Hub 发布了新的数据集共享功能,支持大型数据集托管、多种数据格式和第三方库集成,旨在促进机器学习研究。
推荐理由:Hugging Face Hub 提供了强大的数据共享和托管功能,对于数据密集型研究和机器学习项目具有重要意义,读者可以了解其如何改变现有工作流。
Mistral AI推出Batch API,以50%低于同步API调用的成本,高效处理大量请求。适用于数据量优先的AI应用,如客户反馈分析、文档摘要和翻译、向量嵌入等。API适用于所有Mistral模型,并即将在云服务合作伙伴推出。
Mistral AI 推出内容审核 API,支持阿拉伯语、中文、英语等9种语言分类,旨在帮助用户实现更可扩展和稳健的内容审核。该模型可对对话上下文中的最后一条消息进行分类,并针对模型生成的有害内容如无效建议和 PII 提供安全防护。
Hugging Face 推出 Argilla 2.4 版本,用户无需代码即可在 Hugging Face Hub 上构建微调和评估数据集。该版本简化了数据集创建过程,支持从 Hub 数据集导入、定义问题并收集人类反馈,适用于不具备编程知识的领域专家。
Hugging Face Expert Support项目与Digital Green合作,利用LLM构建名为Farmer.chat的农业智能聊天机器人,为农民提供个性化、可靠的农业建议。该系统采用RAG技术,结合GPT-4o等模型,通过每周的LLM评估会议优化性能,目前已服务超过20,000名农民,处理340,000个查询。
Cohere 发布了 Aya Expanse 模型家族,包括 8B 和 32B 参数模型,旨在解决 AI 领域多语言模型性能不足的问题。Aya Expanse 在多语言性能上取得了突破,并在多个评估中超越了其他模型。
推荐理由:Aya Expanse 模型在多语言性能上取得了突破,为读者提供了评估多语言模型的新基准。
Hugging Face 发布了 CinePile 2.0,这是一个经过显著改进的长视频问答数据集。新数据集的改进依赖于一种新的对抗性数据集精炼方法,该方法可增强现有数据集并直接应用于未来数据集创建流程。CinePile 2.0 包含约 300,000 个训练样本和 5,000 个测试样本,其问题多样性和难度均优于现有数据集。
Llama 3.2 已于两周前在 Hugging Face / Transformers 上线,可直接在 Keras 中使用,支持多种后端,包括 JAX、PyTorch 和 TensorFlow。Keras 提供了丰富的预训练模型,包括 Llama3、Gemma、StableDiffusion 等,并内置了 tokenizer,方便用户进行模型训练和推理。
Hugging Face 的 Transformers 团队迅速响应了关于梯度累积问题的报告,通过更新代码和发布修复,确保了在梯度累积过程中损失计算的准确性。此外,团队还开放了 API,允许用户直接传递自定义损失函数,以增强模型的灵活性和适应性。
Gradio 5 发布了安全审计报告,修复了多个安全问题,包括本地运行、部署在 Hugging Face Spaces、共享链接和供应链漏洞等方面的安全问题。
Hugging Face 平台与 Dask 联合,通过分布式计算和并行处理,有效提升 AI 数据处理规模,支持 TB 级别数据集的加载、预处理和模型推理,实现多 GPU 并行推理,提高数据处理效率。
Hugging Face 团队正在优化 Hub 的存储架构,提高数据存储和更新的效率。通过实验发现,使用字节级内容定义块(CDC)去重算法,Parquet 文件去重效果良好,但Parquet格式带来的挑战需要进一步优化。团队正在探索使用相对偏移量、支持内容定义块等方案,以提高 Parquet 文件的去重能力。
InstantTexture库可以将顶点着色网格转换为UV贴图纹理网格,支持快速转换和详细步骤,适用于3D模型生成和应用程序。
Hugging Face Daily Papers 页面自推出以来,已收录超过 3,700 篇论文,拥有超过 12k 订阅者。该页面提供作者论文认领、论文提交、与作者互动、相关资源链接、点赞推荐、相似论文推荐、多语言评论和翻译、订阅等功能,旨在帮助开发者、研究人员及时了解 AI 领域最新研究进展。
Hugging Face 发布了 FineVideo 数据集,包含 43k 个视频,用于训练模型理解视频内容、训练扩散模型生成视频以及训练计算机视觉模型。
推荐理由:FineVideo 数据集的发布为开源视频 AI 的发展提供了重要资源,读者可以关注其如何影响现有工作流。
Hugging Face 与 Intel 合作推出 Optimum-Intel 项目,优化 Transformers 模型在 Intel 硬件上的推理性能。通过 OpenVINO™ GenAI API,简化了将大型语言模型 (LLMs) 集成到 C++ 或 Python 应用中的过程。
Hugging Face发布BitNet架构,通过极端量化将LLM参数精度降低至1.58位,显著降低计算和内存需求。
推荐理由:原文介绍了BitNet架构及其在LLM中的应用,读者可以了解其性能和适用性。
HuggingChat 推出社区工具功能,允许用户将 HuggingFace 上的任何 Space 转换为模型可用的工具,支持图像理解、视频生成和文本语音模型等功能。用户可创建自定义工具或使用社区工具增强助手,目前该功能处于实验阶段。
OpenAI 发布报告,总结数百次AI成功部署案例,强调模型与业务需求匹配、数据质量及模型可解释性为关键成功因素。
Hugging Face 与 TruffleHog 合作,将 TruffleHog 的秘密扫描功能集成到平台中,以增强安全性。TruffleHog 是一款开源工具,可检测和验证代码中的秘密泄露。Hugging Face 已将 TruffleHog 集成到其自动扫描流程中,并创建了一个原生 Hugging Face 扫描器,以帮助用户主动扫描账户数据中的泄露秘密。
🤗 LeRobotDataset提出了一种轻量级、易于分享和可视化的数据集格式,通过视频编码技术将视觉模态数据集大小平均减少14%,同时保持良好的训练能力。该格式支持快速加载和播放视频帧,并兼容多种媒体播放器和浏览器。
Hugging Face Hub 拥有超过 850K 个公共模型,每月新增约 50k 个。本文介绍了五个常被忽视的工具:ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas,它们可以帮助用户更轻松地构建各种 AI 解决方案。这些工具中的 ZeroGPU 提供免费 GPU 访问,适用于需要偶尔进行推理的场景。
Apibara开源数据平台新增对Ethereum数据的支持,包括执行层和共识层数据,支持同步到目标数据库或API,如PostgreSQL、MongoDB等。DotPics项目提供Ethereum仪表板、数据和工具,包括4844 blob分析。
Google研究人员发布的Infini-Attention实验表明,随着压缩内存次数的增加,其性能会下降。尽管如此,Ring Attention、YaRN和rope scaling仍然是扩展预训练模型到更长上下文长度的最佳方法。实验中,研究人员尝试将Llama 3 8B的上下文长度从8k扩展到1百万,但遇到了挑战。
ggml是一个专注于Transformer推理的轻量级机器学习库,由C和C++编写,开源且由日益增长的社区积极开发。它具有最小化、易于编译、轻量级、良好的兼容性等特点,支持量化张量,内存效率极高。ggml适用于开发者入门,但需要深入了解底层编程。本文介绍了ggml的基本概念和基本用法,为后续学习和开发打下基础。
Technology Innovation Institute 发布了 Falcon Mamba 模型,这是一个基于 Mamba 架构的无注意力 7B 模型,可在 Hugging Face 系统中使用,具有处理长序列的能力。
推荐理由:原文介绍了 Falcon Mamba 模型的设计、性能和如何在 Hugging Face 系统中使用,读者可以了解其在处理长序列方面的优势。
OpenAI 与 Rakuten 合作,通过数据与 API 的结合,利用 AI 技术深入挖掘客户洞察,提升客户价值。
OpenAI 推出 GPT-4 API 的结构化输出功能,模型输出结果将严格遵循开发者提供的 JSON 模式,提升数据处理效率。