Hugging Face 推出 TextImage 数据增强技术,助力文档图像模型训练
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强技术,旨在提高文档图像模型训练效果。该技术通过同时增强图像和文本,确保文本和图像在训练过程中的互动,从而提升模型对文档图像的识别准确率。TextImage 可用于在图像上插入文本,生成合成数据,并支持多种文本增强方法,如随机删除、替换和插入停用词等。
Hugging Face 与 Albumentations AI 合作推出 TextImage 数据增强技术,旨在提高文档图像模型训练效果。该技术通过同时增强图像和文本,确保文本和图像在训练过程中的互动,从而提升模型对文档图像的识别准确率。TextImage 可用于在图像上插入文本,生成合成数据,并支持多种文本增强方法,如随机删除、替换和插入停用词等。
Hugging Face 的 Diffusers 库利用 Quanto 工具,通过量化技术显著提升了 Transformer-based Diffusion 模型的内存效率,例如 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 模型,在保持几乎无质量损失的情况下,内存使用量减少了约 30%。
Hugging Face宣布推出Hugging Face NVIDIA NIM API (serverless),为企业用户提供了一种无需服务器即可使用NVIDIA加速计算平台进行推理的新服务。
Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估,发现微调模型在DocVQA上的表现良好,但在基准测试中得分较低。研究提出了LAVE(LLM-Assisted VQA Evaluation)评估指标,以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明,LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。
OpenAI 测试了 SearchGPT,这是一个新搜索功能原型,提供快速、及时且来源清晰的答案。
Hugging Face 发布了 Llama 3.1 模型,包括 8B、70B 和 405B 参数的模型,支持多语言和长上下文,并引入了 Llama Guard 3 和 Prompt Guard,同时提供了多种集成和优化工具。
推荐理由:Llama 3.1 的发布引入了多个新功能和模型,包括 8B、70B 和 405B 参数的模型,以及 Llama Guard 3 和 Prompt Guard,读者可以了解这些新功能和模型如何影响现有工作流。
Hugging Face 发布了 Docmatix,一个用于文档视觉问答(DocVQA)的大规模数据集,包含 240 万张图像和 950 万个问答对。使用该数据集对 Florence-2 模型进行微调,在 DocVQA 任务上性能提升了 20%。
推荐理由:该数据集的发布有助于提升 DocVQA 模型的性能,对开源社区具有重要意义。
OpenAI 为 ChatGPT Enterprise 引入合规 API 集成、SCIM 和 GPT 控制,以支持大规模的合规计划、数据安全和用户访问。
OpenAI 的研究显示,Prover-Verifier Games 可以提升语言模型输出的可读性,使 AI 解决方案更清晰、易于验证,并提高人类和机器的信任度。
Hugging Face 发布了 SmolLM 模型,这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练,并在多个基准测试中表现出色。
推荐理由:SmolLM 模型展示了小语言模型在高质量数据集上的高效训练,实现了性能和规模的强平衡,为读者提供了关于小语言模型性能的参考。
Hugging Face 博客介绍了如何利用 distilabel 和微调特定领域嵌入模型来创建一个既准确又吸引人的对话模型,用于理解和与用户交流技术文档。文章详细阐述了创建 Argilla 2.0 聊天机器人的过程,包括从技术文档生成合成数据集、创建向量数据库、部署聊天机器人到 Hugging Face Space,并存储交互以持续评估和改进。
Hugging Face Hub 与 KerasHub 集成,支持 300K+ Transformer 模型,包括 Gemma、Llama 3 和 PaliGemma,用户可使用 KerasHub 训练和微调模型,并上传回 Hub。集成支持 TensorFlow、JAX 和 PyTorch 后端,方便模型部署和迁移。
Hugging Face 的 TRL 库新增支持视觉语言模型直接偏好优化 (DPO),简化了模型训练过程,并提高了预测准确性。该库使用 openbmb/RLAIF-V-Dataset 数据集,支持 Idefics2-8b 模型,并可通过内存优化技术适应不同硬件配置。
Hugging Face Dataset Hub 推出 Presidio 自动 PII 检测工具,帮助用户识别数据集中的个人隐私信息,提升机器学习模型的隐私保护。Presidio 报告可帮助用户了解数据集中 PII 的存在情况,从而做出更明智的决策。
Hugging Face 与 Polyconseil 合作,利用 RAG 解决方案优化法国环境项目 EduRénov,旨在通过数据主权和性能保障,简化、支持并资助公共学校建筑的能源改造。该方案旨在提高 Banque des Territoires 对社区的支持响应速度,并确保计算服务和模型使用的自主权。
Hugging Face Dataset Hub 推出四项新功能,包括按模态、大小、格式和库搜索数据集,提升数据集的可发现性和可视化,方便用户找到适合其用例的数据集。
MILA 和 Intel Labs 推出的蛋白质语言模型 ProtST 在 Hugging Face Hub 上发布,支持在 Intel Gaudi 2 加速器上高效运行和微调。与 NVIDIA A100 相比,Gaudi 2 在推理和微调任务上分别提供 1.76 倍和 2.92 倍的速度提升。
OpenAI 推出的 CriticGPT 模型基于 GPT-4,用于生成对 ChatGPT 响应的批评,帮助人类训练师在强化学习与人类反馈(RLHF)过程中识别错误。
微软发布 Florence-2 模型,具有小尺寸和强性能,支持多种计算机视觉和视觉语言任务。文章介绍了模型的结构、预训练细节和微调方法,并展示了模型在视觉问答任务上的实验结果。
推荐理由:介绍了 Florence-2 模型的预训练细节和微调方法,对视觉问答任务进行了实验,展示了模型在下游任务上的潜力。
Hugging Face 与 Argilla 合作,推动开源社区共同创建有影响力的数据集。项目包括创建 10K 个提示词数据集、多语言提示评估项目(MPEP)等,旨在解决语言、领域和任务数据不平衡问题。社区积极参与,项目成果显著,鼓励更多贡献者加入。
Prezi 加入 Hugging Face Expert Support Program,利用开源模型优化机器学习工作流程,通过多模态模型提升演示效果。专家团队协助 Prezi 在嵌入、重排序和目标检测等方面应用最佳实践和前沿模型,加速机器学习项目。
Hugging Face Accelerate 提供了 DeepSpeed 和 PyTorch FSDP 两种 ZeRO 算法实现,本文探讨了两者在精度、混合精度处理和内存消耗方面的差异。
Hugging Face 推出 RLOO 训练器,旨在为在线 RLHF 训练提供更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。
推荐理由:RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。
OpenAI 深入研究其文本到语音模型背后的技术,并持续进行安全研究,以提升模型性能和安全性。
Devcon 学者计划回归,面向全球招募100名学者,涵盖社区组织者、法律专业人士、艺术家和科幻作家等四类,旨在建立学习与共创社区,推动以太坊发展。申请截止至2024年7月7日,入选者将获得财务支持、技术培训、导师指导等。
Hugging Face 宣布对 Transformers 文档进行全面改版,旨在为开发者提供更易用的 AI 产品构建指南。新版本将更注重代码示例和解决方案,同时采用更灵活的结构,以适应不断发展的 AI 技术和应用场景。
Hugging Face 推出适用于 Amazon SageMaker 的新嵌入式容器,支持高效部署嵌入模型,包括 Snowflake/snowflake-arctic-embed-m-v1.5 等模型,用于构建生成式 AI 应用。该容器基于 Text Embedding Inference (TEI) 技术,支持多种模型架构,并具备快速启动、动态批处理等功能。
OpenAI 利用新技术对稀疏自编码器进行扩展,自动从 GPT-4 中识别出 1600 万种计算模式。
Hugging Face 发布了 AI 图像生成模型评测基准和竞技场,旨在通过人类偏好排名比较开源和闭源模型。
推荐理由:该评测基准涵盖了开源和闭源模型,为读者提供了全面的比较视角。
Mistral AI 于 2024 年 6 月 5 日至 30 日举办 Mistral Fine-tuning Hackathon,参与者可使用 Mistral 的微调 API 展示项目,奖品包括 €2,500 的 Mistral API 信用额度。参赛者需在 La Platforme 上注册并完成付款详情,以获取免费信用额度。提交的项目需包含代码链接、项目描述和不超过 2 分钟的视频演示。
Hugging Face 对 Intel Gaudi 进行优化,采用 Speculative Sampling 和 Assisted Generation 技术加速文本生成,在大型 Transformer 模型上实现约 2 倍速度提升,并支持在 Hugging Face Transformers 中使用。
Hugging Face Spaces 平台发生安全事件,涉及部分秘密访问权限被非法获取,公司已采取措施加强安全并通知受影响用户。
OpenAI 推出针对非营利组织的工具增强计划,为 ChatGPT Team 和 Enterprise 提供折扣优惠,以降低非营利组织获取 AI 工具的成本。
Mistral AI 推出非生产许可证 MNPL,允许开发者用于非商业目的和研究工作,确保基于其工作的商业行为公平可持续;同时继续以 Apache 2.0 许可证发布模型和代码。
Hugging Face 推出 TGI Benchmarking 工具,用于评估文本生成推理(TGI)的性能,帮助用户了解如何优化部署以适应不同需求。该工具提供吞吐量和延迟的评估,并支持用户自定义配置,以实现更好的用户体验。
Sentence Transformers 是一个用于使用和训练嵌入模型的 Python 库,适用于检索增强生成、语义搜索、语义文本相似度等多种应用。本文介绍了如何使用 Sentence Transformers 微调模型以提升特定任务上的性能,并提供了详细的组件说明和示例,包括数据集、损失函数、训练参数、评估器和训练器等。通过微调,模型能够根据特定任务的需求调整相似度概念,从而显著提升性能。
Hugging Face 发布了 CyberSecEval 2 评测框架,用于评估大型语言模型(LLM)的网络安全风险,包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。
推荐理由:CyberSecEval 2 评测框架为评估大型语言模型(LLM)的网络安全风险提供了全面的基准,揭示了行业改进和持续挑战。
Hugging Face Spaces Dev Mode 允许开发者通过 VS Code 或 SSH 直接连接到 Space,实现一键编辑代码,无需使用 git 推送本地更改。目前该功能处于测试阶段,面向 PRO 订阅者开放。
OpenAI 对 ChatGPT 进行了数据分析功能升级,用户现在可以与表格和图表进行交互,并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
Ethereum Protocol Fellowship(EPF)第五期开放申请,为期五个月,涵盖客户端实现、测试和规范开发,以及核心协议研究。申请截止至2024年5月26日,参与者有机会与核心开发者合作,并获得每月津贴。