HuggingChat 推出社区工具功能,赋能模型直接使用
HuggingChat 推出社区工具功能,允许用户将 HuggingFace 上的任何 Space 转换为模型可用的工具,支持图像理解、视频生成和文本语音模型等功能。用户可创建自定义工具或使用社区工具增强助手,目前该功能处于实验阶段。
HuggingChat 推出社区工具功能,允许用户将 HuggingFace 上的任何 Space 转换为模型可用的工具,支持图像理解、视频生成和文本语音模型等功能。用户可创建自定义工具或使用社区工具增强助手,目前该功能处于实验阶段。
OpenAI推出的ChatGPT Enterprise版本,通过实际案例展示员工如何利用该工具高效分析数据并挖掘洞察。
Hugging Face 官方宣布收购 Seattle 基地的公司 XetHub,XetHub 的技术将帮助 Hugging Face 的数据集和模型存储更高效,并可能推动 AI 数据和模型协作的发展。
推荐理由:Hugging Face 收购 XetHub,将推动 AI 数据和模型协作的发展,并可能影响企业内部 AI 项目的协作方式。
Mistral AI 发布了 Mathstral 模型,专注于解决复杂数学问题,在 MATH 和 MMLU 基准测试中取得了优异的成绩,并支持开源和微调。
Hugging Face Hub 与 KerasHub 集成,支持 300K+ Transformer 模型,包括 Gemma、Llama 3 和 PaliGemma,用户可使用 KerasHub 训练和微调模型,并上传回 Hub。集成支持 TensorFlow、JAX 和 PyTorch 后端,方便模型部署和迁移。
Hugging Face 的 TRL 库新增支持视觉语言模型直接偏好优化 (DPO),简化了模型训练过程,并提高了预测准确性。该库使用 openbmb/RLAIF-V-Dataset 数据集,支持 Idefics2-8b 模型,并可通过内存优化技术适应不同硬件配置。
Hugging Face 与 Polyconseil 合作,利用 RAG 解决方案优化法国环境项目 EduRénov,旨在通过数据主权和性能保障,简化、支持并资助公共学校建筑的能源改造。该方案旨在提高 Banque des Territoires 对社区的支持响应速度,并确保计算服务和模型使用的自主权。
Hugging Face Dataset Hub 推出四项新功能,包括按模态、大小、格式和库搜索数据集,提升数据集的可发现性和可视化,方便用户找到适合其用例的数据集。
Hugging Face 与 Argilla 合作,推动开源社区共同创建有影响力的数据集。项目包括创建 10K 个提示词数据集、多语言提示评估项目(MPEP)等,旨在解决语言、领域和任务数据不平衡问题。社区积极参与,项目成果显著,鼓励更多贡献者加入。
Prezi 加入 Hugging Face Expert Support Program,利用开源模型优化机器学习工作流程,通过多模态模型提升演示效果。专家团队协助 Prezi 在嵌入、重排序和目标检测等方面应用最佳实践和前沿模型,加速机器学习项目。
Hugging Face Accelerate 提供了 DeepSpeed 和 PyTorch FSDP 两种 ZeRO 算法实现,本文探讨了两者在精度、混合精度处理和内存消耗方面的差异。
Hugging Face 推出 RLOO 训练器,旨在为在线 RLHF 训练提供更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。
推荐理由:RLOO Trainer 在 TRL 中的引入为在线 RLHF 训练提供了一种更易于使用和高效的替代方案,通过减少 GPU 内存使用和简化训练过程,使 RLOO 能够处理更大的批量数据和更快的训练时间。
Hugging Face 宣布对 Transformers 文档进行全面改版,旨在为开发者提供更易用的 AI 产品构建指南。新版本将更注重代码示例和解决方案,同时采用更灵活的结构,以适应不断发展的 AI 技术和应用场景。
Hugging Face 推出了 Open Arabic LLM Leaderboard(OALL),旨在评估和比较阿拉伯大型语言模型(LLM)的性能,促进阿拉伯 NLP 的发展。
推荐理由:OALL 提供了针对阿拉伯语言处理的基准,有助于促进阿拉伯 NLP 的发展,丰富了全球 NLP 领域的工具和资源。
Intel Gaudi 2 AI 加速器和 Xeon CPU 通过实际 RAG 应用案例显著提升企业性能;使用 LangChain 开发 RAG 应用,支持自定义嵌入、向量数据库和 LLM;Optimum Habana 库简化模型加载、训练和推理;TGI Gaudi 容器实现高性能文本生成。
Hugging Face 推出针对希伯来语言模型的开放排行榜,旨在评估和提升 Hebrew LLMs 的性能,包含四个关键数据集,涵盖问答、情感分析、Winograd Schema Challenge 和翻译等任务。
Mistral AI 发布了 Mixtral 8x22B 开放模型,该模型具有多语言能力、强大的数学及编码能力,并采用 Apache 2.0 开源许可证,读者可以关注其性能和开源对 AI 社区的影响。
推荐理由:Mixtral 8x22B 模型在性能和效率方面达到新标准,具有多语言能力和强大的数学及编码能力,开源发布,读者可以关注其性能和开源对 AI 社区的影响。
Hugging Face 推出 LiveCodeBench 评测基准,基于 LiveCodeBench,由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发,用于衡量 LLMs 的代码生成能力。
推荐理由:LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估,有助于了解不同模型的能力和泛化能力。
Hugging Face Transformers 是一个开源 Python 库,提供数千个预训练模型,简化 Transformer 模型的实现。本文以非技术背景读者为目标,通过运行 Microsoft 的 Phi-2 LLM 举例,介绍如何使用 Hugging Face Transformers 和 Hugging Face Hub。教程从零开始,无需 Python 基础,适合初学者入门。
Hugging Face 发布了 Cosmopedia,一个用于预训练大型语言模型的大规模合成数据集。该数据集包含超过 30 亿个 token,旨在解决传统数据集的局限性,并推动合成数据在 AI 领域的应用。
推荐理由:Cosmopedia 的发布为 LLM 预训练提供了新的数据集,有助于推动合成数据在 AI 领域的应用。
GaLore是一种新的工具,它通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。
推荐理由:GaLore通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。
Hugging Face 推出 WebSight-v0.2 数据集,包含 200 万个网页截图与 HTML 代码对,旨在训练 AI 模型将视觉网页设计转换为功能性 HTML 代码。基于此数据集,研究人员训练了 Sightseer 模型,能够将网页截图转换为功能性的 HTML 代码,并支持将图像嵌入生成的 HTML 中。
Hugging Face 推出 TTS Arena,一个用于比较语音合成模型质量的平台,用户可提交文本,对比不同模型发音,并投票选择最佳模型。该平台旨在通过社区投票结果,公开展示最高评分的模型,并允许开发者比较开源与专有模型。
Hugging Face推出Open Ko-LLM评测基准,旨在评估韩语大语言模型的能力,为韩语LLM的发展提供了重要的评估平台。
Hugging Face 的 🤗 PEFT 引入了新的 LoRA 模型融合方法,包括 Concatenation、Linear/Task Arithmetic 和 SVD 等,旨在优化不同 LoRA 模型融合的体验,提高模型性能。
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。
推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。
Hugging Face 与 Google Cloud 合作,旨在通过开放模型和开源技术,帮助公司构建自己的 AI。合作将涵盖开放科学、开源、云和硬件领域,以促进 AI 研究的普及和 AI 技术的创新。
推荐理由:Hugging Face 与 Google 的合作将推动 AI 技术的开放和普及,对行业有重要影响。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具,用户只需一行代码即可创建交互式可视化,识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入,深入了解数据段和模型失败模式。此外,Spotlight 还允许用户自定义数据检查工作流程,并找到相关的数据样本和聚类进行检查。
本文详细解析了OpenAI的RLHF代码库复现,重点关注PPO实现细节,包括奖励模型、策略训练、PyTorch Adam优化器等,旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线,为教育和学习目的提供简单易读的参考实现。
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Hugging Face Blog介绍了3D高斯分层技术,该技术通过将场景中的点云转换为高斯函数,实现实时渲染真实场景。该技术使用结构从运动(SfM)方法估计点云,并通过高斯分层进行渲染。此外,该技术还具有快速、可微分的优点,但需要较高的VRAM和磁盘空间。目前,该技术尚未与现有渲染管线兼容,但未来有望在更多渲染环境中得到应用。
Hugging Face Transformer 支持多种量化方案,包括 bitsandbytes 和 auto-gptq,旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用,支持跨模态互操作性,而 auto-gptq 量化方案在文本生成方面速度更快,支持高达 2 位的量化精度。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
OpenAI 与 Scale 合作,允许客户利用 Scale 的 AI 专业知识来定制 OpenAI 最先进的模型。
Hugging Face 推出 DPO 方法,用于微调 Llama 2 模型,并介绍了在 TRL 库中如何使用该方法。
Hugging Face Hub 上有约 50K 个公共数据集,其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集,并通过 librarian-bots 添加元数据,以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别,可检测 217 种语言。