Intel Gaudi 2 和 Xeon CPU 协同构建高效企业级 RAG 应用
Intel Gaudi 2 AI 加速器和 Xeon CPU 通过实际 RAG 应用案例显著提升企业性能;使用 LangChain 开发 RAG 应用,支持自定义嵌入、向量数据库和 LLM;Optimum Habana 库简化模型加载、训练和推理;TGI Gaudi 容器实现高性能文本生成。
Intel Gaudi 2 AI 加速器和 Xeon CPU 通过实际 RAG 应用案例显著提升企业性能;使用 LangChain 开发 RAG 应用,支持自定义嵌入、向量数据库和 LLM;Optimum Habana 库简化模型加载、训练和推理;TGI Gaudi 容器实现高性能文本生成。
Hugging Face 推出通过 AWS 账户升级 Enterprise Hub 的服务,为企业提供高级安全功能、访问控制、协作工具和计算选项,支持在符合 GDPR 和 SOC2 Type 2 认证的平台内安全构建 AI。升级后,企业可享受单点登录、资源组管理、存储区域选择、审计日志、高级计算选项、私有数据集查看器、在 DGX Cloud 上训练 LLM 等功能。
Hugging Face 推出针对希伯来语言模型的开放排行榜,旨在评估和提升 Hebrew LLMs 的性能,包含四个关键数据集,涵盖问答、情感分析、Winograd Schema Challenge 和翻译等任务。
Hugging Face Inference Endpoints 支持Whisper语音识别模型,通过自定义推理处理程序,实现自动语音识别(ASR)、说话人分割和推测解码等功能。该方案采用模块化设计,支持多种用例,并使用Pyannote模型进行说话人分割,通过推测解码提高推理速度。用户可通过API调用创建端点,并部署到Inference Endpoints上。
Hugging Face 的 Leaderboards and Evals 研究团队发现,LLM 的基准性能与提示词格式密切相关。他们通过实验发现,模型在相同输入信息下,输出结果对提示词格式的微小变化极为敏感。为了提高提示词的一致性,Hugging Face 与 Dottxt 合作,探索了通过结构化生成来约束模型输出,以减少提示词格式变化带来的影响。
Ethereum Protocol Fellowship(EPF)第四期圆满结束,35名参与者获得津贴,与27位核心开发者导师合作,贡献了35个项目。EPF第五期即将开放申请,鼓励有意向的核心开发者关注。
Hugging Face推出了开放医疗LLM排行榜,旨在评估和比较不同大型语言模型在医疗任务和数据集上的性能。
推荐理由:该论文提出了一个针对医疗领域大型语言模型的评估平台,有助于推动医疗AI的发展。
Mistral AI 发布了 Mixtral 8x22B 开放模型,该模型具有多语言能力、强大的数学及编码能力,并采用 Apache 2.0 开源许可证,读者可以关注其性能和开源对 AI 社区的影响。
推荐理由:Mixtral 8x22B 模型在性能和效率方面达到新标准,具有多语言能力和强大的数学及编码能力,开源发布,读者可以关注其性能和开源对 AI 社区的影响。
Zama 公司的隐私保护机器学习框架 Concrete ML 现已支持在 Hugging Face Endpoints 上部署,使用全同态加密 (FHE) 技术保护用户数据隐私,预编译模型可直接部署,支持 scikit-learn、ONNX、PyTorch 和 TensorFlow 等传统机器学习框架。
Gradio 的 Reload 模式允许开发者无需重启服务器即可拉取最新代码更改,显著提升开发效率。通过使用 Gradio 的 Reload 模式,开发者可以快速构建 AI 应用,如文档分析器,实现用户上传文档并获取自然语言回答的功能。
Ryght推出面向医疗和生命科学领域的AI平台Ryght Preview,通过Hugging Face的专家支持,提供行业特定的AI协作者和定制解决方案,加速研究、分析和文档工作。
Hugging Face 推出 LiveCodeBench 评测基准,基于 LiveCodeBench,由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发,用于衡量 LLMs 的代码生成能力。
推荐理由:LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估,有助于了解不同模型的能力和泛化能力。
MotherDuck 和 Numbers Station 推出 DuckDB-NSQL-7B,一款针对 DuckDB SQL 的先进 LLM,可轻松从数据中提取洞察。
Hugging Face 与 Wiz Research 合作,通过集成 Wiz 的安全工具,提升平台安全性,并开源相关安全工具,以促进 AI/ML 生态系统的安全发展。
推荐理由:Hugging Face 与 Wiz Research 合作,提升平台和 AI/ML 生态系统的安全性,读者可以关注其安全改进和开源合作对行业的影响。
Hugging Face Transformers 是一个开源 Python 库,提供数千个预训练模型,简化 Transformer 模型的实现。本文以非技术背景读者为目标,通过运行 Microsoft 的 Phi-2 LLM 举例,介绍如何使用 Hugging Face Transformers 和 Hugging Face Hub。教程从零开始,无需 Python 基础,适合初学者入门。
Hugging Face 发布了 Cosmopedia,一个用于预训练大型语言模型的大规模合成数据集。该数据集包含超过 30 亿个 token,旨在解决传统数据集的局限性,并推动合成数据在 AI 领域的应用。
推荐理由:Cosmopedia 的发布为 LLM 预训练提供了新的数据集,有助于推动合成数据在 AI 领域的应用。
GaLore是一种新的工具,它通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。
推荐理由:GaLore通过降低内存需求,使得在消费级硬件上训练大型语言模型成为可能,为研究人员和从业者提供了新的可能性。
Quanto 是一个针对 Optimum 的 PyTorch 量化后端,旨在降低深度学习模型的计算和内存成本,支持多种量化方案,包括线性量化、分组量化等,适用于各种模态。Quanto 可作为 pip 包安装,提供从浮点模型到动态量化模型再到静态量化模型的流畅工作流程,并支持 PyTorch weight_only 和 Safetensors 的序列化。
Hugging Face 推出 Train on DGX Cloud 服务,支持使用 NVIDIA DGX Cloud 的加速计算基础设施进行模型训练,简化了开放生成式 AI 模型的训练和部署。
Hugging Face 推出 WebSight-v0.2 数据集,包含 200 万个网页截图与 HTML 代码对,旨在训练 AI 模型将视觉网页设计转换为功能性 HTML 代码。基于此数据集,研究人员训练了 Sightseer 模型,能够将网页截图转换为功能性的 HTML 代码,并支持将图像嵌入生成的 HTML 中。
Hugging Face和Argilla推出数据共建计划,通过Argilla和Hugging Face Spaces共同构建数据集,已有350名社区贡献者参与,构建了包含10,000个提示语的评分数据集。
Hugging Face 推出 Llama 2 模型的文本生成流水线,支持 7b、13b 和 70b 版本,通过 Optimum Habana 和自定义流水线类实现,仅需几行代码即可运行;流水线提供高抽象级别,支持预处理和后处理,兼容 LangChain。
Hugging Face 推出 TTS Arena,一个用于比较语音合成模型质量的平台,用户可提交文本,对比不同模型发音,并投票选择最佳模型。该平台旨在通过社区投票结果,公开展示最高评分的模型,并允许开发者比较开源与专有模型。
Mistral AI 推出多语言聊天助手 Le Chat Vibe,支持与 Mistral 模型交互,提供教育性和娱乐性体验;Le Chat 可使用 Mistral Large、Mistral Small 或 Mistral Next 模型,具备系统级调节机制,目前为测试版,无法访问互联网。
Hugging Face Hub 提供多种 AI 水印工具,用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印,以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据,如图像、音频、文本等,并面临独特的挑战。Hugging Face Hub 提供开源工具,帮助用户进行不同类型的水印操作。
Matryoshka Embedding 模型通过在早期维度存储重要信息,在后期维度存储次要信息,实现高效的信息压缩。该模型使用 Sentence Transformers 框架进行训练,支持多种输出维度,可应用于推荐系统、检索、分类等多种任务。
Hugging Face 的 🤗 PEFT 引入了新的 LoRA 模型融合方法,包括 Concatenation、Linear/Task Arithmetic 和 SVD 等,旨在优化不同 LoRA 模型融合的体验,提高模型性能。
AMD与Hugging Face合作,举办Pervasive AI开发者大赛,提供700个AMD平台,总奖金高达16万美元,鼓励开发者创建独特的AI应用。Hugging Face和AMD为AMD GPU提供原生支持,并支持ONNX模型执行、Optimum-Benchmark、DeepSpeed等工具,助力开发者快速构建AI应用。
Hugging Face 推出 PatchTST 模型,用于时间序列预测。该模型基于 Transformer 架构,通过将时间序列分割成子序列级别的 patch,并使用全局单变量模型进行编码,实现长序列预测。PatchTST 在电力数据集上展示了良好的预测能力,并支持零样本预测和微调。
Hugging Face 推出企业场景排行榜,旨在评估语言模型在真实世界企业用例中的性能,支持6个任务,包括金融、法律、创意写作等,部分数据集为闭源,以避免测试集污染。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正,并重新运行了实验,结果显示 IPO 与 DPO 相当,优于 KTO。评估了三种无强化学习的 LLM 对齐算法:DPO、IPO 和 KTO,在两个经过监督微调的 7b LLM 上进行实验,发现关键超参数需要调整以实现最佳结果。
本教程介绍了如何将复杂的 ComfyUI 工作流转换为简单的 Gradio 应用,并在 Hugging Face Spaces 的 ZeroGPU 服务器上免费部署和运行。
Hugging Face 推出基于 Hugging Face Leaderboard 模板的 HHEM 欺幻觉榜,用于评估大型语言模型(LLM)生成文本的幻觉程度。该榜支持开源和商业模型,如 Llama 2、GPT-4 和 Claude,旨在推动 LLM 幻觉评估的民主化。HHEM 使用 Hugging Face Leaderboard 模板,支持动态更新,并鼓励社区提交新模型进行评估。
Hugging Face发布Unsloth库,一个用于加速LLM微调的工具,支持多种NVIDIA GPU和架构,可显著提高微调速度和降低内存使用。
推荐理由:原文介绍了Unsloth库,一个用于加速LLM微调的工具,读者可以了解其功能和性能提升。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
SetFitABSA是一种高效的少样本方面情感分析技术,由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练,包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比,SetFitABSA无需提示词,训练速度快,且仅需少量标记样本。在少样本场景中,SetFitABSA甚至优于Llama2和T5等生成模型。
Open LLM Leaderboard 添加了 DROP 模型评测,但发现多数模型 f1 分数低于 10。分析发现,模型在处理浮点数答案时存在中断问题,且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记,新分数与平均性能相关性更好。
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能,使用 LoRA 技术进行微调,发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。