DuckDB-NSQL-7B：利用 Hugging Face Dataset Viewer API 和 DuckDB 进行 Text2SQL 任务
MotherDuck 和 Numbers Station 推出 DuckDB-NSQL-7B，一款针对 DuckDB SQL 的先进 LLM，可轻松从数据中提取洞察。
#数据/训练
#数据/训练
今日 0 条Hugging Face BlogAI 评分4040
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 Cosmopedia：大规模合成数据集用于预训练大型语言模型
Hugging Face 发布了 Cosmopedia，一个用于预训练大型语言模型的大规模合成数据集。该数据集包含超过 30 亿个 token，旨在解决传统数据集的局限性，并推动合成数据在 AI 领域的应用。
推荐理由：Cosmopedia 的发布为 LLM 预训练提供了新的数据集，有助于推动合成数据在 AI 领域的应用。
Hugging Face Blog精选AI 评分8282 GaLore：推动消费级硬件上的大型模型训练
GaLore是一种新的工具，它通过降低内存需求，使得在消费级硬件上训练大型语言模型成为可能，为研究人员和从业者提供了新的可能性。
推荐理由：GaLore通过降低内存需求，使得在消费级硬件上训练大型语言模型成为可能，为研究人员和从业者提供了新的可能性。
Hugging Face Blog精选AI 评分6565 NPHardEval 推理能力排行榜：通过复杂度和动态更新评估大型语言模型
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准，通过计算复杂度对 LLM 进行评估，并每月更新以防止过拟合。
推荐理由：NPHardEval 通过计算复杂度评估大型语言模型的推理能力，为读者提供了评估 LLM 推理能力的全新视角。
Hugging Face BlogAI 评分3535 Wav2Vec2-BERT 在低资源语音识别中的应用与优化
MetaAI 发布的 Wav2Vec2-BERT 模型，通过预训练和微调，在低资源语音识别任务中表现出色，仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face Blog精选AI 评分8282 混合专家（MoE）模型详解
本文深入探讨了混合专家（MoE）模型，包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案，对了解MoE模型有重要价值。
推荐理由：本文深入探讨了混合专家（MoE）模型，包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案，对了解MoE模型有重要价值。
OpenAI NewsAI 评分1616 OpenAI 数据合作伙伴关系
OpenAI 宣布与数据合作伙伴共同创建用于 AI 训练的开源和私有数据集。该合作旨在通过多方协作丰富训练数据来源，支持人工智能模型的持续开发与优化。
Hugging Face BlogAI 评分4545 Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具，用户只需一行代码即可创建交互式可视化，识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入，深入了解数据段和模型失败模式。此外，Spotlight 还允许用户自定义数据检查工作流程，并找到相关的数据样本和聚类进行检查。
Hugging Face BlogAI 评分5252 通过TRL使用DDPO微调Stable Diffusion模型
Hugging Face的TRL库发布了DDPOTrainer，用于微调Stable Diffusion模型，提高图像生成质量。
Hugging Face BlogAI 评分5555 Llama 2在Amazon SageMaker上的基准测试分析
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试，分析了不同配置下的性能和成本，为用户提供了优化部署的建议。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分4545 MMS Adapter 模型微调助力低资源语言语音识别
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调，该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言，包括濒危语言，有助于保护语言多样性。
Hugging Face BlogAI 评分4242 Autoformer 模型在时间序列预测中的有效性分析
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析，指出该模型在三个数据集上的表现优于 DLinear 模型，并介绍了其分解层和自相关机制。
Hugging Face BlogAI 评分3535 Hugging Face Hub新增功能：使用DuckDB分析50,000+数据集
Hugging Face Hub新增使用DuckDB分析数据集的功能，支持用户对存储在Hub上的数据集进行SQL查询，提高数据分析效率。该功能将所有公共数据集自动转换为Parquet文件，方便用户通过简单的HTTP调用访问。
Hugging Face BlogAI 评分4242 InstructPix2Pix：通过指令微调 Stable Diffusion 进行图像处理
Hugging Face 探索了使用 InstructPix2Pix 指令微调 Stable Diffusion，使其能够根据用户指令对输入图像进行编辑。通过创建指令提示数据集，研究人员成功地将 FLAN V2 的指令微调理念应用于图像翻译和图像处理任务，如卡通化、去雨和去噪。实验结果表明，这种方法能够有效地提高模型对特定图像编辑指令的执行能力。
Hugging Face Blog精选AI 评分7070 Hugging Face 安全审计确认 Safetensors 库安全，将成为默认格式
Hugging Face 与 EleutherAI 和 Stability AI 合作，对 Safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。Safetensors 是一个用于保存和加载张量的库，具有安全、懒加载和快速加载等特性。
推荐理由：Hugging Face 对 safetensors 库进行了安全审计，确认其安全性，并计划将其作为默认格式。读者可以了解其安全特性和应用场景。
Hugging Face BlogAI 评分4545 BigCode 大规模文档级近似去重技术揭秘
Hugging Face 博客介绍了 BigCode 的大规模文档级近似去重技术，旨在解决数据重复问题，提高模型训练效率和数据质量。该技术通过 MinHash LSH 等方法，在 OpenWebText2、Pile-CC 等大型数据集上实现了显著的去重效果，同时验证了其在代码模型上的有效性。
Hugging Face BlogAI 评分4040 Databricks 与 Hugging Face 合作：大型语言模型训练和调优速度提升高达 40%
Databricks 推出与 Hugging Face 的合作，通过 Apache Spark™ dataframe 直接创建 Hugging Face Dataset，简化模型训练和调优流程。新功能将 Spark 的数据处理效率和 Hugging Face 的数据集优化相结合，将 16GB 数据集的处理时间从 22 分钟缩短至 12 分钟，速度提升超过 40%。
Hugging Face BlogAI 评分4040 Graphormer 模型在图分类中的应用教程
Microsoft 的 Graphormer 模型在 Hugging Face Transformers 库中被用于图分类任务，本文介绍了如何使用该模型进行图分类，包括数据加载、预处理、模型加载和微调等步骤。Graphormer 模型通过预训练和微调，能够有效地对图数据进行分类。
Hugging Face BlogAI 评分4040 Hugging Face 与 Flower 联合实现联邦学习教程
本教程展示了如何利用 Hugging Face 和 Flower 在多个客户端上联合训练语言模型。以对 IMDB 评分数据集进行序列分类为例，微调预训练的 Transformer 模型（distilBERT），以检测电影评分是正面还是负面。
Hugging Face Blog精选AI 评分7070 深入探讨视觉-语言模型
本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
推荐理由：本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
OpenAI NewsAI 评分1313 OpenAI 应用 AI 研究科学家 Lilian Weng 谈持续学习的力量
OpenAI 应用 AI 研究科学家 Lilian Weng 探讨了持续学习在人工智能领域的重要性。该观点出自 OpenAI News，强调了模型通过不断获取新知识以提升性能的关键作用。
Hugging Face Blog精选AI 评分6565 Hugging Face探讨机器学习中的偏见问题
Hugging Face团队探讨了机器学习中的偏见问题，并分享了他们的工具和方法，以帮助识别和减轻偏见，构建更公平、更安全的机器学习系统。
推荐理由：文章深入探讨了机器学习中的偏见问题，并提供了Hugging Face团队开发的工具和方法，读者可以了解如何识别和减轻偏见，以及如何构建更公平、更安全的机器学习系统。
Hugging Face BlogAI 评分4242 Hugging Face 🤗 Datasets：音频数据集下载与准备指南
Hugging Face 🤗 Datasets 是一个开源库，支持用户下载和准备来自所有领域的音频数据集。其简洁的 API 允许用户通过一行 Python 代码下载和准备数据集，并提供了高效的预处理功能。
Hugging Face Blog精选AI 评分8585 从人类反馈中进行强化学习：RLHF技术详解
本文详细介绍了从人类反馈中进行强化学习（RLHF）的技术，包括其原理、训练过程、应用案例以及开源工具。
推荐理由：本文详细介绍了RLHF技术及其应用，对理解语言模型的发展具有重要意义。
Hugging Face Blog精选AI 评分7070 VQ-Diffusion：一种基于离散潜在空间的图像生成模型
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型，它使用离散潜在空间进行噪声和去噪过程，为图像生成领域带来了新的研究方向。
推荐理由：VQ-Diffusion 是一种新颖的图像生成模型，其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
Hugging Face BlogAI 评分4040 Concrete-ML 库实现基于同态加密的加密数据情感分析
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密（FHE）环境下进行机器学习模型训练的方法，通过结合 transformers 和 XGBoost 实现对加密数据的情感分析，并提供了详细的教程和示例。
Hugging Face BlogAI 评分4040 Dreambooth 技术训练 Stable Diffusion 模型：Hugging Face 提供训练脚本与优化建议
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本，并提供了优化建议。实验表明，低学习率与合适的训练步数能提高图像质量，训练人脸模型时需更多步数。此外，使用先验保持技术可减少人脸训练中的过拟合问题。
Hugging Face BlogAI 评分4040 Hugging Face 🤗 Transformers 指导：多语言语音识别模型 Whisper 微调教程
OpenAI 发布的 Whisper 模型，基于 680,000 小时的标注音频转录数据进行预训练，支持 96 种语言，包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤，包括数据准备、特征提取、微调和评估。通过微调， Whisper 模型在低资源语言上表现出色，仅需 8 小时微调数据即可达到良好性能。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布评估语言模型偏见的工具 🤗 Evaluate
Hugging Face 发布了 🤗 Evaluate 工具，用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法，帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由：该工具提供了评估大型语言模型偏见的方法，有助于读者了解模型在偏见方面的表现。
Hugging Face Blog精选AI 评分6060 MTEB：大规模文本嵌入基准发布
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务，目前汇总了超过 2000 个结果。MTEB 还支持多语言模型，并提供了开源代码库供用户提交模型和结果。
推荐理由：MTEB 提供了一个全面的文本嵌入模型性能基准，读者可以了解不同模型在不同任务上的表现，从而选择最适合自己的模型。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出零样本评估工具
Hugging Face 推出零样本评估工具，支持研究人员评估大型语言模型，无需编写代码，并支持开源生态和评测基准。
推荐理由：该工具使研究人员能够轻松评估大型语言模型，并支持零样本评估，有助于推动开源生态和评测基准的发展。
Hugging Face BlogAI 评分4545 Hugging Face 发布 Decision Transformers，实现离线决策强化学习
Hugging Face 推出 Decision Transformers，一种基于 Transformer 的决策模型，通过序列建模实现强化学习。该模型可离线训练，使用预训练权重，并支持自定义数据预处理。在 Gym HalfCheetah 环境中，该模型可学习专家行为，实现半猫奔跑。
Hugging Face BlogAI 评分2323 如何使用 Megatron-LM 训练语言模型
Hugging Face 发布教程，指导用户利用 NVIDIA 的 Megatron-LM 框架在 GPU 上高效训练 GPT2 等语言模型。该框架通过 Fused CUDA Kernels 和优化的 DataLoader 显著提升训练速度，并支持将模型转换为 🤗 Transformers 格式。
Hugging Face BlogAI 评分3737 Hugging Face Transformers 与 Habana Gaudi 联合预训练 BERT-base 模型教程
Hugging Face 发布教程，介绍如何使用 Habana Gaudi 基于的 DL1 实例在 AWS 上从零开始预训练 BERT-base 模型，利用 Gaudi 的成本性能优势。教程使用 Hugging Face Transformers、Optimum Habana 和 Datasets 库，通过掩码语言建模预训练 BERT-base 模型。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Skops：开源机器学习模型托管与协作新工具
Hugging Face 推出 Skops，一款开源机器学习模型托管与协作工具，支持将 scikit-learn 模型托管在 Hugging Face Hub，创建模型卡片进行文档化和协作。Skops 可用于模型训练、保存、配置文件生成、模型卡片创建、模型评估和可视化等功能。
Hugging Face BlogAI 评分2828 Hugging Face 深度强化学习课程讲解 PPO 算法原理与实现
Hugging Face 在深度强化学习课程中解析 Proximal Policy Optimization (PPO) 算法，通过裁剪概率比至 [1−ϵ,1+ϵ] 范围限制策略更新幅度以提升训练稳定性。
Hugging Face BlogAI 评分5555 Nyströmformer：通过 Nyström 方法近似自注意力机制
Nyströmformer 通过 Nyström 方法近似自注意力机制，在 NLP 和 CV 任务上表现优异，并提供了开源实现。
Hugging Face BlogAI 评分3232 🤗 Datasets 新增音频与视觉文档及 ImageFolder 功能
Hugging Face 为 🤗 Datasets 库发布新的音频和图像数据集文档，更新 Quickstart 并引入 `to_tf_dataset` 函数以简化 TensorFlow 数据转换。新增 `ImageFolder` 构建器支持无需编写脚本即可加载图像分类、描述及目标检测数据集。团队计划未来推出 `AudioFolder` 以进一步标准化音频数据处理流程。
Hugging Face BlogAI 评分2828 如何使用对抗数据动态训练模型
Hugging Face 演示了利用动态对抗数据收集（DADC）提升 MNIST 手写数字识别模型的鲁棒性。通过 🤗 Spaces 让用户绘制数字以欺骗模型，并标记这些对抗样本用于后续训练。该方法旨在解决静态基准测试饱和与偏差问题，构建更贴合人类使用场景的可靠模型。