Big Bench Audio：语音推理能力评估研究
Hugging Face 发布了 Big Bench Audio 数据集，用于评估语音语言模型的推理能力，并对比了 GPT-4o 和 Gemini 1.5 系列模型在不同语音推理配置下的表现。
推荐理由：该研究评估了语音推理能力，揭示了文本推理和语音推理之间的性能差距，为语音智能体的发展提供了重要参考。
今日 0 条
Hugging Face Blog精选AI 评分7070
Ethereum BlogAI 评分4040 Ethereum 2022 学术资助轮成果概览
Ethereum 2022 学术资助轮支持了多项区块链研究，包括增强共识最终性的可削减法定人数系统、私有结算对套利的影响模型、高效交易广播机制、零损失区块链安全研究、跨链认证查询协议等，涉及区块链安全、性能优化、经济影响等多个领域。
OpenAI NewsAI 评分3838 OpenAI o1 系统卡
OpenAI 发布 o1 和 o1-mini 的系统卡，详述了模型发布前的安全工作。报告涵盖了依据 Preparedness Framework 进行的外部红队测试及前沿风险评估。
Hugging Face Blog精选AI 评分7070 AraGen：重新思考 LLM 评估的 3C3H 评测基准和排行榜
AraGen 是一个针对阿拉伯语 LLM 的生成任务基准和排行榜，基于 3C3H 评估方法，旨在更全面地评估 LLM 的性能，包括事实准确性和可用性。
推荐理由：AraGen 引入了新的评估方法 3C3H，旨在更全面地评估 LLM 的性能，对 LLM 评估领域有重要意义。
Hugging Face Blog精选AI 评分6060 Transformer 模型中的位置编码：从 Sinusoidal Encoding 到 RoPE
本文深入探讨了 Transformer 模型中的位置编码，介绍了从 Sinusoidal Encoding 到 RoPE 的演变过程，并分析了 RoPE 在不同维度上的应用。
推荐理由：本文深入探讨了 Transformer 模型中的位置编码，介绍了从 Sinusoidal Encoding 到 RoPE 的演变过程，对理解 Transformer 模型具有重要意义。
OpenAI NewsAI 评分2525 OpenAI 推出事实性基准 SimpleQA
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实性问题（fact-seeking questions）的能力。该基准专注于评估模型在短问答场景下的事实准确性表现。
OpenAI NewsAI 评分3737 OpenAI 简化、稳定并扩展连续时间一致性模型
OpenAI 对连续时间一致性模型进行了简化、稳定与扩展，仅使用两步采样即可达到与主流扩散模型相当的样本质量。
Hugging Face BlogAI 评分4747 CinePile 2.0：利用对抗性精炼提升数据集质量
Hugging Face 发布了 CinePile 2.0，这是一个经过显著改进的长视频问答数据集。新数据集的改进依赖于一种新的对抗性数据集精炼方法，该方法可增强现有数据集并直接应用于未来数据集创建流程。CinePile 2.0 包含约 300,000 个训练样本和 5,000 个测试样本，其问题多样性和难度均优于现有数据集。
OpenAI NewsAI 评分3535 OpenAI 评估 ChatGPT 基于用户姓名的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同响应，以评估其公平性。研究利用 AI 助手处理数据以保护用户隐私。
OpenAI NewsAI 评分3030 OpenAI 发布 MLE-bench：评估机器学习智能体在 ML 工程中的表现
OpenAI 推出 MLE-bench，这是一个用于衡量 AI 智能体在机器学习工程任务中表现的基准测试。该基准旨在评估智能体执行实际机器学习工程工作的能力。
Hugging Face BlogAI 评分5555 BenCzechMark：首个针对捷克语大型语言模型的评估套件
BenCzechMark 是首个针对捷克语大型语言模型的评估套件，旨在全面评估 LLM 在捷克语中的能力，包括推理、语法、信息提取、语言建模等方面。
OpenAI NewsAI 评分5050 OpenAI 发布 SWE-bench Verified
OpenAI 推出经过人工验证的 SWE-bench 子集，旨在更可靠地评估 AI 模型解决真实世界软件问题的能力。
Hugging Face BlogAI 评分4040 LAVE：基于LLM的零样本VQA评估在Docmatix上的应用——我们是否还需要微调？
Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估，发现微调模型在DocVQA上的表现良好，但在基准测试中得分较低。研究提出了LAVE（LLM-Assisted VQA Evaluation）评估指标，以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明，LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。
OpenAI NewsAI 评分2525 OpenAI 利用基于规则奖励改进模型安全行为
OpenAI 开发并应用了一种名为 Rule-Based Rewards (RBRs) 的新方法，使模型在无需大量人工数据收集的情况下实现安全对齐。该技术通过基于规则的奖励机制优化模型行为，旨在提升安全性并降低对人工标注数据的依赖。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Docmatix：大规模文档视觉问答数据集
Hugging Face 发布了 Docmatix，一个用于文档视觉问答（DocVQA）的大规模数据集，包含 240 万张图像和 950 万个问答对。使用该数据集对 Florence-2 模型进行微调，在 DocVQA 任务上性能提升了 20%。
推荐理由：该数据集的发布有助于提升 DocVQA 模型的性能，对开源社区具有重要意义。
OpenAI NewsAI 评分1717 OpenAI 提出真实世界不良内容检测的整体方法
OpenAI 提出一种构建稳健且实用的自然语言分类系统的整体方法，用于真实世界的不良内容检测。该方案旨在解决现实场景下的内容审核挑战，提升检测系统的鲁棒性与实用性。
OpenAI NewsAI 评分3535 OpenAI 提出 Consistency Models
OpenAI 推出 Consistency Models，旨在解决扩散模型因迭代采样导致的生成速度慢问题。该模型通过一致性约束实现快速图像、音频及视频生成，无需依赖传统扩散模型的逐步去噪过程。
Hugging Face Blog精选AI 评分7070 BigCodeBench：代码生成基准的下一代 HumanEval
BigCodeBench 是一个评估大型语言模型 (LLM) 编程能力的基准，旨在解决现有基准如 HumanEval 在评估 LLM 编程能力方面的局限性，通过包含 1140 个函数级任务，挑战 LLM 在解决实际和具有挑战性的编程任务方面的能力。
推荐理由：BigCodeBench 作为评估大型语言模型编程能力的基准，为读者提供了评估 LLM 编程能力的参考框架。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出 Open Arabic LLM Leaderboard（OALL）
Hugging Face 推出了 Open Arabic LLM Leaderboard（OALL），旨在评估和比较阿拉伯大型语言模型（LLM）的性能，促进阿拉伯 NLP 的发展。
推荐理由：OALL 提供了针对阿拉伯语言处理的基准，有助于促进阿拉伯 NLP 的发展，丰富了全球 NLP 领域的工具和资源。
Hugging Face Blog精选AI 评分8585 StarCoder2-15B-Instruct: 代码生成中的自对齐方法
Hugging Face 发布了 StarCoder2-15B-Instruct-v0.1 模型，该模型通过自对齐的方式训练代码生成模型，不依赖强大的教师模型，在代码生成领域取得了显著的成果。
推荐理由：StarCoder2-15B-Instruct-v0.1 模型展示了如何通过自对齐的方式训练代码生成模型，不依赖强大的教师模型，为代码生成领域的研究提供了新的思路。
OpenAI NewsAI 评分3333 OpenAI 提出指令层级训练 LLM 优先处理特权指令
OpenAI 提出“指令层级”方法，旨在训练大语言模型（LLM）优先处理特权指令。当前 LLM 易受提示注入和越狱攻击，导致原始指令被恶意覆盖。该研究通过调整指令优先级来增强模型安全性。
Hugging Face Blog精选AI 评分7070 开放医疗LLM排行榜：评估医疗领域大型语言模型
Hugging Face推出了开放医疗LLM排行榜，旨在评估和比较不同大型语言模型在医疗任务和数据集上的性能。
推荐理由：该论文提出了一个针对医疗领域大型语言模型的评估平台，有助于推动医疗AI的发展。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 ConTextual 数据集，评估多模态模型在文本丰富场景中的推理能力
Hugging Face 发布了 ConTextual 数据集，用于评估多模态模型在文本丰富场景中的推理能力。该数据集包含 506 个具有挑战性的指令，涵盖了 8 个现实世界的视觉场景。
推荐理由：ConTextual 数据集的发布为评估多模态模型在文本丰富场景中的推理能力提供了新的基准，有助于推动相关领域的研究进展。
Hugging Face Blog精选AI 评分6565 NPHardEval 推理能力排行榜：通过复杂度和动态更新评估大型语言模型
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准，通过计算复杂度对 LLM 进行评估，并每月更新以防止过拟合。
推荐理由：NPHardEval 通过计算复杂度评估大型语言模型的推理能力，为读者提供了评估 LLM 推理能力的全新视角。
Hugging Face BlogAI 评分4242 Hugging Face PatchTST 模型详解与应用
Hugging Face 推出 PatchTST 模型，用于时间序列预测。该模型基于 Transformer 架构，通过将时间序列分割成子序列级别的 patch，并使用全局单变量模型进行编码，实现长序列预测。PatchTST 在电力数据集上展示了良好的预测能力，并支持零样本预测和微调。
Hugging Face Blog精选AI 评分6565 HuggingFace发布PatchTSMixer时间序列建模工具
HuggingFace与IBM Research合作发布了PatchTSMixer，这是一种基于MLP-Mixer架构的轻量级时间序列建模方法，在预测任务中表现优于现有模型。
推荐理由：PatchTSMixer在时间序列建模方面的性能优于现有模型，读者可以了解其应用和潜力。
Hugging Face BlogAI 评分4545 TRL IPO 纠正：直接偏好优化方法在 LLM 预设中的评估
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正，并重新运行了实验，结果显示 IPO 与 DPO 相当，优于 KTO。评估了三种无强化学习的 LLM 对齐算法：DPO、IPO 和 KTO，在两个经过监督微调的 7b LLM 上进行实验，发现关键超参数需要调整以实现最佳结果。
OpenAI NewsAI 评分4747 OpenAI 提出弱到强泛化以控制强模型
OpenAI 提出“弱到强泛化”这一超级对齐新研究方向，旨在利用深度学习的泛化特性实现用弱监督者控制强模型。该研究展示了初步的积极结果，探索了通过弱监督信号引导更强 AI 系统的可能性。
Hugging Face BlogAI 评分5050 SetFitABSA：基于SetFit的少样本方面情感分析技术
SetFitABSA是一种高效的少样本方面情感分析技术，由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练，包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比，SetFitABSA无需提示词，训练速度快，且仅需少量标记样本。在少样本场景中，SetFitABSA甚至优于Llama2和T5等生成模型。
Hugging Face BlogAI 评分4545 Open LLM Leaderboard: DROP 深度分析
Open LLM Leaderboard 添加了 DROP 模型评测，但发现多数模型 f1 分数低于 10。分析发现，模型在处理浮点数答案时存在中断问题，且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记，新分数与平均性能相关性更好。
Hugging Face BlogAI 评分3535 Hugging Face Blog：Roberta、Llama 2 和 Mistral 在灾难推文分析中的性能比较：LoRA 深度解析
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能，使用 LoRA 技术进行微调，发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face BlogAI 评分4545 OpenAI RLHF 代码库复现：PPO实现细节解析
本文详细解析了OpenAI的RLHF代码库复现，重点关注PPO实现细节，包括奖励模型、策略训练、PyTorch Adam优化器等，旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线，为教育和学习目的提供简单易读的参考实现。
Hugging Face BlogAI 评分4545 3D高斯分层技术：实时渲染的真实场景解析
Hugging Face Blog介绍了3D高斯分层技术，该技术通过将场景中的点云转换为高斯函数，实现实时渲染真实场景。该技术使用结构从运动（SfM）方法估计点云，并通过高斯分层进行渲染。此外，该技术还具有快速、可微分的优点，但需要较高的VRAM和磁盘空间。目前，该技术尚未与现有渲染管线兼容，但未来有望在更多渲染环境中得到应用。
Hugging Face BlogAI 评分4242 Autoformer 模型在时间序列预测中的有效性分析
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析，指出该模型在三个数据集上的表现优于 DLinear 模型，并介绍了其分解层和自相关机制。
OpenAI NewsAI 评分4343 GPT-4 自动解释并评分大语言模型神经元行为
OpenAI 利用 GPT-4 自动生成并评估大型语言模型中神经元行为的解释。团队发布了包含 GPT-2 所有神经元的不完美解释及评分数据集。
Hugging Face BlogAI 评分4242 Informer 模型在 Hugging Face Transformers 中实现多变量概率时间序列预测
Hugging Face 在其 Transformers 库中实现了 Informer 模型，用于多变量概率时间序列预测。该模型基于 Transformer 架构，采用 ProbSparse 注意力和 Distilling 操作，有效降低计算复杂度和内存占用，适用于长序列时间序列预测。
Hugging Face Blog精选AI 评分7070 深入探讨视觉-语言模型
本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
推荐理由：本文介绍了视觉-语言模型的研究进展，包括训练策略、应用领域和开源资源，对了解该领域有重要价值。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Mask2Former 和 OneFormer：通用图像分割神经网络
Hugging Face 发布了 Mask2Former 和 OneFormer，两种用于图像分割的神经网络，它们现在可在 Hugging Face Transformers 库中使用。Mask2Former 和 OneFormer 支持实例分割、语义分割和全景分割，并提供了使用指南和示例代码。
推荐理由：介绍了 Mask2Former 和 OneFormer 两种先进的图像分割神经网络，并提供了在 Hugging Face Transformers 库中使用的指南，对图像分割领域的研究者和开发者有参考价值。
OpenAI NewsAI 评分3131 OpenAI 联合研究预测语言模型在虚假信息中的潜在滥用及风险缓解
OpenAI 与乔治城大学、斯坦福互联网观察站合作，发布报告预测大语言模型被用于虚假信息的潜在威胁。该研究基于2021年10月汇集30位专家的研讨会及逾一年调研，提出分析潜在缓解措施的框架。
Hugging Face Blog精选AI 评分6060 图机器学习入门
本文介绍了图机器学习的基本概念、应用和代表性方法，包括图的结构、表示、预神经方法、图神经网络和图 Transformer。
推荐理由：本文介绍了图机器学习的基本概念、应用和代表性方法，对于想要了解该领域的读者具有参考价值。