AraGen：重新思考 LLM 评估的 3C3H 评测基准和排行榜
AraGen 是一个针对阿拉伯语 LLM 的生成任务基准和排行榜，基于 3C3H 评估方法，旨在更全面地评估 LLM 的性能，包括事实准确性和可用性。
推荐理由：AraGen 引入了新的评估方法 3C3H，旨在更全面地评估 LLM 的性能，对 LLM 评估领域有重要意义。
#评测/基准
#评测/基准
今日 10 条Hugging Face Blog精选AI 评分7070
Hugging Face Blog精选AI 评分6767 Hugging Face 案例研究：利用 LLM 优化金融数据命名实体识别
Hugging Face 案例研究：Hugging Face 与 Capital Fund Management 合作，利用大型语言模型和 Hugging Face 生态系统优化金融数据中的命名实体识别，通过 LLM 辅助标注和微调小型模型，提高了准确率并降低了运营成本。
推荐理由：该案例展示了如何利用大型语言模型优化金融数据中的命名实体识别，为读者提供了实际应用中的性能和成本效益分析。
Hugging Face Blog精选AI 评分7070 FlagEval Debate：首个多语言大型语言模型辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，支持英语、中文、阿拉伯语和韩语辩论竞赛，旨在评估大型语言模型在交互式场景中的推理能力和语言能力。
推荐理由：FlagEval Debate 平台通过多语言支持和开发者定制功能，为大型语言模型提供了一种新的评估方法，有助于了解模型在交互式场景中的表现。
Hugging Face Blog精选AI 评分6565 Hugging Face 推出日语大型语言模型 Open Leaderboard
Hugging Face 与 LLM-jp 合作推出了日语大型语言模型 Open Leaderboard，包含超过 20 个数据集，用于评估日语 LLM 的性能。
推荐理由：该 leaderboard 为日本 LLM 提供了评估平台，有助于推动日本 LLM 的发展和研究。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 Judge Arena：LLM 评估基准平台
Hugging Face 发布了 Judge Arena，一个用于比较不同 LLM 作为评估者的表现的平台。用户可以选择样本进行评估，平台将提供两个 LLM 评估者的评分和理由，用户可以根据自己的判断进行投票。平台收集的投票结果将显示在排行榜上，帮助开发者选择合适的模型进行评估。
推荐理由：Judge Arena 提供了一个平台，让用户可以比较不同 LLM 作为评估者的表现，有助于开发者选择合适的模型进行评估。
Mistral AIAI 评分3535 Mistral Batch API发布，降低AI应用成本50%
Mistral AI推出Batch API，以50%低于同步API调用的成本，高效处理大量请求。适用于数据量优先的AI应用，如客户反馈分析、文档摘要和翻译、向量嵌入等。API适用于所有Mistral模型，并即将在云服务合作伙伴推出。
Mistral AIAI 评分4545 Mistral AI 发布内容审核 API，支持多语言分类
Mistral AI 推出内容审核 API，支持阿拉伯语、中文、英语等9种语言分类，旨在帮助用户实现更可扩展和稳健的内容审核。该模型可对对话上下文中的最后一条消息进行分类，并针对模型生成的有害内容如无效建议和 PII 提供安全防护。
OpenAI NewsAI 评分2525 OpenAI 推出事实性基准 SimpleQA
OpenAI 发布名为 SimpleQA 的事实性基准，用于衡量语言模型回答简短事实性问题（fact-seeking questions）的能力。该基准专注于评估模型在短问答场景下的事实准确性表现。
Hugging Face BlogAI 评分3232 Hugging Face Transformers 更新：解决梯度累积问题
Hugging Face 的 Transformers 团队迅速响应了关于梯度累积问题的报告，通过更新代码和发布修复，确保了在梯度累积过程中损失计算的准确性。此外，团队还开放了 API，允许用户直接传递自定义损失函数，以增强模型的灵活性和适应性。
OpenAI NewsAI 评分3030 OpenAI 发布 MLE-bench：评估机器学习智能体在 ML 工程中的表现
OpenAI 推出 MLE-bench，这是一个用于衡量 AI 智能体在机器学习工程任务中表现的基准测试。该基准旨在评估智能体执行实际机器学习工程工作的能力。
Hugging Face BlogAI 评分5555 BenCzechMark：首个针对捷克语大型语言模型的评估套件
BenCzechMark 是首个针对捷克语大型语言模型的评估套件，旨在全面评估 LLM 在捷克语中的能力，包括推理、语法、信息提取、语言建模等方面。
Hugging Face BlogAI 评分4040 Hugging Face Daily Papers 页面功能探索
Hugging Face Daily Papers 页面自推出以来，已收录超过 3,700 篇论文，拥有超过 12k 订阅者。该页面提供作者论文认领、论文提交、与作者互动、相关资源链接、点赞推荐、相似论文推荐、多语言评论和翻译、订阅等功能，旨在帮助开发者、研究人员及时了解 AI 领域最新研究进展。
OpenAI NewsAI 评分3030 OpenAI 发布《将 AI 用于工作：数百次成功部署的经验教训》
OpenAI 发布报告，总结数百次AI成功部署案例，强调模型与业务需求匹配、数据质量及模型可解释性为关键成功因素。
Hugging Face BlogAI 评分4040 Infini-Attention实验失败：为何我们仍需探索？
Google研究人员发布的Infini-Attention实验表明，随着压缩内存次数的增加，其性能会下降。尽管如此，Ring Attention、YaRN和rope scaling仍然是扩展预训练模型到更长上下文长度的最佳方法。实验中，研究人员尝试将Llama 3 8B的上下文长度从8k扩展到1百万，但遇到了挑战。
OpenAI NewsAI 评分5050 OpenAI 发布 SWE-bench Verified
OpenAI 推出经过人工验证的 SWE-bench 子集，旨在更可靠地评估 AI 模型解决真实世界软件问题的能力。
Hugging Face BlogAI 评分4040 LAVE：基于LLM的零样本VQA评估在Docmatix上的应用——我们是否还需要微调？
Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估，发现微调模型在DocVQA上的表现良好，但在基准测试中得分较低。研究提出了LAVE（LLM-Assisted VQA Evaluation）评估指标，以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明，LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。
OpenAI NewsAI 评分3535 SearchGPT：OpenAI 新搜索功能原型
OpenAI 测试了 SearchGPT，这是一个新搜索功能原型，提供快速、及时且来源清晰的答案。
OpenAI NewsAI 评分3030 Prover-Verifier Games 提升语言模型输出可读性的 OpenAI 研究
OpenAI 的研究显示，Prover-Verifier Games 可以提升语言模型输出的可读性，使 AI 解决方案更清晰、易于验证，并提高人类和机器的信任度。
Hugging Face Blog精选AI 评分8585 Hugging Face 发布 SmolLM 模型：高效且强大的小语言模型家族
Hugging Face 发布了 SmolLM 模型，这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练，并在多个基准测试中表现出色。
推荐理由：SmolLM 模型展示了小语言模型在高质量数据集上的高效训练，实现了性能和规模的强平衡，为读者提供了关于小语言模型性能的参考。
Hugging Face BlogAI 评分4040 Hugging Face Dataset Hub 探索自动 PII 检测功能：Presidio 报告
Hugging Face Dataset Hub 推出 Presidio 自动 PII 检测工具，帮助用户识别数据集中的个人隐私信息，提升机器学习模型的隐私保护。Presidio 报告可帮助用户了解数据集中 PII 的存在情况，从而做出更明智的决策。
Hugging Face BlogAI 评分4040 ProtST 在 Intel Gaudi 2 上的加速部署与微调
MILA 和 Intel Labs 推出的蛋白质语言模型 ProtST 在 Hugging Face Hub 上发布，支持在 Intel Gaudi 2 加速器上高效运行和微调。与 NVIDIA A100 相比，Gaudi 2 在推理和微调任务上分别提供 1.76 倍和 2.92 倍的速度提升。
OpenAI NewsAI 评分4040 GPT-4 模型 CriticGPT：辅助人类训练师发现 ChatGPT 响应中的错误
OpenAI 推出的 CriticGPT 模型基于 GPT-4，用于生成对 ChatGPT 响应的批评，帮助人类训练师在强化学习与人类反馈（RLHF）过程中识别错误。
Hugging Face BlogAI 评分4545 Hugging Face Accelerate 中的 DeepSpeed 与 FSDP：差异与融合
Hugging Face Accelerate 提供了 DeepSpeed 和 PyTorch FSDP 两种 ZeRO 算法实现，本文探讨了两者在精度、混合精度处理和内存消耗方面的差异。
OpenAI NewsAI 评分2020 OpenAI 探索语音引擎技术及安全研究
OpenAI 深入研究其文本到语音模型背后的技术，并持续进行安全研究，以提升模型性能和安全性。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 AI 图像生成模型评测基准和竞技场
Hugging Face 发布了 AI 图像生成模型评测基准和竞技场，旨在通过人类偏好排名比较开源和闭源模型。
推荐理由：该评测基准涵盖了开源和闭源模型，为读者提供了全面的比较视角。
Hugging Face BlogAI 评分4040 Hugging Face TGI Benchmarking 工具：文本生成推理性能评估
Hugging Face 推出 TGI Benchmarking 工具，用于评估文本生成推理（TGI）的性能，帮助用户了解如何优化部署以适应不同需求。该工具提供吞吐量和延迟的评估，并支持用户自定义配置，以实现更好的用户体验。
Hugging Face Blog精选AI 评分6262 CyberSecEval 2 - 大型语言模型网络安全风险全面评估框架
Hugging Face 发布了 CyberSecEval 2 评测框架，用于评估大型语言模型（LLM）的网络安全风险，包括代码解释器滥用、攻击性网络安全能力和提示注入攻击等。该框架旨在帮助开发者提高 LLM 的网络安全安全性。
推荐理由：CyberSecEval 2 评测框架为评估大型语言模型（LLM）的网络安全风险提供了全面的基准，揭示了行业改进和持续挑战。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出 Open Arabic LLM Leaderboard（OALL）
Hugging Face 推出了 Open Arabic LLM Leaderboard（OALL），旨在评估和比较阿拉伯大型语言模型（LLM）的性能，促进阿拉伯 NLP 的发展。
推荐理由：OALL 提供了针对阿拉伯语言处理的基准，有助于促进阿拉伯 NLP 的发展，丰富了全球 NLP 领域的工具和资源。
Hugging Face BlogAI 评分5555 Hugging Face 推出针对希伯来语言模型的开放排行榜
Hugging Face 推出针对希伯来语言模型的开放排行榜，旨在评估和提升 Hebrew LLMs 的性能，包含四个关键数据集，涵盖问答、情感分析、Winograd Schema Challenge 和翻译等任务。
Hugging Face Blog精选AI 评分6565 Hugging Face发布LLM性能排行榜
Hugging Face发布了一个LLM性能排行榜，旨在帮助AI工程师在AI应用中选择合适的LLM和API提供商，考虑了质量、价格和速度等多个指标。
推荐理由：该排行榜提供了关于不同LLM的全面指标，帮助AI工程师做出决策，具有参考价值。
Hugging Face BlogAI 评分4545 Hugging Face 探索提升提示词一致性的方法
Hugging Face 的 Leaderboards and Evals 研究团队发现，LLM 的基准性能与提示词格式密切相关。他们通过实验发现，模型在相同输入信息下，输出结果对提示词格式的微小变化极为敏感。为了提高提示词的一致性，Hugging Face 与 Dottxt 合作，探索了通过结构化生成来约束模型输出，以减少提示词格式变化带来的影响。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出 LiveCodeBench 评测基准，全面评估代码 LLMs
Hugging Face 推出 LiveCodeBench 评测基准，基于 LiveCodeBench，由加州大学伯克利分校、麻省理工学院和康奈尔大学的研究人员开发，用于衡量 LLMs 的代码生成能力。
推荐理由：LiveCodeBench 评测基准的发布为代码 LLMs 提供了更全面、无污染的评估，有助于了解不同模型的能力和泛化能力。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 ConTextual 数据集，评估多模态模型在文本丰富场景中的推理能力
Hugging Face 发布了 ConTextual 数据集，用于评估多模态模型在文本丰富场景中的推理能力。该数据集包含 506 个具有挑战性的指令，涵盖了 8 个现实世界的视觉场景。
推荐理由：ConTextual 数据集的发布为评估多模态模型在文本丰富场景中的推理能力提供了新的基准，有助于推动相关领域的研究进展。
Hugging Face BlogAI 评分4545 TTS Arena：野外科大语言模型语音合成基准评测
Hugging Face 推出 TTS Arena，一个用于比较语音合成模型质量的平台，用户可提交文本，对比不同模型发音，并投票选择最佳模型。该平台旨在通过社区投票结果，公开展示最高评分的模型，并允许开发者比较开源与专有模型。
Hugging Face BlogAI 评分5555 Hugging Face推出Open Ko-LLM评测基准
Hugging Face推出Open Ko-LLM评测基准，旨在评估韩语大语言模型的能力，为韩语LLM的发展提供了重要的评估平台。
Hugging Face BlogAI 评分4545 AMD Pervasive AI Developer Contest！Hugging Face与AMD合作，提供前沿AI模型部署支持
AMD与Hugging Face合作，举办Pervasive AI开发者大赛，提供700个AMD平台，总奖金高达16万美元，鼓励开发者创建独特的AI应用。Hugging Face和AMD为AMD GPU提供原生支持，并支持ONNX模型执行、Optimum-Benchmark、DeepSpeed等工具，助力开发者快速构建AI应用。
Hugging Face BlogAI 评分3737 Hugging Face 发布企业场景排行榜：评估语言模型在真实世界企业用例中的性能
Hugging Face 推出企业场景排行榜，旨在评估语言模型在真实世界企业用例中的性能，支持6个任务，包括金融、法律、创意写作等，部分数据集为闭源，以避免测试集污染。
Hugging Face BlogAI 评分4545 TRL IPO 纠正：直接偏好优化方法在 LLM 预设中的评估
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正，并重新运行了实验，结果显示 IPO 与 DPO 相当，优于 KTO。评估了三种无强化学习的 LLM 对齐算法：DPO、IPO 和 KTO，在两个经过监督微调的 7b LLM 上进行实验，发现关键超参数需要调整以实现最佳结果。
Hugging Face BlogAI 评分3535 Hugging Face 推出 HHEM 欺幻觉榜：基于 HF 模板打造的开源评估工具
Hugging Face 推出基于 Hugging Face Leaderboard 模板的 HHEM 欺幻觉榜，用于评估大型语言模型（LLM）生成文本的幻觉程度。该榜支持开源和商业模型，如 Llama 2、GPT-4 和 Claude，旨在推动 LLM 幻觉评估的民主化。HHEM 使用 Hugging Face Leaderboard 模板，支持动态更新，并鼓励社区提交新模型进行评估。
Hugging Face BlogAI 评分5050 SetFitABSA：基于SetFit的少样本方面情感分析技术
SetFitABSA是一种高效的少样本方面情感分析技术，由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练，包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比，SetFitABSA无需提示词，训练速度快，且仅需少量标记样本。在少样本场景中，SetFitABSA甚至优于Llama2和T5等生成模型。