TTS Arena：野外科大语言模型语音合成基准评测
Hugging Face 推出 TTS Arena，一个用于比较语音合成模型质量的平台，用户可提交文本，对比不同模型发音，并投票选择最佳模型。该平台旨在通过社区投票结果，公开展示最高评分的模型，并允许开发者比较开源与专有模型。
#评测/基准
#评测/基准
今日 4 条Hugging Face BlogAI 评分4545
Hugging Face BlogAI 评分5555 Hugging Face推出Open Ko-LLM评测基准
Hugging Face推出Open Ko-LLM评测基准，旨在评估韩语大语言模型的能力，为韩语LLM的发展提供了重要的评估平台。
Hugging Face BlogAI 评分4545 AMD Pervasive AI Developer Contest！Hugging Face与AMD合作，提供前沿AI模型部署支持
AMD与Hugging Face合作，举办Pervasive AI开发者大赛，提供700个AMD平台，总奖金高达16万美元，鼓励开发者创建独特的AI应用。Hugging Face和AMD为AMD GPU提供原生支持，并支持ONNX模型执行、Optimum-Benchmark、DeepSpeed等工具，助力开发者快速构建AI应用。
Hugging Face BlogAI 评分3737 Hugging Face 发布企业场景排行榜：评估语言模型在真实世界企业用例中的性能
Hugging Face 推出企业场景排行榜，旨在评估语言模型在真实世界企业用例中的性能，支持6个任务，包括金融、法律、创意写作等，部分数据集为闭源，以避免测试集污染。
Hugging Face BlogAI 评分4545 TRL IPO 纠正：直接偏好优化方法在 LLM 预设中的评估
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正，并重新运行了实验，结果显示 IPO 与 DPO 相当，优于 KTO。评估了三种无强化学习的 LLM 对齐算法：DPO、IPO 和 KTO，在两个经过监督微调的 7b LLM 上进行实验，发现关键超参数需要调整以实现最佳结果。
Hugging Face BlogAI 评分3535 Hugging Face 推出 HHEM 欺幻觉榜：基于 HF 模板打造的开源评估工具
Hugging Face 推出基于 Hugging Face Leaderboard 模板的 HHEM 欺幻觉榜，用于评估大型语言模型（LLM）生成文本的幻觉程度。该榜支持开源和商业模型，如 Llama 2、GPT-4 和 Claude，旨在推动 LLM 幻觉评估的民主化。HHEM 使用 Hugging Face Leaderboard 模板，支持动态更新，并鼓励社区提交新模型进行评估。
Hugging Face BlogAI 评分5050 SetFitABSA：基于SetFit的少样本方面情感分析技术
SetFitABSA是一种高效的少样本方面情感分析技术，由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练，包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比，SetFitABSA无需提示词，训练速度快，且仅需少量标记样本。在少样本场景中，SetFitABSA甚至优于Llama2和T5等生成模型。
Hugging Face BlogAI 评分4545 Open LLM Leaderboard: DROP 深度分析
Open LLM Leaderboard 添加了 DROP 模型评测，但发现多数模型 f1 分数低于 10。分析发现，模型在处理浮点数答案时存在中断问题，且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记，新分数与平均性能相关性更好。
Hugging Face BlogAI 评分3535 Hugging Face Blog：Roberta、Llama 2 和 Mistral 在灾难推文分析中的性能比较：LoRA 深度解析
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能，使用 LoRA 技术进行微调，发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face BlogAI 评分4545 OpenAI RLHF 代码库复现：PPO实现细节解析
本文详细解析了OpenAI的RLHF代码库复现，重点关注PPO实现细节，包括奖励模型、策略训练、PyTorch Adam优化器等，旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线，为教育和学习目的提供简单易读的参考实现。
Hugging Face BlogAI 评分4545 Hugging Face 在 AI 伦理和社会议题上的行动与发声
Hugging Face 积极参与 AI 伦理讨论，向欧盟、英国和美国立法者提供 AI 监管建议，CEO Clem 向美国国会作证，首席伦理科学家 Meg 向民主党核心小组发表评论。此外，Hugging Face 与媒体合作，就 AI 能源使用、偏见、性别问题等发表观点，并推出 AI 音频课程、开放访问临床语言模型资源等。
Hugging Face BlogAI 评分5555 Llama 2在Amazon SageMaker上的基准测试分析
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试，分析了不同配置下的性能和成本，为用户提供了优化部署的建议。
Hugging Face BlogAI 评分4242 Hugging Face Transformer 量化方案概述
Hugging Face Transformer 支持多种量化方案，包括 bitsandbytes 和 auto-gptq，旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用，支持跨模态互操作性，而 auto-gptq 量化方案在文本生成方面速度更快，支持高达 2 位的量化精度。
OpenAI NewsAI 评分5050 ChatGPT Enterprise 介绍
OpenAI 推出 ChatGPT Enterprise，提供企业级安全和隐私保护，并具备最强大的 ChatGPT 版本。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分4545 Hugging Face首届开源AI游戏马拉松结果公布
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松，共有88款游戏提交，其中Snip It获得冠军。活动鼓励开发者使用开源AI工具，如Stable Diffusion和GPT-4，展示了开源AI在游戏开发中的潜力。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。
Hugging Face BlogAI 评分4242 Autoformer 模型在时间序列预测中的有效性分析
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析，指出该模型在三个数据集上的表现优于 DLinear 模型，并介绍了其分解层和自相关机制。
Hugging Face BlogAI 评分4545 Q8-Chat：基于Xeon的高效生成式AI体验
Q8-Chat模型通过SmoothQuant技术实现8位量化，在保持模型质量的同时，将模型大小缩小约2倍，显著降低推理延迟，在Xeon CPU平台上实现高效运行。
Hugging Face BlogAI 评分4545 Hugging Face 推出伦理开放机器学习计划
Hugging Face 推出伦理开放机器学习计划，旨在通过促进伦理机器学习工具和案例，帮助用户发现和参与伦理相关的机器学习工作。该计划包括六个高层次的伦理类别标签，以及一系列保障措施，如标记功能、社区讨论板监控、模型卡片详细记录等，以降低潜在危害。
OpenAI NewsAI 评分4545 Stripe 利用 GPT-4 优化用户体验和打击欺诈
Stripe 引入 GPT-4 模型，提升用户体验并加强欺诈防御能力。
Hugging Face BlogAI 评分4545 Hugging Face 发布 Diffusers 库伦理指南
Hugging Face 发布了 Diffusers 库的伦理框架，旨在指导维护者关于社区贡献的技术决策，强调透明度、一致性、简洁性和可访问性，并提供一系列安全特性和机制，如社区标签、偏见探索和评估、安全 Stable Diffusion 等。
Hugging Face BlogAI 评分4545 Hugging Face加速Witty Works写作助手开发成功案例
Witty Works利用Hugging Face的专家加速计划，通过迁移学习预训练的spaCy模型，构建了写作助手，用于检测和过滤潜在偏见词汇。Hugging Face专家建议使用Sentence Transformers架构和SetFit库进行微调，以减少标注数据量并提高效率。最终，Witty Works在Azure上部署了模型，实现了低延迟。
Hugging Face BlogAI 评分4040 Hugging Face 推出 AI vs. AI 深度强化学习多智能体竞赛系统
Hugging Face 推出 AI vs. AI，一个基于深度强化学习的多智能体竞赛系统，通过匹配算法、数据集和排行榜评估强化学习模型在多智能体环境中的性能。该系统采用 ELO 评分系统，通过模型间对抗性比赛生成相对技能评分，为多智能体环境提供一种稳健的评估技术。
Hugging Face BlogAI 评分4545 Intel Sapphire Rapids CPU加速PyTorch Transformers - 第二部分
Intel Sapphire Rapids CPU通过结合集群服务器和Intel Extension for PyTorch库，实现了与上一代Xeon相比的8倍速度提升，并展示了在Hugging Face Optimum Intel库支持下，对NLP模型进行推理的性能测试。
Hugging Face BlogAI 评分4040 Dreambooth 技术训练 Stable Diffusion 模型：Hugging Face 提供训练脚本与优化建议
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本，并提供了优化建议。实验表明，低学习率与合适的训练步数能提高图像质量，训练人脸模型时需更多步数。此外，使用先验保持技术可减少人脸训练中的过拟合问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布评估语言模型偏见的工具 🤗 Evaluate
Hugging Face 发布了 🤗 Evaluate 工具，用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法，帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由：该工具提供了评估大型语言模型偏见的方法，有助于读者了解模型在偏见方面的表现。
Hugging Face Blog精选AI 评分6060 MTEB：大规模文本嵌入基准发布
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务，目前汇总了超过 2000 个结果。MTEB 还支持多语言模型，并提供了开源代码库供用户提交模型和结果。
推荐理由：MTEB 提供了一个全面的文本嵌入模型性能基准，读者可以了解不同模型在不同任务上的表现，从而选择最适合自己的模型。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出零样本评估工具
Hugging Face 推出零样本评估工具，支持研究人员评估大型语言模型，无需编写代码，并支持开源生态和评测基准。
推荐理由：该工具使研究人员能够轻松评估大型语言模型，并支持零样本评估，有助于推动开源生态和评测基准的发展。
Hugging Face BlogAI 评分5353 Hugging Face 发布 Evaluation on the Hub 无代码模型评估工具
Hugging Face 推出 Evaluation on the Hub，这是一项由 AutoTrain 驱动的新功能，允许用户在 Hub 上无需编写代码即可对任意模型在任意数据集上进行评估。该工具通过 Pull Request 自动将验证后的性能结果写入模型卡片元数据，并提供排行榜以辅助模型对比。目前支持文本分类、命名实体识别等任务，旨在解决现代 AI 评估中的繁琐与可复现性问题。
OpenAI NewsAI 评分2727 GPT-4.0 引入人类反馈，提升AI系统评估难度任务
OpenAI 的 GPT-4.0 引入人类反馈机制，以增强对难以评估任务的AI系统监督，旨在提升AI系统的评估准确性。
OpenAI NewsAI 评分55 OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同举办 NeurIPS 2020 竞赛
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛，采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
OpenAI NewsAI 评分2626 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境。该基准旨在直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分4242 OpenAI Five 在 The International 2018 中负于顶级 Dota 2 选手
OpenAI Five 在温哥华举办的 The International 2018 赛事中，以两局皆负的战绩输给了顶级 Dota 2 玩家。尽管最终失利，OpenAI Five 在两场比赛的前 20–35 分钟内均保持了良好的获胜机会。
OpenAI NewsAI 评分5050 OpenAI Five 基准测试结果：击败顶尖 Dota 玩家团队
OpenAI Five 在三局两胜制比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 Dota 玩家团队。该团队成员均为 99.95 百分位玩家，其中四人拥有职业比赛经验。
OpenAI NewsAI 评分55 OpenAI Five 基准赛完成
OpenAI 五人组基准赛已圆满结束。
OpenAI NewsAI 评分3535 OpenAI 训练的智能体通过单次演示学会玩 Montezuma’s Revenge，得分超74,500分
OpenAI 训练的智能体通过单次人类演示学会玩 Montezuma’s Revenge，得分高达74,500分，优于之前任何已发布结果；采用与 OpenAI Five 相同的强化学习算法 PPO 进行游戏得分优化。
OpenAI NewsAI 评分55 OpenAI 启动 Retro Contest 强化学习迁移竞赛
OpenAI 推出强化学习迁移竞赛 Retro Contest，旨在评估算法从先前经验中泛化的能力。
OpenAI NewsAI 评分3535 OpenAI 发布针对块稀疏神经网络架构的GPU内核
OpenAI 推出针对块稀疏神经网络架构的GPU内核，该内核能实现比cuBLAS或cuSPARSE快数个数量级的运行速度；已应用于文本情感分析和文本及图像生成模型，取得业界领先成果。