跳到正文

#评测/基准

今日 12 条
5月5日周二
4月30日周四
4月28日周二
4月22日周三
4月21日周二
  1. Hugging Face Blog70

    QIMMA:首个以质量优先的阿拉伯语LLM评测平台

    QIMMA是一个针对阿拉伯语LLM的评测平台,通过质量验证和代码评估,为阿拉伯语NLP研究提供了更可靠的数据。QIMMA整合了14个源基准的109个子集,涵盖了7个领域,包括文化、STEM、法律、医疗、安全、诗歌和文学以及软件开发。

    推荐理由:QIMMA是一个针对阿拉伯语LLM的评测平台,通过质量验证和代码评估,为阿拉伯语NLP研究提供了更可靠的数据。

4月20日周一
3月24日周二
  1. Hugging Face Blog70

    Hugging Face 发布 EVA 语音智能体评估框架

    Hugging Face 发布了 EVA 语音智能体评估框架,旨在评估语音智能体的准确性和用户体验。该框架使用真实对话场景,并提供了基准测试结果。

    推荐理由:EVA框架为评估语音智能体提供了全面的评估方法,有助于读者了解语音智能体在准确性和用户体验方面的表现。

3月19日周四
3月18日周三
3月17日周二
3月16日周一
3月11日周三
3月10日周二
  1. Hugging Face Blog70

    16个开源异步强化学习库的比较分析

    某研究机构对16个开源异步强化学习库进行了详细比较分析,包括架构设计、缓冲区设计、权重同步协议、陈旧数据管理、部分回滚处理、LoRA支持以及分布式训练后端等方面,为理解和实现异步强化学习库提供了重要参考。

    推荐理由:原文详细比较了16个开源的异步强化学习库,分析了它们在架构设计上的异同,对了解异步强化学习库的设计和实现有重要参考价值。

3月9日周一
3月5日周四
2月26日周四
2月23日周一
2月20日周五
2月13日周五
2月12日周四
  1. Hugging Face Blog65

    OpenEnv 实践:评估工具使用智能体在真实环境中的表现

    OpenEnv 是 Meta 和 Hugging Face 开发的一个开源框架,用于评估 AI 代理在真实系统中的表现。Turing 贡献了一个生产级的日历管理环境,用于研究工具使用代理在现实约束下的表现。

    推荐理由:OpenEnv 提供了一个评估 AI 代理在真实环境中的表现的平台,通过 Calendar Gym 等工具,可以更全面地了解代理的局限性和改进方向。

2月4日周三
1月29日周四
1月28日周三
1月7日周三
1月2日周五
12月11日周四
12月10日周三
12月9日周二
  1. Google DeepMind65

    Google DeepMind 发布 FACTS Benchmark Suite 评估大型语言模型事实性

    Google DeepMind 发布了 FACTS Benchmark Suite,这是一个用于评估大型语言模型事实性的基准套件,包括三个额外的基准:参数基准、搜索基准和多模态基准。该套件旨在帮助改进大型语言模型在提供准确信息方面的性能。

    推荐理由:FACTS Benchmark Suite 是一个用于评估大型语言模型事实性的基准套件,读者可以了解其评估方法和结果,从而对大型语言模型的事实性有更深入的了解。

12月5日周五
12月3日周三
11月20日周四
  1. Google DeepMind45

    Gemini应用引入AI图像验证功能

    Google DeepMind在Gemini应用中引入AI图像验证功能,利用SynthID数字水印技术验证图像是否由Google AI生成或编辑。目前,SynthID已为超过200亿条AI生成内容添加水印,并正在测试SynthID Detector验证工具。未来,将扩展验证功能至视频和音频格式,并与行业伙伴合作提升内容透明度和真实性标准。

11月19日周三
11月17日周一
11月4日周二
10月15日周三
10月14日周二