跳到正文

#评测/基准

今日 0 条
7月17日周五
7月15日周三
7月1日周三
6月30日周二
6月24日周三
6月18日周四
6月17日周三
6月13日周六
  1. Google Research45

    Gemini 研究如何利用 AI 帮助用户理解皮肤状况

    Google Research 的 Gemini 团队通过一项大规模定量研究,展示了 AI 辅助工具在帮助用户识别皮肤状况和确定下一步行动方面的能力提升。研究显示,使用 AI 工具的用户在识别皮肤状况的准确性上提高了近三倍,但确定下一步行动的准确性提升有限。此外,研究还强调了从受惠社区获取更深入反馈的重要性。

6月11日周四
  1. Google Research77

    Google Research 提出机器学习未学习审计新框架

    Google Research 提出了一种新的框架,用于审计机器学习模型的未学习过程,以提高审计的敏感性和准确性。该框架利用正则化 f-Divergence 核测试,可以检测到复杂的数据分布变化,并支持隐私审计和机器学习未学习评估。

    推荐理由:原文提出了一个新的框架,用于审计机器学习模型的未学习过程,读者可以了解该框架如何提高审计的敏感性和准确性。

5月22日周五
5月20日周三
5月14日周四
5月12日周二
5月11日周一
5月7日周四
5月6日周三
5月5日周二
4月30日周四
4月28日周二
4月22日周三
4月21日周二
  1. Hugging Face Blog70

    QIMMA:首个以质量优先的阿拉伯语LLM评测平台

    QIMMA是一个针对阿拉伯语LLM的评测平台,通过质量验证和代码评估,为阿拉伯语NLP研究提供了更可靠的数据。QIMMA整合了14个源基准的109个子集,涵盖了7个领域,包括文化、STEM、法律、医疗、安全、诗歌和文学以及软件开发。

    推荐理由:QIMMA是一个针对阿拉伯语LLM的评测平台,通过质量验证和代码评估,为阿拉伯语NLP研究提供了更可靠的数据。

4月20日周一
3月24日周二
  1. Hugging Face Blog70

    Hugging Face 发布 EVA 语音智能体评估框架

    Hugging Face 发布了 EVA 语音智能体评估框架,旨在评估语音智能体的准确性和用户体验。该框架使用真实对话场景,并提供了基准测试结果。

    推荐理由:EVA框架为评估语音智能体提供了全面的评估方法,有助于读者了解语音智能体在准确性和用户体验方面的表现。

3月19日周四
3月18日周三
3月17日周二
3月16日周一
3月11日周三
3月10日周二
  1. Hugging Face Blog70

    16个开源异步强化学习库的比较分析

    某研究机构对16个开源异步强化学习库进行了详细比较分析,包括架构设计、缓冲区设计、权重同步协议、陈旧数据管理、部分回滚处理、LoRA支持以及分布式训练后端等方面,为理解和实现异步强化学习库提供了重要参考。

    推荐理由:原文详细比较了16个开源的异步强化学习库,分析了它们在架构设计上的异同,对了解异步强化学习库的设计和实现有重要参考价值。

3月5日周四
2月26日周四
2月23日周一
2月20日周五
2月13日周五
2月12日周四
  1. Hugging Face Blog65

    OpenEnv 实践:评估工具使用智能体在真实环境中的表现

    OpenEnv 是 Meta 和 Hugging Face 开发的一个开源框架,用于评估 AI 代理在真实系统中的表现。Turing 贡献了一个生产级的日历管理环境,用于研究工具使用代理在现实约束下的表现。

    推荐理由:OpenEnv 提供了一个评估 AI 代理在真实环境中的表现的平台,通过 Calendar Gym 等工具,可以更全面地了解代理的局限性和改进方向。

2月4日周三
1月29日周四