跳到正文

#评测/基准

今日 0 条
9月7日周一
9月6日周日
9月3日周四
9月2日周三
9月1日周二
8月31日周一
8月24日周一
8月21日周五
  1. Hugging Face Blog62

    语音识别基准优化测量

    研究人员通过实验发现,一些语音识别模型在基准测试中表现出优化行为,即通过学习基准特定的模式来提高分数,而非真正提升识别能力。

    推荐理由:原文通过实验揭示了语音识别模型在基准测试中的优化行为,对模型选择和评估有重要参考价值。

8月20日周四
8月18日周二
8月17日周一
8月13日周四
  1. Microsoft Research47

    MindTopo 测试揭示多模态大语言模型的拓扑推理能力

    Microsoft Research 推出的 MindTopo 基准测试评估了多模态大语言模型在拓扑推理方面的能力,结果显示模型在静态图像识别方面表现优于交互式任务,表明它们在保持拓扑理解方面存在困难。MindTopo 通过五个类别(连续性、分离、顺序、封闭和结)和两个认知水平(推理和规划)来评估模型,发现模型在静态推理方面表现较好,但在交互式规划方面表现较差。

8月11日周二
8月10日周一
8月5日周三
8月4日周二
7月30日周四
7月29日周三
7月17日周五
7月15日周三
7月13日周一
7月1日周三
6月30日周二
6月24日周三
6月18日周四
6月17日周三
6月13日周六
  1. Google Research45

    Gemini 研究如何利用 AI 帮助用户理解皮肤状况

    Google Research 的 Gemini 团队通过一项大规模定量研究,展示了 AI 辅助工具在帮助用户识别皮肤状况和确定下一步行动方面的能力提升。研究显示,使用 AI 工具的用户在识别皮肤状况的准确性上提高了近三倍,但确定下一步行动的准确性提升有限。此外,研究还强调了从受惠社区获取更深入反馈的重要性。

6月11日周四
  1. Google Research77

    Google Research 提出机器学习未学习审计新框架

    Google Research 提出了一种新的框架,用于审计机器学习模型的未学习过程,以提高审计的敏感性和准确性。该框架利用正则化 f-Divergence 核测试,可以检测到复杂的数据分布变化,并支持隐私审计和机器学习未学习评估。

    推荐理由:原文提出了一个新的框架,用于审计机器学习模型的未学习过程,读者可以了解该框架如何提高审计的敏感性和准确性。

5月28日周四
5月22日周五
5月20日周三
5月14日周四
5月12日周二
5月11日周一
5月7日周四