跳到正文

#评测/基准

今日 6 条
1月7日周三
1月2日周五
12月11日周四
12月9日周二
  1. Google DeepMind65

    Google DeepMind 发布 FACTS Benchmark Suite 评估大型语言模型事实性

    Google DeepMind 发布了 FACTS Benchmark Suite,这是一个用于评估大型语言模型事实性的基准套件,包括三个额外的基准:参数基准、搜索基准和多模态基准。该套件旨在帮助改进大型语言模型在提供准确信息方面的性能。

    推荐理由:FACTS Benchmark Suite 是一个用于评估大型语言模型事实性的基准套件,读者可以了解其评估方法和结果,从而对大型语言模型的事实性有更深入的了解。

12月3日周三
11月20日周四
  1. Google DeepMind45

    Gemini应用引入AI图像验证功能

    Google DeepMind在Gemini应用中引入AI图像验证功能,利用SynthID数字水印技术验证图像是否由Google AI生成或编辑。目前,SynthID已为超过200亿条AI生成内容添加水印,并正在测试SynthID Detector验证工具。未来,将扩展验证功能至视频和音频格式,并与行业伙伴合作提升内容透明度和真实性标准。

11月19日周三
11月4日周二
10月15日周三
10月14日周二
10月9日周四
10月1日周三
  1. Hugging Face Blog65

    Hugging Face 推出检索嵌入基准 (RTEB) - 新标准

    Hugging Face 推出了检索嵌入基准 (RTEB),这是一个新的基准,旨在可靠地评估嵌入模型在现实世界应用中的检索准确性。RTEB 采用开放和私有数据集的混合策略,旨在创建一个公平、透明且以应用为导向的标准,以衡量模型在未见过的数据上的表现。

    推荐理由:RTEB 提供了一个混合数据集策略,旨在评估嵌入模型的检索准确性,对开发者来说是一个重要的工具。

9月29日周一
9月25日周四
9月15日周一
9月5日周五
9月2日周二
8月27日周三
8月12日周二
8月5日周二
8月4日周一
7月24日周四
7月23日周三
  1. Hugging Face Blog70

    TimeScope:评估视频大模型理解长视频的能力

    TimeScope 是一个开源的评测基准,用于衡量视觉-语言模型理解长视频的能力。通过在视频中插入短视频片段,评估模型在局部检索、信息综合和细粒度时间感知方面的能力。

    推荐理由:TimeScope 评测基准揭示了当前视频大模型在理解长视频方面的不足,为模型训练和评估提供了新的视角。

7月17日周四
7月4日周五
6月12日周四
  1. Hugging Face Blog45

    如何优化大型语言模型性能:处理长提示词的挑战

    TNG在24个H100 GPU集群上自托管多个大型语言模型,处理超过50个应用,每天消耗超过1亿个token并生成超过1000万个token。文章探讨了在处理长提示词时,如何优化LLM性能,包括长提示词阻塞队列的问题和并行预填充策略的改进。通过并行预填充不同请求,可以缩短请求的等待时间,但总完成时间仅略有改善。

5月12日周一
5月2日周五
4月30日周三
4月23日周三
4月16日周三
  1. Hugging Face Blog72

    HELMET:全面评估长上下文语言模型

    HELMET 是一个用于评估长上下文语言模型的综合基准,通过多样化的任务、可控的长度和复杂性以及可靠的评估方法,对 59 个 LCLMs 进行了评估,发现长上下文语言模型在复杂任务上仍有局限性。

    推荐理由:原文提出了 HELMET 评测框架,旨在评估长上下文语言模型,读者可以了解其在不同任务上的表现和局限性。

4月10日周四
4月9日周三
4月2日周三