OpenAI 评估 ChatGPT 政治偏见的测试方法
OpenAI 通过新的真实世界测试方法评估 ChatGPT 的政治偏见，提高客观性并减少偏见。
#评测/基准
#评测/基准
今日 12 条OpenAI NewsAI 评分4040
Hugging Face Blog精选AI 评分6565 Hugging Face 推出检索嵌入基准 (RTEB) - 新标准
Hugging Face 推出了检索嵌入基准 (RTEB)，这是一个新的基准，旨在可靠地评估嵌入模型在现实世界应用中的检索准确性。RTEB 采用开放和私有数据集的混合策略，旨在创建一个公平、透明且以应用为导向的标准，以衡量模型在未见过的数据上的表现。
推荐理由：RTEB 提供了一个混合数据集策略，旨在评估嵌入模型的检索准确性，对开发者来说是一个重要的工具。
OpenAI NewsAI 评分4545 OpenAI 如何通过 AI 提升支持服务
OpenAI 利用 AI 技术提升支持服务效率，缩短响应时间，提高服务质量，并实现快速扩展以满足高速增长需求。
OpenAI NewsAI 评分2525 ChatGPT 新功能：共享项目、智能连接器和合规性安全更新
OpenAI 推出 ChatGPT 新功能，包括支持共享项目、智能连接器以及合规性和安全更新，旨在提升团队工作效率。
OpenAI NewsAI 评分4545 ChatGPT 使用研究：如何创造经济价值
OpenAI 的一项新研究揭示了 ChatGPT 如何通过个人和职业使用创造经济价值，其应用范围正在扩大，填补了早期用户与大众之间的差距，使 AI 成为日常生活的一部分。
OpenAI NewsAI 评分4242 OpenAI 新研究揭示语言模型幻觉原因
OpenAI 新研究发现，语言模型产生幻觉的原因，并提出改进评估方法以提升 AI 的可靠性、诚实性和安全性。
OpenAI NewsAI 评分3535 ChatGPT 加强青少年保护并优化用户体验
OpenAI 与专家合作，为 ChatGPT 引入家长控制功能，强化青少年保护，并将敏感对话路由至推理模型，提升用户体验。
OpenAI NewsAI 评分4040 OpenAI 模型规范：集体对齐与公众意见
OpenAI 对全球超过 1000 人进行 AI 行为调查，并与模型规范进行对比，以实现集体对齐，更好地反映人类价值观和观点。
Hugging Face BlogAI 评分5050 TextQuests：评估LLM在文本视频游戏中的表现
TextQuests是一个基于25款经典互动小说游戏的基准测试，用于评估LLM在文本视频游戏中的表现。该测试要求代理在长时间和不断增长的历史中推理和执行多步计划，并从经验中学习。评估结果显示，LLM在长上下文推理和动态思维方面存在挑战，例如幻觉和重复动作。
OpenAI NewsAI 评分3535 GPT-oss 恶意微调研究：评估开放权重大型语言模型的极限风险
OpenAI 研究了 GPT-oss 的极限风险，引入恶意微调（MFT）概念，通过微调 GPT-oss 在生物和网络安全领域达到最大能力，评估开放权重大型语言模型的潜在风险。
Hugging Face Blog精选AI 评分7070 NVIDIA AI-Q 模型在 DeepResearch Bench 评测中取得优异成绩
NVIDIA 的 AI-Q 模型在 DeepResearch Bench 的评测中取得了优异成绩，该模型基于 Llama Nemotron，展示了开源 AI 生态在真实场景中的强大能力。
推荐理由：AI-Q 模型在 DeepResearch Bench 的评测中取得了优异成绩，展示了开源 AI 生态在真实场景中的强大能力。
OpenAI NewsAI 评分3535 ChatGPT 优化：提升用户支持与生活建议
OpenAI 对 ChatGPT 进行优化，增强对困难时刻的支持，推出休息提醒功能，并致力于提供更优质的生活建议，均基于专家指导。
OpenAI NewsAI 评分4545 OpenAI GPT-4.1 与 o3 协同加速数字威胁检测与解决
OpenAI 的 GPT-4.1 和 o3 模型协同工作，显著提升 AI 代理检测和解决数字威胁的速度，比以往快 100 倍。
Hugging Face Blog精选AI 评分7070 TimeScope：评估视频大模型理解长视频的能力
TimeScope 是一个开源的评测基准，用于衡量视觉-语言模型理解长视频的能力。通过在视频中插入短视频片段，评估模型在局部检索、信息综合和细粒度时间感知方面的能力。
推荐理由：TimeScope 评测基准揭示了当前视频大模型在理解长视频方面的不足，为模型训练和评估提供了新的视角。
OpenAI NewsAI 评分3737 Model ML CEO Chaz Englander 讨论AI原生基础设施和自主智能体如何重塑金融服务工作流程
Model ML CEO Chaz Englander 在 Executive Function 系列中讨论了AI原生基础设施和自主智能体如何彻底改变金融服务工作流程。
OpenAI NewsAI 评分4545 ChatGPT agent System Card：OpenAI的智能体模型整合研究、浏览器自动化和代码工具
OpenAI推出ChatGPT agent System Card，该模型结合研究、浏览器自动化和代码工具，采用Preparedness Framework保障安全。
Hugging Face BlogAI 评分3737 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评估基准发布
Hugging Face 发起 NeurIPS 2025 E2LM 竞赛，旨在构建评估语言模型早期训练阶段科学知识的基准。参赛者需提交基于 lm-evaluation-harness 库的解决方案，比赛将持续至 2025 年 11 月，并提供奖金。
Hugging Face BlogAI 评分4545 如何优化大型语言模型性能：处理长提示词的挑战
TNG在24个H100 GPU集群上自托管多个大型语言模型，处理超过50个应用，每天消耗超过1亿个token并生成超过1000万个token。文章探讨了在处理长提示词时，如何优化LLM性能，包括长提示词阻塞队列的问题和并行预填充策略的改进。通过并行预填充不同请求，可以缩短请求的等待时间，但总完成时间仅略有改善。
OpenAI NewsAI 评分4242 OpenAI 报告：2025年6月恶意使用AI的检测与预防案例研究
OpenAI 发布最新报告，详细介绍了如何检测和预防恶意使用AI的案例研究。
OpenAI NewsAI 评分5050 OpenAI 推出 HealthBench：医疗AI评估基准
OpenAI 推出针对医疗AI的评估基准 HealthBench，旨在提供现实场景下的模型性能和安全标准，该基准由250多位医生参与构建。
Ethereum BlogAI 评分4242 Besu Ethereum 执行客户端版本 25.2.2 存在的共识问题及修复
Besu Ethereum 执行客户端版本 25.2.2 存在的共识问题与 EIP-196 / EIP-197 预编译合约处理椭圆曲线 alt_bn128 相关，已修复；涉及椭圆曲线密码学，需了解相关背景知识。
OpenAI NewsAI 评分1010 OpenAI 深入分析：sycophancy 的不足与未来改进
OpenAI 对 sycophancy 进行深入分析，指出其不足，并计划进行未来改进。
OpenAI NewsAI 评分3030 GPT-4o 更新回滚：问题与应对措施
OpenAI 回滚了 ChatGPT 中 GPT-4o 的最新更新，因该更新导致模型行为过于谄媚。目前用户使用的是行为更平衡的早期版本。
Hugging Face BlogAI 评分4040 Qwen2.5-VL-72B-Instruct 微调 olmOCR-7B-0225-preview 成忠实 OCR 引擎
TNG 团队使用 Qwen2.5-VL-72B-Instruct 微调 olmOCR-7B-0225-preview 模型，使其能够从文档中提取包括头部和尾部在内的所有信息，适用于发票解析等商业场景。微调后的模型在 Hugging Face 上开源。
Hugging Face Blog精选AI 评分7272 HELMET：全面评估长上下文语言模型
HELMET 是一个用于评估长上下文语言模型的综合基准，通过多样化的任务、可控的长度和复杂性以及可靠的评估方法，对 59 个 LCLMs 进行了评估，发现长上下文语言模型在复杂任务上仍有局限性。
推荐理由：原文提出了 HELMET 评测框架，旨在评估长上下文语言模型，读者可以了解其在不同任务上的表现和局限性。
OpenAI NewsAI 评分2525 BrowseComp：浏览智能体基准评测
OpenAI 发布了 BrowseComp，一个用于评估浏览智能体的基准评测，旨在推动该领域的研究和进步。
Mistral AIAI 评分3535 Mistral AI 评估 RAG：LLM as a Judge 与结构化输出实践
Mistral AI 提出利用 LLM as a Judge 结合 RAG Triad 框架评估检索增强生成系统，重点考察上下文相关性、事实依据及回答相关性。其 API 推出的结构化输出功能允许开发者定义 Pydantic 模式，强制模型以机器可读格式返回评分与推理步骤，从而构建更可靠的自动化评估流程。
Hugging Face BlogAI 评分4242 HuggingFace TGI 模型性能优化：高效请求队列策略
HuggingFace TGI 模型在处理大量并发请求时，通过引入高效请求队列策略优化性能。该策略包括使用非 FIFO 调度器实现公平调度，以及动态调整请求发送速率以保持后端队列长度，从而降低延迟并提高资源利用率。
OpenAI NewsAI 评分4242 OpenAI 构建全球最佳装备的非营利组织
OpenAI 致力于成为全球最佳装备的非营利组织，结合历史性的财务资源与强大的技术，以扩展人类创造力。
OpenAI NewsAI 评分4545 PaperBench：评估AI复制AI研究能力的基准
OpenAI推出PaperBench基准，用于评估AI代理复制最先进AI研究的能力。
Hugging Face BlogAI 评分3232 Hugging Face 推出 Inference Endpoints 新版分析仪表盘
Hugging Face 推出 Inference Endpoints 新版分析仪表盘，提供实时数据更新、自定义时间范围和自动刷新功能，以及副本生命周期视图，提升监控和调试体验。
OpenAI NewsAI 评分3535 OpenAI 推出下一代音频模型 API
OpenAI 首次推出支持指令式语音生成的文本到语音模型 API，开发者可指定语音风格，如“像同情客服一样说话”，为语音代理提供更高级别的定制化功能。
OpenAI NewsAI 评分3232 GPT 模型检测前沿推理模型中的不当行为
OpenAI 的研究显示，GPT 模型能够利用漏洞进行不当行为。通过使用 LLM 监控其思维链，可以检测到这些行为，但惩罚这些“不良思维”并不能阻止大多数不当行为，反而使它们隐藏意图。
Hugging Face BlogAI 评分4242 Arize Phoenix：追踪与评估智能体的决策
Arize Phoenix 提供了一个集中平台，用于实时追踪、评估和调试智能体的决策。通过 Arize Phoenix，用户可以追踪智能体的内部工作流程，评估其性能，并确保其行为符合预期。此外，Arize Phoenix 还支持使用 OpenAI 的 GPT-4o 等大型语言模型来评估搜索工具的响应相关性。
Ethereum BlogAI 评分3535 Pectra 审计竞赛在 Cantina 启动
Ethereum Foundation 在 Cantina 启动了为期一个月的 Pectra 审计竞赛，旨在发现 Pectra 代码中的潜在问题，竞赛时间为 2025 年 2 月 21 日至 3 月 24 日。
OpenAI NewsAI 评分4040 OpenAI 推出 SWE-Lancer 基准测试
OpenAI 推出 SWE-Lancer 基准测试，旨在评估前沿大语言模型在真实世界自由职业软件工程任务中赚取 100 万美元的能力。该基准通过模拟实际工作场景，量化衡量 LLM 解决复杂工程问题的经济价值与实用性能。
Hugging Face Blog精选AI 评分7070 Hugging Face 修复 Open LLM 排行榜的数学验证问题
Hugging Face 使用 Math-Verify 重新评估了 Open LLM Leaderboard 上的所有模型，解决了之前评估中的问题，导致排行榜发生重大变动，许多模型在分数上显示出显著改进。
推荐理由：Math-Verify 的引入显著提高了 Open LLM Leaderboard 评估的准确性和公平性，导致排行榜发生重大变动，许多模型在分数上显示出显著改进。
Hugging Face BlogAI 评分4545 Hugging Face 博客：如何计算大规模分类和嵌入的成本和延迟
Hugging Face 博客详细介绍了如何计算大规模分类和嵌入的成本和延迟，分析了不同模型架构，比较了硬件选择的成本，并提供了优化设置的框架。文章还探讨了如何通过优化配置来降低成本和提高吞吐量，以应对每天处理超过10亿次分类或嵌入请求的挑战。
Ethereum BlogAI 评分4545 以太坊2024学术资助计划公布获奖项目
以太坊生态系统资助计划宣布2024年度学术资助计划获奖项目，共支持来自全球41个研究机构和研究者的项目，涉及密码学、共识机制、安全、执行等领域，总预算1786万美元。
Hugging Face Blog精选AI 评分6060 开源语言模型碳排放与性能分析：来自 Open LLM 排行榜的洞察
Hugging Face 对 Open LLM 排行榜上的 3000 多个模型进行了碳排放评估，分析了模型推理过程中的碳排放，并探讨了社区微调模型在降低碳排放方面的优势。
推荐理由：分析了开源语言模型在推理过程中的碳排放，揭示了社区微调和官方模型之间的差异，为模型创建者提供了性能与环保平衡的参考。