Open LLM Leaderboard: DROP 深度分析
Open LLM Leaderboard 添加了 DROP 模型评测，但发现多数模型 f1 分数低于 10。分析发现，模型在处理浮点数答案时存在中断问题，且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记，新分数与平均性能相关性更好。
#评测/基准
#评测/基准
今日 10 条Hugging Face BlogAI 评分4545
Hugging Face BlogAI 评分3535 Hugging Face Blog：Roberta、Llama 2 和 Mistral 在灾难推文分析中的性能比较：LoRA 深度解析
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能，使用 LoRA 技术进行微调，发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face BlogAI 评分4545 OpenAI RLHF 代码库复现：PPO实现细节解析
本文详细解析了OpenAI的RLHF代码库复现，重点关注PPO实现细节，包括奖励模型、策略训练、PyTorch Adam优化器等，旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线，为教育和学习目的提供简单易读的参考实现。
Hugging Face BlogAI 评分4545 Hugging Face 在 AI 伦理和社会议题上的行动与发声
Hugging Face 积极参与 AI 伦理讨论，向欧盟、英国和美国立法者提供 AI 监管建议，CEO Clem 向美国国会作证，首席伦理科学家 Meg 向民主党核心小组发表评论。此外，Hugging Face 与媒体合作，就 AI 能源使用、偏见、性别问题等发表观点，并推出 AI 音频课程、开放访问临床语言模型资源等。
Hugging Face BlogAI 评分5555 Llama 2在Amazon SageMaker上的基准测试分析
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试，分析了不同配置下的性能和成本，为用户提供了优化部署的建议。
Hugging Face BlogAI 评分4242 Hugging Face Transformer 量化方案概述
Hugging Face Transformer 支持多种量化方案，包括 bitsandbytes 和 auto-gptq，旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用，支持跨模态互操作性，而 auto-gptq 量化方案在文本生成方面速度更快，支持高达 2 位的量化精度。
OpenAI NewsAI 评分5050 ChatGPT Enterprise 介绍
OpenAI 推出 ChatGPT Enterprise，提供企业级安全和隐私保护，并具备最强大的 ChatGPT 版本。
Hugging Face BlogAI 评分5252 Hugging Face 推出 DPO 方法用于微调 Llama 2 模型
Hugging Face 推出 DPO 方法，用于微调 Llama 2 模型，并介绍了在 TRL 库中如何使用该方法。
Hugging Face BlogAI 评分4545 Hugging Face首届开源AI游戏马拉松结果公布
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松，共有88款游戏提交，其中Snip It获得冠军。活动鼓励开发者使用开源AI工具，如Stable Diffusion和GPT-4，展示了开源AI在游戏开发中的潜力。
Hugging Face BlogAI 评分3535 Hugging Face Expert Acceleration Program助力Writer开源模型贡献
Writer创始人Waseem Alshikh分享了公司从Hugging Face用户到贡献开源模型的历程，强调了Hugging Face Expert Acceleration Program对Writer的价值，并探讨了在CPU和GPU上大规模部署LLM的效率问题。
Ethereum BlogAI 评分4545 Ethereum 2023 学术资助计划公布，43个项目获超200万美元资助
Ethereum宣布2023年度学术资助计划获奖名单，共43个项目获得超过200万美元资助，涵盖密码学、经济学、执行层2、形式验证、P2P网络、安全和社会监管等多个领域。项目团队来自全球各地，包括美国、中国、英国、法国等。
Hugging Face BlogAI 评分4545 Hugging Face 对美国商务部 NTIA 人工智能问责政策请求的回应
Hugging Face 于 6 月 12 日对美国商务部 NTIA 的人工智能问责政策请求作出回应，强调文档和透明度规范在推动人工智能问责过程中的作用，并指出需要依靠技术众多利益相关者的全面专业知识、观点和技能来应对技术快速增长带来的挑战。
Hugging Face BlogAI 评分4242 Autoformer 模型在时间序列预测中的有效性分析
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析，指出该模型在三个数据集上的表现优于 DLinear 模型，并介绍了其分解层和自相关机制。
Hugging Face BlogAI 评分4545 Q8-Chat：基于Xeon的高效生成式AI体验
Q8-Chat模型通过SmoothQuant技术实现8位量化，在保持模型质量的同时，将模型大小缩小约2倍，显著降低推理延迟，在Xeon CPU平台上实现高效运行。
Hugging Face BlogAI 评分4545 Hugging Face 推出伦理开放机器学习计划
Hugging Face 推出伦理开放机器学习计划，旨在通过促进伦理机器学习工具和案例，帮助用户发现和参与伦理相关的机器学习工作。该计划包括六个高层次的伦理类别标签，以及一系列保障措施，如标记功能、社区讨论板监控、模型卡片详细记录等，以降低潜在危害。
OpenAI NewsAI 评分4545 Stripe 利用 GPT-4 优化用户体验和打击欺诈
Stripe 引入 GPT-4 模型，提升用户体验并加强欺诈防御能力。
Hugging Face BlogAI 评分4545 Hugging Face 发布 Diffusers 库伦理指南
Hugging Face 发布了 Diffusers 库的伦理框架，旨在指导维护者关于社区贡献的技术决策，强调透明度、一致性、简洁性和可访问性，并提供一系列安全特性和机制，如社区标签、偏见探索和评估、安全 Stable Diffusion 等。
Hugging Face BlogAI 评分4545 Hugging Face加速Witty Works写作助手开发成功案例
Witty Works利用Hugging Face的专家加速计划，通过迁移学习预训练的spaCy模型，构建了写作助手，用于检测和过滤潜在偏见词汇。Hugging Face专家建议使用Sentence Transformers架构和SetFit库进行微调，以减少标注数据量并提高效率。最终，Witty Works在Azure上部署了模型，实现了低延迟。
Hugging Face BlogAI 评分4040 Hugging Face 推出 AI vs. AI 深度强化学习多智能体竞赛系统
Hugging Face 推出 AI vs. AI，一个基于深度强化学习的多智能体竞赛系统，通过匹配算法、数据集和排行榜评估强化学习模型在多智能体环境中的性能。该系统采用 ELO 评分系统，通过模型间对抗性比赛生成相对技能评分，为多智能体环境提供一种稳健的评估技术。
Hugging Face BlogAI 评分4545 Intel Sapphire Rapids CPU加速PyTorch Transformers - 第二部分
Intel Sapphire Rapids CPU通过结合集群服务器和Intel Extension for PyTorch库，实现了与上一代Xeon相比的8倍速度提升，并展示了在Hugging Face Optimum Intel库支持下，对NLP模型进行推理的性能测试。
Ethereum BlogAI 评分4040 Ethereum KZG Ceremony Grant Round 支持计划
Ethereum 协议支持团队组织了 KZG Ceremony 支持计划，旨在资助不同实现方案和独特贡献方法，以促进 Ethereum 扩缩性倡议。资助申请截止至 2023 年 1 月 31 日，资助金额从 500 美元至 10,000 美元不等。
Ethereum BlogAI 评分4040 Merge Data Challenge 结果公布：Ethereum 合并数据挑战获奖者揭晓
Ethereum 基金会宣布 Merge 数据挑战获奖者，挑战持续约 9 周，参与者提交了 45 篇数据分析博客，奖品分为三个等级，总奖金达 42.5 千美元。挑战产生了新的工具、分析和可视化，有助于监测和理解以太坊的权益证明网络。
Hugging Face BlogAI 评分4040 Dreambooth 技术训练 Stable Diffusion 模型：Hugging Face 提供训练脚本与优化建议
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本，并提供了优化建议。实验表明，低学习率与合适的训练步数能提高图像质量，训练人脸模型时需更多步数。此外，使用先验保持技术可减少人脸训练中的过拟合问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布评估语言模型偏见的工具 🤗 Evaluate
Hugging Face 发布了 🤗 Evaluate 工具，用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法，帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由：该工具提供了评估大型语言模型偏见的方法，有助于读者了解模型在偏见方面的表现。
Hugging Face Blog精选AI 评分6060 MTEB：大规模文本嵌入基准发布
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务，目前汇总了超过 2000 个结果。MTEB 还支持多语言模型，并提供了开源代码库供用户提交模型和结果。
推荐理由：MTEB 提供了一个全面的文本嵌入模型性能基准，读者可以了解不同模型在不同任务上的表现，从而选择最适合自己的模型。
Hugging Face Blog精选AI 评分7070 Hugging Face 推出零样本评估工具
Hugging Face 推出零样本评估工具，支持研究人员评估大型语言模型，无需编写代码，并支持开源生态和评测基准。
推荐理由：该工具使研究人员能够轻松评估大型语言模型，并支持零样本评估，有助于推动开源生态和评测基准的发展。
Ethereum BlogAI 评分4040 Sepolia 测试网执行层升级公告
Sepolia 测试网将在 2022 年 8 月 17 日进行执行层升级，版本为 1735371，此升级将导致未过渡到权益证明的节点断开连接。升级仅涉及节点断开连接，不增加额外功能。节点运营商必须在区块 1735371 之前升级执行层客户端。
Ethereum BlogAI 评分4242 Ethereum Academic Grants Round 2022-2023 项目公布
Ethereum 宣布了 2022-2023 学年学术资助计划的 39 个获奖项目，总金额超过 200 万美元，涵盖经济、共识层、P2P 网络等多个领域，项目团队来自全球 16 个国家。
Hugging Face BlogAI 评分5353 Hugging Face 发布 Evaluation on the Hub 无代码模型评估工具
Hugging Face 推出 Evaluation on the Hub，这是一项由 AutoTrain 驱动的新功能，允许用户在 Hub 上无需编写代码即可对任意模型在任意数据集上进行评估。该工具通过 Pull Request 自动将验证后的性能结果写入模型卡片元数据，并提供排行榜以辅助模型对比。目前支持文本分类、命名实体识别等任务，旨在解决现代 AI 评估中的繁琐与可复现性问题。
Ethereum BlogAI 评分3535 GASOL 0.1.3 发布：以太坊智能合约优化工具升级
GASOL 团队发布 0.1.3 版本，优化以太坊智能合约的 gas 消耗。该工具可计算优化后的 EVM 序列，并生成对应的可执行字节码。GASOL 还支持内存和存储操作优化，并与 Yul 优化器进行效率比较。
OpenAI NewsAI 评分2727 GPT-4.0 引入人类反馈，提升AI系统评估难度任务
OpenAI 的 GPT-4.0 引入人类反馈机制，以增强对难以评估任务的AI系统监督，旨在提升AI系统的评估准确性。
Ethereum BlogAI 评分3737 Ethereum 2.0 验证：质押机制与节点安全策略
Ethereum 2.0 验证网络通过多种激励机制鼓励验证者行为，包括惩罚、不活跃泄露和削减。验证者应关注可能同时影响其他验证者的故障，如互联网/电源故障、硬件故障和云服务故障。此外，使用质押服务存在相关故障风险。
Ethereum BlogAI 评分3737 Medalla数据挑战赛结果公布
Ethereum Foundation宣布Medalla数据挑战赛结果，共收到23个团队提交的参赛作品，涵盖数据工具、可视化分析和测试网数据分析。
Ethereum BlogAI 评分4040 Ethereum eth2 Quick Update No. 16：Spadina 测试网即将上线，Medalla 数据挑战正在进行中
Ethereum 宣布 Spadina 测试网即将上线，旨在为主网发布前进行更多测试。同时，Medalla 数据挑战正在进行，鼓励更多人参与 eth2 分析和工具开发。此外，Ethereum 基金会和 Protocol Labs 正在资助对 blst BLS12-381 签名库进行审计，以确保其符合主网标准。
Ethereum BlogAI 评分4242 Ethereum Medalla 测试网进展更新 #15：客户端多样性、端到端演示及审计进展
Ethereum Medalla 测试网在经历了一次重大事故后，客户端软件变得更加稳健，目前拥有 39k 活跃验证者和 12k 在激活队列中。客户端多样性对于增强共识的鲁棒性和保护用户至关重要。
Ethereum BlogAI 评分4242 Eth2 测试网 Medalla：客户端多样性为何重要
Medalla 测试网因客户端多样性不足导致网络拥堵和节点故障，Prysm 节点时间错误导致网络瘫痪。Eth2 设计了激励机制，如活跃度惩罚和安全性惩罚，以鼓励验证者做出对网络最有利的选择。目前，Lighthouse、Teku、Nimbus 和 Prysm 等客户端相对稳定，鼓励用户尝试不同客户端以促进网络健康分布。
OpenAI NewsAI 评分55 OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同举办 NeurIPS 2020 竞赛
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛，采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
Ethereum BlogAI 评分4545 Ethereum Eth2 快速更新 #11：奖励翻倍、Schlesi 多客户端测试网进展、准备 v0.12 规范版本
Ethereum Eth2 Phase 0 奖励计划奖励翻倍至最高 2 万美元，以激励发现和报告核心规范中的错误；Schlesi 多客户端测试网持续运行，多个客户端已加入；Ethereum 正在为 v0.12 规范版本做准备，预计将是主网发布前的最后一次重大规范变更。
Ethereum BlogAI 评分4545 Ethereum 2.0 Phase 0 安全审计完成及预发布赏金计划启动
Least Authority 完成了 Ethereum 2.0 Phase 0 的全面安全审计，发现了多个潜在问题并提出改进建议；同时，Ethereum 基金会启动了 Phase 0 预发布赏金计划，奖励发现并报告核心规格中漏洞的用户，最高奖励可达 1 万美元。此外，eth1+eth2 通信已被统一至 Eth R&D Discord 服务器，以促进生态系统内的协作。
Ethereum BlogAI 评分4747 Ethereum 2.0 v0.11.0 发布：多客户端测试网稳定，GHOST 和 Casper 研究论文发布
Ethereum 2.0 v0.11.0 版本发布，为多客户端测试网提供稳定目标；GHOST 和 Casper 研究论文正式发布，为 eth2 的核心共识组件提供理论支持；多项研究显示多项式承诺有望实现无状态以太坊，减少状态证明所需空间；IETF BLS 标准更新，但预计不会影响以太坊 2.0 的主网部署。