Hugging Face 推出 Open Arabic LLM Leaderboard(OALL)
Hugging Face 推出了 Open Arabic LLM Leaderboard(OALL),旨在评估和比较阿拉伯大型语言模型(LLM)的性能,促进阿拉伯 NLP 的发展。
推荐理由:OALL 提供了针对阿拉伯语言处理的基准,有助于促进阿拉伯 NLP 的发展,丰富了全球 NLP 领域的工具和资源。
Hugging Face 推出了 Open Arabic LLM Leaderboard(OALL),旨在评估和比较阿拉伯大型语言模型(LLM)的性能,促进阿拉伯 NLP 的发展。
推荐理由:OALL 提供了针对阿拉伯语言处理的基准,有助于促进阿拉伯 NLP 的发展,丰富了全球 NLP 领域的工具和资源。
Hugging Face 推出针对希伯来语言模型的开放排行榜,旨在评估和提升 Hebrew LLMs 的性能,包含四个关键数据集,涵盖问答、情感分析、Winograd Schema Challenge 和翻译等任务。
Hugging Face 发布了 StarCoder2-15B-Instruct-v0.1 模型,该模型通过自对齐的方式训练代码生成模型,不依赖强大的教师模型,在代码生成领域取得了显著的成果。
推荐理由:StarCoder2-15B-Instruct-v0.1 模型展示了如何通过自对齐的方式训练代码生成模型,不依赖强大的教师模型,为代码生成领域的研究提供了新的思路。
OpenAI 提出“指令层级”方法,旨在训练大语言模型(LLM)优先处理特权指令。当前 LLM 易受提示注入和越狱攻击,导致原始指令被恶意覆盖。该研究通过调整指令优先级来增强模型安全性。
Hugging Face推出了开放医疗LLM排行榜,旨在评估和比较不同大型语言模型在医疗任务和数据集上的性能。
推荐理由:该论文提出了一个针对医疗领域大型语言模型的评估平台,有助于推动医疗AI的发展。
Hugging Face 发布了 ConTextual 数据集,用于评估多模态模型在文本丰富场景中的推理能力。该数据集包含 506 个具有挑战性的指令,涵盖了 8 个现实世界的视觉场景。
推荐理由:ConTextual 数据集的发布为评估多模态模型在文本丰富场景中的推理能力提供了新的基准,有助于推动相关领域的研究进展。
NPHardEval 是由密歇根大学和罗格斯大学研究人员开发的一种评估大型语言模型推理能力的基准,通过计算复杂度对 LLM 进行评估,并每月更新以防止过拟合。
推荐理由:NPHardEval 通过计算复杂度评估大型语言模型的推理能力,为读者提供了评估 LLM 推理能力的全新视角。
Hugging Face发布了一个名为幻觉排行榜的项目,旨在评估大型语言模型在生成内容中的事实准确性和可靠性,通过多个基准测试对各种模型进行评估,为AI/NLP领域的研究和开发提供参考。
推荐理由:该研究通过建立幻觉排行榜,为评估大型语言模型在生成内容中的事实准确性和可靠性提供了新的工具,对AI/NLP领域的研究和开发具有重要意义。
Secure Learning Lab 推出了 DecodingTrust 平台,用于评估 LLM 的可信度,包括毒性、刻板印象偏见、对抗鲁棒性等多个方面。同时,发布了新的 LLM 安全排行榜,基于 HF 排行榜模板,提供对 LLM 安全性的评估。
推荐理由:DecodingTrust 平台提供了对 LLM 安全性的全面评估,对理解 LLM 的安全性和风险具有重要意义。
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正,并重新运行了实验,结果显示 IPO 与 DPO 相当,优于 KTO。评估了三种无强化学习的 LLM 对齐算法:DPO、IPO 和 KTO,在两个经过监督微调的 7b LLM 上进行实验,发现关键超参数需要调整以实现最佳结果。
2023年,开源大型语言模型(LLM)发展迅速,本文回顾了这一年开源LLM的发展,包括模型架构、训练数据、模型大小、性能和可访问性等方面的变化。
推荐理由:本文回顾了2023年开源大型语言模型的发展,分析了模型架构、训练数据、模型大小、性能和可访问性等方面的变化,对读者了解开源LLM的发展趋势有重要价值。
OpenAI 提出“弱到强泛化”这一超级对齐新研究方向,旨在利用深度学习的泛化特性实现用弱监督者控制强模型。该研究展示了初步的积极结果,探索了通过弱监督信号引导更强 AI 系统的可能性。
本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
推荐理由:本文深入探讨了混合专家(MoE)模型,包括其原理、训练方法、与Transformer的结合以及在实际应用中的挑战和解决方案,对了解MoE模型有重要价值。
SetFitABSA是一种高效的少样本方面情感分析技术,由Intel Labs和Hugging Face共同推出。该技术通过三个步骤进行训练,包括提取方面候选词、方面/非方面分类以及情感极性分类。与基于LLM的方法相比,SetFitABSA无需提示词,训练速度快,且仅需少量标记样本。在少样本场景中,SetFitABSA甚至优于Llama2和T5等生成模型。
Hugging Face Blog 对比了 RoBERTa、Mistral-7b 和 Llama-2-7b 三种大型语言模型在灾难推文分析任务中的性能,使用 LoRA 技术进行微调,发现 Mistral 和 Llama 2 在参数规模为 70 亿的模型中表现优异。
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试,分析了不同配置下的性能和成本,为用户提供了优化部署的建议。
Hugging Face Blog介绍了3D高斯分层技术,该技术通过将场景中的点云转换为高斯函数,实现实时渲染真实场景。该技术使用结构从运动(SfM)方法估计点云,并通过高斯分层进行渲染。此外,该技术还具有快速、可微分的优点,但需要较高的VRAM和磁盘空间。目前,该技术尚未与现有渲染管线兼容,但未来有望在更多渲染环境中得到应用。
Hugging Face 发布了目标检测排行榜,并详细解析了目标检测的评估方法和常用指标,包括 IoU、AP 和 AR,以及如何选择最佳模型。
Ethereum 发布了执行层规范(EELS),这是一个基于 Python 的参考实现,旨在提高 Ethereum 执行客户端的可读性和清晰度,并支持 EIP 的原型设计和测试。
Hugging Face 博客文章探讨了 Open LLM 领导板上的 MMLU 评估结果差异,分析了不同评估方法对模型性能的影响。
推荐理由:原文探讨了不同评估方法对模型性能的影响,读者可以了解如何选择合适的评估方式。
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析,指出该模型在三个数据集上的表现优于 DLinear 模型,并介绍了其分解层和自相关机制。
Hugging Face 博客发布了一篇论文,探讨了大型语言模型在数据标注方面的能力,并介绍了 Open LLM Leaderboard 评估套件的扩展。
推荐理由:该研究探讨了大型语言模型在数据标注方面的能力,为读者提供了对模型性能的评估方法。
OpenAI 发布了一项新研究,提出使用过程监督(Process Supervision)来改进大型语言模型的数学推理能力。该方法通过对模型生成的中间步骤进行奖励建模,而非仅关注最终答案,从而显著提升了模型在复杂推理任务上的准确性和可解释性。
OpenAI 利用 GPT-4 自动生成并评估大型语言模型中神经元行为的解释。团队发布了包含 GPT-2 所有神经元的不完美解释及评分数据集。
本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,如Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo、Video Diffusion Models (VDM)、MagicVideo、Tune-a-Video、Video LDM、Text2Video-Zero、Runway Gen1和Gen2、NUWA-XL等。
推荐理由:本文深入探讨了文本到视频模型的研究进展,包括挑战、方法和最新成果,对了解该领域的发展具有重要意义。
Hugging Face 在其 Transformers 库中实现了 Informer 模型,用于多变量概率时间序列预测。该模型基于 Transformer 架构,采用 ProbSparse 注意力和 Distilling 操作,有效降低计算复杂度和内存占用,适用于长序列时间序列预测。
本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
推荐理由:本文介绍了视觉-语言模型的研究进展,包括训练策略、应用领域和开源资源,对了解该领域有重要价值。
本文详细介绍了对话智能体的技术,包括RLHF、IFT、CoT等,并分析了这些技术在对话智能体中的应用和效果。
推荐理由:文章详细介绍了对话智能体的技术,包括RLHF、IFT、CoT等,对了解对话智能体的发展具有重要意义。
OpenAI 与乔治城大学、斯坦福互联网观察站合作,发布报告预测大语言模型被用于虚假信息的潜在威胁。该研究基于2021年10月汇集30位专家的研讨会及逾一年调研,提出分析潜在缓解措施的框架。
本文详细介绍了从人类反馈中进行强化学习(RLHF)的技术,包括其原理、训练过程、应用案例以及开源工具。
推荐理由:本文详细介绍了RLHF技术及其应用,对理解语言模型的发展具有重要意义。
Hugging Face 博客发布了一篇关于使用 🤗 Transformers 进行概率时间序列预测的研究论文,介绍了该方法在时间序列预测领域的应用。
推荐理由:该研究介绍了使用 Transformer 进行概率时间序列预测的方法,为读者提供了对时间序列预测领域最新进展的了解。
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型,它使用离散潜在空间进行噪声和去噪过程,为图像生成领域带来了新的研究方向。
推荐理由:VQ-Diffusion 是一种新颖的图像生成模型,其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
OpenRAIL 是一种针对 AI 模型的开放和负责任的许可框架,旨在解决当前开源许可在 AI 模型使用中的不足,并推动 AI 模型的负责任使用。
推荐理由:OpenRAIL 提出了一种新的 AI 许可框架,旨在促进 AI 模型的开放和负责任的使用,读者可以了解其具体内容和潜在影响。
Nyströmformer 通过 Nyström 方法近似自注意力机制,在 NLP 和 CV 任务上表现优异,并提供了开源实现。
OpenAI 利用海量无标签人类游戏视频进行 Video PreTraining,仅结合少量标注数据即训练出能玩 Minecraft 的神经网络。该模型经微调后可完成制作钻石工具任务,通常需熟练人类耗时超 20 分钟(约 24,000 次操作)。其直接模拟人类键鼠输入接口,具备通用性,是迈向通用计算机使用智能体的一步。
OpenAI 训练了“撰写批评”模型来描述摘要中的缺陷,人类评估者在看到这些批评后更频繁地发现错误。实验显示,更大规模的模型在自我批评方面表现更佳,且规模对提升批评能力的效果优于提升摘要生成能力。这一结果展示了利用 AI 系统辅助人类监督困难任务中 AI 系统的潜力。
TAPEX 通过让 BART 模型学习执行合成 SQL 查询,实现了无需真实标注数据的高效表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得 SOTA 成绩,其中 WikiSQL 准确率达 89.6%,TabFact 达 84.2%。
OpenAI 指出 Goodhart's law 表明当指标成为目标时,该指标便不再是好的衡量标准。这一源自经济学的定律是 OpenAI 在优化难以或昂贵测量的目标时必须面对的问题。
Hugging Face 推出 DeDLOC 算法,利用志愿者设备在互联网上协作预训练语言模型。该方法通过累积超大梯度批次适应网络与硬件限制,成功训练出 sahajBERT。在孟加拉语任务中,sahajBERT 性能接近 SOTA,媲美使用数百高端加速器的更大模型。
OpenAI Scholar 2021学员完成六个月导师计划,产出开源研究项目,获得OpenAI资助和支持。