深度学习与蛋白质的结合
本文介绍了深度学习在蛋白质研究中的应用，包括蛋白质折叠预测和分类任务，并提供了相关工具和资源。
今日 0 条
Hugging Face BlogAI 评分5555
Hugging Face Blog精选AI 评分7070 使用 🤗 Transformers 进行概率时间序列预测
Hugging Face 博客发布了一篇关于使用 🤗 Transformers 进行概率时间序列预测的研究论文，介绍了该方法在时间序列预测领域的应用。
推荐理由：该研究介绍了使用 Transformer 进行概率时间序列预测的方法，为读者提供了对时间序列预测领域最新进展的了解。
Hugging Face Blog精选AI 评分7070 VQ-Diffusion：一种基于离散潜在空间的图像生成模型
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型，它使用离散潜在空间进行噪声和去噪过程，为图像生成领域带来了新的研究方向。
推荐理由：VQ-Diffusion 是一种新颖的图像生成模型，其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
Hugging Face Blog精选AI 评分6060 MTEB：大规模文本嵌入基准发布
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务，目前汇总了超过 2000 个结果。MTEB 还支持多语言模型，并提供了开源代码库供用户提交模型和结果。
推荐理由：MTEB 提供了一个全面的文本嵌入模型性能基准，读者可以了解不同模型在不同任务上的表现，从而选择最适合自己的模型。
Hugging Face BlogAI 评分5555 Nyströmformer：通过 Nyström 方法近似自注意力机制
Nyströmformer 通过 Nyström 方法近似自注意力机制，在 NLP 和 CV 任务上表现优异，并提供了开源实现。
OpenAI NewsAI 评分4747 OpenAI 通过 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 利用海量无标签人类游戏视频进行 Video PreTraining，仅结合少量标注数据即训练出能玩 Minecraft 的神经网络。该模型经微调后可完成制作钻石工具任务，通常需熟练人类耗时超 20 分钟（约 24,000 次操作）。其直接模拟人类键鼠输入接口，具备通用性，是迈向通用计算机使用智能体的一步。
OpenAI NewsAI 评分2929 OpenAI 训练 AI 撰写批评以助人类发现摘要缺陷
OpenAI 训练了“撰写批评”模型来描述摘要中的缺陷，人类评估者在看到这些批评后更频繁地发现错误。实验显示，更大规模的模型在自我批评方面表现更佳，且规模对提升批评能力的效果优于提升摘要生成能力。这一结果展示了利用 AI 系统辅助人类监督困难任务中 AI 系统的潜力。
Hugging Face BlogAI 评分4141 TAPEX：基于合成 SQL 数据的高效表格预训练模型
TAPEX 通过让 BART 模型学习执行合成 SQL 查询，实现了无需真实标注数据的高效表格预训练。该模型在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准测试中均取得 SOTA 成绩，其中 WikiSQL 准确率达 89.6%，TabFact 达 84.2%。
OpenAI NewsAI 评分3030 OpenAI 探讨 Goodhart's law 在目标优化中的影响
OpenAI 指出 Goodhart's law 表明当指标成为目标时，该指标便不再是好的衡量标准。这一源自经济学的定律是 OpenAI 在优化难以或昂贵测量的目标时必须面对的问题。
Hugging Face BlogAI 评分3838 Hugging Face 提出 DeDLOC 方法实现互联网协作训练语言模型
Hugging Face 推出 DeDLOC 算法，利用志愿者设备在互联网上协作预训练语言模型。该方法通过累积超大梯度批次适应网络与硬件限制，成功训练出 sahajBERT。在孟加拉语任务中，sahajBERT 性能接近 SOTA，媲美使用数百高端加速器的更大模型。
OpenAI NewsAI 评分3030 GPT-4 通过微调精选数据集提升语言模型行为
OpenAI 最新研究发现，通过在小型精选数据集上进行微调，可以提升 GPT-4 语言模型在特定行为价值方面的表现。
OpenAI NewsAI 评分3030 OpenAI Scholars 2021：完成六个月导师计划并产出开源研究项目
OpenAI Scholar 2021学员完成六个月导师计划，产出开源研究项目，获得OpenAI资助和支持。
Hugging Face BlogAI 评分2626 Hugging Face 解读长程 Transformer：Longformer、Compressive Transformer、Linformer 与 Performer
Hugging Face 二月阅读小组聚焦长程注意力机制，深入解析 Longformer、Compressive Transformer、Linformer 和 Performer 四种高效 Transformer 方案。Longformer 通过结合窗口局部稀疏与全局注意力，将内存消耗从二次方降至线性，支持预训练模型直接微调以处理长序列任务。
OpenAI NewsAI 评分4040 CLIP 模型中的多模态神经元发现
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别，无论以文字、符号还是概念形式呈现，这有助于解释 CLIP 在分类视觉概念时的准确性，并推动对模型学习关联和偏差的理解。
OpenAI NewsAI 评分55 OpenAI Scholars 2020：第三届学者项目展示
OpenAI第三届学者项目展示在虚拟Demo Day上圆满落幕，学者们展示了过去五个月的研究成果。
OpenAI NewsAI 评分3838 OpenAI 揭示 CNN、ResNet 和 Transformer 中的深度双重下降现象
OpenAI 研究表明，CNN、ResNet 和 Transformer 均存在“双重下降”现象：随着模型规模、数据量或训练时间增加，性能先提升后恶化再提升。该效应通常通过正则化避免，其成因尚不明确，被视为重要研究方向。
OpenAI NewsAI 评分2626 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境。该基准旨在直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分3030 OpenAI 基于人类偏好微调 GPT-2
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调，成功匹配外部标注员偏好。摘要任务需 60k 标签且导致模型倾向复制原文，简单续写任务仅需 5k 标签。此举旨在将安全技术融入“机器与人对话”以提取人类价值观信息。
OpenAI NewsAI 评分4040 OpenAI 多智能体互动涌现工具使用
OpenAI 观察到智能体在简单捉迷藏游戏中通过训练发现逐步复杂的工具使用行为。这些智能体构建了六种不同策略与反策略，其中部分策略是环境原本未支持但被意外发现的。这种自监督的涌现复杂性表明，多智能体协同适应未来可能产生极其复杂和智能的行为。
OpenAI NewsAI 评分2727 OpenAI 提出 UAR 指标评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发了一种新方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击。该方法引入了名为 UAR（Unforeseen Attack Robustness）的新指标，专门衡量单个模型针对未预期攻击的鲁棒性。研究结果凸显了需要在更多样化的未知攻击范围内测量模型性能的重要性。
OpenAI NewsAI 评分2121 OpenAI 提出四项策略促进 AI 安全领域的行业合作
OpenAI 发布政策研究论文，提出沟通风险与收益、技术协作、增加透明度及激励标准四项策略，以改善 AI 安全规范的长期行业合作。分析指出竞争压力可能导致集体行动困境，使企业减少安全投入，而加强合作对确保 AI 系统安全有益至关重要。
OpenAI NewsAI 评分2323 OpenAI 提出能量模型隐式生成与泛化方法
OpenAI 在能量模型（EBMs）的稳定可扩展训练方面取得进展，其样本质量与泛化能力优于现有模型。该方法通过持续计算优化答案，低温下生成效果可与 GAN 竞争，同时具备似然模型的模式覆盖保证。
OpenAI NewsAI 评分1212 OpenAI 推出 Activation Atlases 神经元可视化技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，这是一种用于可视化神经元交互所代表含义的新方法。该技术旨在帮助开发者理解 AI 系统的内部决策过程，从而识别弱点并调查故障，特别是在 AI 部署于敏感场景时提升透明度。
OpenAI NewsAI 评分2828 OpenAI 呼吁 AI 安全研究引入社会科学家
OpenAI 发表论文主张长期 AI 安全研究需引入社会科学家，以确保对齐算法在涉及真实人类时成功。正确对齐高级 AI 系统需解决人类理性、情感及偏见等心理学不确定性。OpenAI 计划全职招聘社会科学家并推动机器学习与社会科学研究者协作。
OpenAI NewsAI 评分3131 OpenAI 发现梯度噪声尺度可预测神经网络训练的并行化能力
OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练在广泛任务上的并行化能力。由于复杂任务的梯度通常更嘈杂，未来更大的批次大小将变得有用，从而消除 AI 系统进一步增长的一个潜在限制。
OpenAI NewsAI 评分2121 OpenAI 发布 CoinRun 强化学习环境以量化泛化能力
OpenAI 推出名为 CoinRun 的强化学习训练环境，旨在提供衡量智能体将经验迁移至新情境能力的指标。该环境复杂度介于传统平台游戏与简单任务之间，既比《索尼克》等游戏更简洁，又能为当前最先进算法带来有效的泛化挑战，有助于厘清强化学习领域的长期难题。
OpenAI NewsAI 评分3131 OpenAI 开发基于能量函数的模型以快速学习概念
OpenAI 开发出一种基于能量的模型，仅需五次演示即可快速学习并生成近、上、之间等二维点集概念。该模型还展示了跨域迁移能力，利用在二维粒子环境中学到的概念解决三维物理机器人的任务。
OpenAI NewsAI 评分3737 OpenAI 提出 RND 方法，强化学习智能体首次超越人类在 Montezuma’s Revenge 的表现
OpenAI 开发了基于预测的随机网络蒸馏（RND）方法，通过好奇心驱动强化学习智能体探索环境。该方法首次在 Montezuma’s Revenge 游戏中实现超过人类平均水平的表现。
OpenAI NewsAI 评分1818 OpenAI 提出 iterated amplification AI 安全方法
OpenAI 提出名为 iterated amplification 的 AI 安全技术，旨在通过演示任务分解而非提供标注数据或奖励函数，来指定超越人类尺度的复杂目标。该方法目前处于早期阶段，仅在简单玩具算法领域完成实验，但被认为可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分2727 OpenAI 发布论文预测 AI 恶意使用风险及缓解措施
OpenAI 联合多家机构发布论文，预测恶意行为者滥用 AI 技术的潜在方式及预防缓解措施。该成果源于与 Future of Humanity Institute、Centre for the Study of Existential Risk 等合作伙伴近一年的持续工作。
OpenAI NewsAI 评分4040 GPT-4 通过教学促进可解释机器学习
OpenAI 设计了一种方法，鼓励 AI 通过对人类有意义的示例相互教学，自动选择最有信息量的示例来教授概念，如描述狗的最佳图像，实验表明该方法在教授 AI 方面有效。
OpenAI NewsAI 评分2020 OpenAI 开发自动实体消歧系统
OpenAI 研发了一种基于神经网络的自动实体消歧系统，通过识别约100个自动发现的“类型”来判断词语所指的具体对象。
OpenAI NewsAI 评分2323 OpenAI 开发分层强化学习算法以加速长时程任务求解
OpenAI 开发了一种分层强化学习算法，通过自动发现高层动作来快速解决需要数千时间步的任务。该算法在导航问题中识别出不同方向的行走和爬行等高层动作，使智能体能迅速掌握新的导航任务。
OpenAI NewsAI 评分1616 OpenAI 展示元学习在模拟机器人摔跤中的应用
OpenAI 展示元学习智能体在模拟机器人摔跤任务中，能快速击败更强的非元学习智能体。该智能体还能适应物理故障，验证了元学习在动态环境下的鲁棒性与适应能力。
OpenAI NewsAI 评分2525 OpenAI 发布 LOLA 算法以建模其他智能体思维
OpenAI 发布 Learning with Opponent-Learning Awareness (LOLA) 算法，该算法考虑了其他智能体也在学习的特性。LOLA 在迭代囚徒困境中发现了既自利又合作的策略（如 tit-for-tat），是迈向能够建模其他心智的智能体的重要一步。
OpenAI NewsAI 评分1515 OpenAI 提出参数噪声增强强化学习探索
OpenAI 发现向强化学习算法参数添加自适应噪声能频繁提升性能。该方法实现简单且极少降低表现，适用于各类问题场景。
OpenAI NewsAI 评分2828 OpenAI 与 DeepMind 合作开发基于人类偏好学习的安全 AI 算法
OpenAI 联合 DeepMind 安全团队推出一种新算法，通过让模型判断两种行为中哪个更优来推断人类意图。该方法旨在消除人工编写目标函数的需求，避免因使用简单代理或目标定义偏差导致的不安全行为，是构建安全 AI 系统的重要一步。
OpenAI NewsAI 评分1212 OpenAI 探讨多智能体环境在通往 AGI 路径中的作用
OpenAI 指出多智能体竞争环境是通往 AGI 的垫脚石，具备自然课程和动态压力两大特性。在该环境中，难度随竞争对手技能提升而增加，且不存在稳定平衡点，迫使智能体持续进化。目前此类环境与传统环境差异显著，仍需大量研究才能有效驾驭。
OpenAI NewsAI 评分4747 OpenAI 发现进化策略可替代强化学习
OpenAI 研究发现，进化策略（ES）在 Atari 和 MuJoCo 等现代基准测试中性能可与标准强化学习（RL）相媲美。该技术克服了 RL 的诸多不便，为大规模优化提供了可扩展的替代方案。
OpenAI NewsAI 评分1818 OpenAI 研究智能体如何发展自有语言
OpenAI 发布新研究，展示 AI 智能体在交互中自发发展出自有语言。该工作聚焦于多智能体通信机制的演化过程，未涉及具体模型版本或性能指标数据。