Hugging Face Bumblebee 库助力 Elixir 社区 AI 发展
Hugging Face 推出 Bumblebee 库,实现 Hugging Face Transformers 在 Elixir 中的纯 Elixir 实现,助力 Elixir 社区 AI 发展。
Hugging Face 推出 Bumblebee 库,实现 Hugging Face Transformers 在 Elixir 中的纯 Elixir 实现,助力 Elixir 社区 AI 发展。
VQ-Diffusion 是由中国科学院大学和微软共同开发的一种条件潜在扩散模型,它使用离散潜在空间进行噪声和去噪过程,为图像生成领域带来了新的研究方向。
推荐理由:VQ-Diffusion 是一种新颖的图像生成模型,其独特的离散潜在空间处理方式为图像生成领域带来了新的研究方向。
Hugging Face发布2023实习生招聘计划,涵盖开源团队、科学团队及其他职位,旨在推动AI和机器学习领域的发展,并强调多元化和包容性。实习生将参与前沿项目,如加速库集成、文本到语音、具身AI、分布式训练框架等。申请者可通过Hugging Face招聘门户直接申请。
Hugging Face 发布了关于扩散模型的免费教程,并组织了直播活动,邀请多位专家分享扩散模型的理论和应用。
Hugging Face 提供免费推理小部件和 API,支持模型快速测试和部署;Inference Endpoints 可在 AWS 或 Azure 上部署模型,支持自动扩展和多种安全级别;Spaces 可在简单 UI 框架上部署模型,支持硬件升级。
Hugging Face 博客介绍了一种使用 Concrete-ML 库在完全同态加密(FHE)环境下进行机器学习模型训练的方法,通过结合 transformers 和 XGBoost 实现对加密数据的情感分析,并提供了详细的教程和示例。
Hugging Face 与 arXiv 合作,将 Hugging Face Spaces 集成到 arXivLabs,通过演示标签提供社区或作者创建的演示链接。自 2021 年 10 月推出以来,Hugging Face Spaces 已被用于构建和分享超过 12,000 个开源机器学习演示。用户现在可以在 arXiv 摘要页面上找到最受欢迎的演示。
Hugging Face 正式取消 Inference API 服务的付费层级,推出 Inference Endpoints 提供快速、企业级推理服务。Spaces 引入硬件升级,支持用户选择硬件运行 ML 演示。付费服务使用需添加信用卡,账单设置集中管理个人 PRO 订阅、支付方式及过去三个月的使用情况。
Hugging Face 发布了 Dreambooth 技术训练 Stable Diffusion 模型的脚本,并提供了优化建议。实验表明,低学习率与合适的训练步数能提高图像质量,训练人脸模型时需更多步数。此外,使用先验保持技术可减少人脸训练中的过拟合问题。
OpenAI 发布的 Whisper 模型,基于 680,000 小时的标注音频转录数据进行预训练,支持 96 种语言,包括许多低资源语言。本文详细介绍了使用 Hugging Face 🤗 Transformers 对 Whisper 进行微调的步骤,包括数据准备、特征提取、微调和评估。通过微调, Whisper 模型在低资源语言上表现出色,仅需 8 小时微调数据即可达到良好性能。
Hugging Face 发布了 🤗 Evaluate 工具,用于评估大型语言模型的偏见。该工具提供了多种指标和测量方法,帮助用户分析模型在有害语言、语言极性和性别刻板印象等方面的表现。
推荐理由:该工具提供了评估大型语言模型偏见的方法,有助于读者了解模型在偏见方面的表现。
MTEB 是一个用于衡量文本嵌入模型在多样化嵌入任务上性能的大规模基准。它包含了 56 个数据集和 8 个任务,目前汇总了超过 2000 个结果。MTEB 还支持多语言模型,并提供了开源代码库供用户提交模型和结果。
推荐理由:MTEB 提供了一个全面的文本嵌入模型性能基准,读者可以了解不同模型在不同任务上的表现,从而选择最适合自己的模型。
Hugging Face 推出 Inference Endpoints,简化机器学习模型部署流程,支持从 Hugging Face hub 一键部署至云基础设施,提供简单、安全、可扩展的模型部署服务。用户可选择公共、受保护或私有访问权限,并通过 API 调用或界面测试模型。
Hugging Face Diffusers 从 0.5.1 版本开始支持 Flax,可在 Google TPUs 上实现超快推理,如 Colab、Kaggle 或 Google Cloud Platform。本文介绍了如何使用 JAX/Flax 运行推理,并提供了相关 Colab 笔记本链接。
Hugging Face 优化了 BLOOM 模型的推理服务器,实现了 5 倍的延迟降低和 50 倍的吞吐量提升,并分享了优化过程中的挑战和经验。
推荐理由:本文详细介绍了如何优化 BLOOM 模型的推理服务器,包括多种优化策略和技术,读者可以从中学习到模型优化的方法和经验。
Hugging Face 推出 DOI 标识符功能,允许用户直接从 Hub 生成模型或数据集的 DOI,方便学术社区引用和分享。DOI 与对象元数据绑定,提供永久链接,确保信息持久可用。通过与 DataCite 合作,用户可轻松申请 DOI,并更新模型或数据集的新版本。
rinna Co., Ltd. 开发了名为 "Japanese Stable Diffusion" 的日本特定文本到图像模型,通过在日语标题图像上微调 Stable Diffusion 模型实现。该模型接受日语提示并生成反映日本文化风格的图像,可在 Hugging Face 和 GitHub 上使用。
Hugging Face 推出零样本评估工具,支持研究人员评估大型语言模型,无需编写代码,并支持开源生态和评测基准。
推荐理由:该工具使研究人员能够轻松评估大型语言模型,并支持零样本评估,有助于推动开源生态和评测基准的发展。
Hugging Face 推出 Decision Transformers,一种基于 Transformer 的决策模型,通过序列建模实现强化学习。该模型可离线训练,使用预训练权重,并支持自定义数据预处理。在 Gym HalfCheetah 环境中,该模型可学习专家行为,实现半猫奔跑。
OpenRAIL 是一种针对 AI 模型的开放和负责任的许可框架,旨在解决当前开源许可在 AI 模型使用中的不足,并推动 AI 模型的负责任使用。
推荐理由:OpenRAIL 提出了一种新的 AI 许可框架,旨在促进 AI 模型的开放和负责任的使用,读者可以了解其具体内容和潜在影响。
Hugging Face 发布教程,介绍如何使用 Habana Gaudi 基于的 DL1 实例在 AWS 上从零开始预训练 BERT-base 模型,利用 Gaudi 的成本性能优势。教程使用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,通过掩码语言建模预训练 BERT-base 模型。
Hugging Face 推出 Skops,一款开源机器学习模型托管与协作工具,支持将 scikit-learn 模型托管在 Hugging Face Hub,创建模型卡片进行文档化和协作。Skops 可用于模型训练、保存、配置文件生成、模型卡片创建、模型评估和可视化等功能。
Nyströmformer 通过 Nyström 方法近似自注意力机制,在 NLP 和 CV 任务上表现优异,并提供了开源实现。
OpenAI 的 GPT-4.0 引入人类反馈机制,以增强对难以评估任务的AI系统监督,旨在提升AI系统的评估准确性。
OpenAI Scholar 2021学员完成六个月导师计划,产出开源研究项目,获得OpenAI资助和支持。
OpenAI 发现 CLIP 模型中的神经元能够对概念进行多模态识别,无论以文字、符号还是概念形式呈现,这有助于解释 CLIP 在分类视觉概念时的准确性,并推动对模型学习关联和偏差的理解。
OpenAI 成功扩展 Kubernetes 集群至 7500 节点,为大型模型提供可扩展基础设施,支持快速迭代研究。
Hugging Face 发布了 PyTorch Block Sparse Matrix 扩展,通过稀疏矩阵计算优化神经网络,使模型更小、更快。该扩展基于 CUTLASS,性能比 PyTorch 稀疏矩阵实现快一个数量级,内存消耗减少 4 倍。未来将优化稀疏模式,提升性能。
OpenAI 的 GPT-4 模型通过人类反馈的强化学习,提升了总结能力。
OpenAI 与 AIcrowd、卡内基梅隆大学和 DeepMind 共同组织了 NeurIPS 2020 竞赛,采用 Procgen Benchmark 和 MineRL 作为竞赛基准。
OpenAI 推出音乐生成神经网络 Jukebox,该模型可生成多种风格和流派的音乐,包括基本的歌唱,并公开了模型权重和代码,同时提供工具供用户探索生成的样本。
OpenAI 正在接受 2019 年 Fellow 和 Intern 的申请,旨在培养下一代 AI 领域人才。
OpenAI推出Glow模型,采用可逆1x1卷积,简化架构,生成高分辨率图像,支持高效采样,并发现可操控数据属性的特征。同时提供模型代码和在线可视化工具,供用户探索和构建。
OpenAI 训练的智能体通过单次人类演示学会玩 Montezuma’s Revenge,得分高达74,500分,优于之前任何已发布结果;采用与 OpenAI Five 相同的强化学习算法 PPO 进行游戏得分优化。
OpenAI 完成了首次 Retro Contest,探索从先前经验中泛化的算法发展。
OpenAI 推出 Gym Retro 全版本,游戏数量从70款Atari游戏和30款Sega游戏增至超过1000款,涵盖多种支持模拟器。同时,发布用于添加新游戏的工具。
OpenAI 提出一种 AI 安全技术,通过训练智能体进行辩论,并由人类评判胜负,以提升 AI 安全性。
OpenAI 推出实验性元学习方法 Evolved Policy Gradients,该方法通过进化学习代理的损失函数,实现新任务上的快速训练。使用 EPG 训练的代理在测试时能成功完成基本任务,如从训练时放置位置不同的房间另一侧导航到物体。
OpenAI 于 3 月 3 日举办了首届黑客松,吸引了 100 名人工智能领域的参与者。
OpenAI 开发了名为 Reptile 的元学习算法,该算法通过重复采样任务、在任务上执行随机梯度下降并更新初始参数,使其向最终参数学习。Reptile 是将最短下降算法应用于元学习环境,与仅需要黑盒访问优化器(如 SGD 或 Adam)的第一阶 MAML 算法在数学上相似,具有相似的计算效率和性能。