Mistral AI 发布内容审核 API,支持多语言分类
Mistral AI 推出内容审核 API,支持阿拉伯语、中文、英语等9种语言分类,旨在帮助用户实现更可扩展和稳健的内容审核。该模型可对对话上下文中的最后一条消息进行分类,并针对模型生成的有害内容如无效建议和 PII 提供安全防护。
Mistral AI 推出内容审核 API,支持阿拉伯语、中文、英语等9种语言分类,旨在帮助用户实现更可扩展和稳健的内容审核。该模型可对对话上下文中的最后一条消息进行分类,并针对模型生成的有害内容如无效建议和 PII 提供安全防护。
Cohere 发布了 Aya Expanse 模型家族,包括 8B 和 32B 参数模型,旨在解决 AI 领域多语言模型性能不足的问题。Aya Expanse 在多语言性能上取得了突破,并在多个评估中超越了其他模型。
推荐理由:Aya Expanse 模型在多语言性能上取得了突破,为读者提供了评估多语言模型的新基准。
Hugging Face 发布了 CinePile 2.0,这是一个经过显著改进的长视频问答数据集。新数据集的改进依赖于一种新的对抗性数据集精炼方法,该方法可增强现有数据集并直接应用于未来数据集创建流程。CinePile 2.0 包含约 300,000 个训练样本和 5,000 个测试样本,其问题多样性和难度均优于现有数据集。
Llama 3.2 已于两周前在 Hugging Face / Transformers 上线,可直接在 Keras 中使用,支持多种后端,包括 JAX、PyTorch 和 TensorFlow。Keras 提供了丰富的预训练模型,包括 Llama3、Gemma、StableDiffusion 等,并内置了 tokenizer,方便用户进行模型训练和推理。
Hugging Face 的 Transformers 团队迅速响应了关于梯度累积问题的报告,通过更新代码和发布修复,确保了在梯度累积过程中损失计算的准确性。此外,团队还开放了 API,允许用户直接传递自定义损失函数,以增强模型的灵活性和适应性。
OpenAI 官方新闻源发布了一条关于新模型的消息,但提供的材料中未包含具体的模型名称、版本号或详细功能描述。
OpenAI 发布 o1-preview 和 o1-mini 模型,旨在通过强化链式推理能力解决复杂问题。
OpenAI 发布 o1 Contributions。
🤗 LeRobotDataset提出了一种轻量级、易于分享和可视化的数据集格式,通过视频编码技术将视觉模态数据集大小平均减少14%,同时保持良好的训练能力。该格式支持快速加载和播放视频帧,并兼容多种媒体播放器和浏览器。
OpenAI 举办 GPT-4o 微调研讨会,探讨模型微调技巧和应用;GPT-4o 模型参数规模达 175B,速度提升 3.5 倍;研讨会开源,提供 API 接口。
OpenAI 宣布 GPT-4o 现已开放微调功能。
Google研究人员发布的Infini-Attention实验表明,随着压缩内存次数的增加,其性能会下降。尽管如此,Ring Attention、YaRN和rope scaling仍然是扩展预训练模型到更长上下文长度的最佳方法。实验中,研究人员尝试将Llama 3 8B的上下文长度从8k扩展到1百万,但遇到了挑战。
Technology Innovation Institute 发布了 Falcon Mamba 模型,这是一个基于 Mamba 架构的无注意力 7B 模型,可在 Hugging Face 系统中使用,具有处理长序列的能力。
推荐理由:原文介绍了 Falcon Mamba 模型的设计、性能和如何在 Hugging Face 系统中使用,读者可以了解其在处理长序列方面的优势。
OpenAI 推出 GPT-4 API 的结构化输出功能,模型输出结果将严格遵循开发者提供的 JSON 模式,提升数据处理效率。
Hugging Face 的 Diffusers 库利用 Quanto 工具,通过量化技术显著提升了 Transformer-based Diffusion 模型的内存效率,例如 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 模型,在保持几乎无质量损失的情况下,内存使用量减少了约 30%。
Hugging Face在Docmatix数据集上进行了基于LLM的零样本VQA评估,发现微调模型在DocVQA上的表现良好,但在基准测试中得分较低。研究提出了LAVE(LLM-Assisted VQA Evaluation)评估指标,以更好地评估模型在未见但语义相似的Dataset上的泛化能力。实验结果表明,LAVE在评估模型性能方面优于传统的CIDER、BLEU和ANLS指标。
Hugging Face 发布了 Llama 3.1 模型,包括 8B、70B 和 405B 参数的模型,支持多语言和长上下文,并引入了 Llama Guard 3 和 Prompt Guard,同时提供了多种集成和优化工具。
推荐理由:Llama 3.1 的发布引入了多个新功能和模型,包括 8B、70B 和 405B 参数的模型,以及 Llama Guard 3 和 Prompt Guard,读者可以了解这些新功能和模型如何影响现有工作流。
OpenAI 官方新闻源发布了一条关于新模型的消息,但提供的材料中缺乏具体的模型名称、版本或功能细节。
OpenAI 的研究显示,Prover-Verifier Games 可以提升语言模型输出的可读性,使 AI 解决方案更清晰、易于验证,并提高人类和机器的信任度。
Hugging Face 发布了 SmolLM 模型,这是一系列具有 135M、360M 和 1.7B 参数的最先进的小语言模型。这些模型在精心策划的高质量训练语料库上训练,并在多个基准测试中表现出色。
推荐理由:SmolLM 模型展示了小语言模型在高质量数据集上的高效训练,实现了性能和规模的强平衡,为读者提供了关于小语言模型性能的参考。
Hugging Face 的 TRL 库新增支持视觉语言模型直接偏好优化 (DPO),简化了模型训练过程,并提高了预测准确性。该库使用 openbmb/RLAIF-V-Dataset 数据集,支持 Idefics2-8b 模型,并可通过内存优化技术适应不同硬件配置。
MILA 和 Intel Labs 推出的蛋白质语言模型 ProtST 在 Hugging Face Hub 上发布,支持在 Intel Gaudi 2 加速器上高效运行和微调。与 NVIDIA A100 相比,Gaudi 2 在推理和微调任务上分别提供 1.76 倍和 2.92 倍的速度提升。
OpenAI 推出的 CriticGPT 模型基于 GPT-4,用于生成对 ChatGPT 响应的批评,帮助人类训练师在强化学习与人类反馈(RLHF)过程中识别错误。
OpenAI 推出改进的一致性模型训练技术,该技术能够一步生成高质量数据,无需对抗性训练。
Hugging Face Accelerate 提供了 DeepSpeed 和 PyTorch FSDP 两种 ZeRO 算法实现,本文探讨了两者在精度、混合精度处理和内存消耗方面的差异。
OpenAI 深入研究其文本到语音模型背后的技术,并持续进行安全研究,以提升模型性能和安全性。
OpenAI 利用新技术对稀疏自编码器进行扩展,自动从 GPT-4 中识别出 1600 万种计算模式。
Hugging Face 对 Intel Gaudi 进行优化,采用 Speculative Sampling 和 Assisted Generation 技术加速文本生成,在大型 Transformer 模型上实现约 2 倍速度提升,并支持在 Hugging Face Transformers 中使用。
Hugging Face 推出 TGI Benchmarking 工具,用于评估文本生成推理(TGI)的性能,帮助用户了解如何优化部署以适应不同需求。该工具提供吞吐量和延迟的评估,并支持用户自定义配置,以实现更好的用户体验。
Sentence Transformers 是一个用于使用和训练嵌入模型的 Python 库,适用于检索增强生成、语义搜索、语义文本相似度等多种应用。本文介绍了如何使用 Sentence Transformers 微调模型以提升特定任务上的性能,并提供了详细的组件说明和示例,包括数据集、损失函数、训练参数、评估器和训练器等。通过微调,模型能够根据特定任务的需求调整相似度概念,从而显著提升性能。
OpenAI 发布新旗舰模型 GPT-4 Omni(GPT-4o),该模型能够跨音频、视觉和文本进行实时推理。
推荐理由:官方宣布新旗舰模型支持音频、视觉和文本的实时推理,明确了其核心能力边界。
OpenAI 官方新闻源发布了关于新模型的内容。当前材料仅包含标题和来源信息,未提供具体的模型名称、版本号或详细能力描述。
OpenAI 发布最新旗舰模型 GPT-4o,并在 ChatGPT 中向免费用户开放更多功能。
推荐理由:官方宣布 GPT-4o 上线并向免费用户开放更多能力,明确了新旗舰模型的可用范围。
Hugging Face 的 Leaderboards and Evals 研究团队发现,LLM 的基准性能与提示词格式密切相关。他们通过实验发现,模型在相同输入信息下,输出结果对提示词格式的微小变化极为敏感。为了提高提示词的一致性,Hugging Face 与 Dottxt 合作,探索了通过结构化生成来约束模型输出,以减少提示词格式变化带来的影响。
Meta 发布了 Llama 3 开放式 LLM,包括 8B 和 70B 两种参数规模,支持多种硬件和上下文长度,并提供了多种集成和部署方式。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Mistral AI 发布了 Mixtral 8x22B 开放模型,该模型具有多语言能力、强大的数学及编码能力,并采用 Apache 2.0 开源许可证,读者可以关注其性能和开源对 AI 社区的影响。
推荐理由:Mixtral 8x22B 模型在性能和效率方面达到新标准,具有多语言能力和强大的数学及编码能力,开源发布,读者可以关注其性能和开源对 AI 社区的影响。
Hugging Face 推出 WebSight-v0.2 数据集,包含 200 万个网页截图与 HTML 代码对,旨在训练 AI 模型将视觉网页设计转换为功能性 HTML 代码。基于此数据集,研究人员训练了 Sightseer 模型,能够将网页截图转换为功能性的 HTML 代码,并支持将图像嵌入生成的 HTML 中。
Matryoshka Embedding 模型通过在早期维度存储重要信息,在后期维度存储次要信息,实现高效的信息压缩。该模型使用 Sentence Transformers 框架进行训练,支持多种输出维度,可应用于推荐系统、检索、分类等多种任务。
Hugging Face 的 🤗 PEFT 引入了新的 LoRA 模型融合方法,包括 Concatenation、Linear/Task Arithmetic 和 SVD 等,旨在优化不同 LoRA 模型融合的体验,提高模型性能。
OpenAI 发布名为 Sora 的视频生成模型,该模型基于文本条件扩散架构,能够生成长达一分钟的高保真视频。研究指出,通过在可变时长、分辨率和宽高比的视频及图像数据上联合训练 Transformer 架构,扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。
推荐理由:原文阐述了Sora作为世界模拟器的技术路径,读者可据此理解大规模视频生成模型在物理世界模拟上的潜力。