Llama 2 在 AWS Inferentia2 上实现高效文本生成
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
OpenAI 推出 GPTs,用户可创建结合指令、额外知识和技能组合的 ChatGPT 自定义版本。
Hugging Face Hub 推出存储区域功能,允许用户选择模型和数据的存储位置,以符合监管和法律要求,并提升数据主权和性能。目前支持美国和欧盟区域,预计未来还将支持亚太地区。该功能通过提高上传和下载速度来显著提升性能,例如,在欧洲存储数据比在美国存储快4-5倍。
Hugging Face 推出代码智能体功能,允许用户基于自身代码库微调代码生成模型,提高开发效率和生产力。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 数据集库与 Renumics Spotlight 联合推出数据可视化工具,用户只需一行代码即可创建交互式可视化,识别数据中的关键聚类。Spotlight 支持利用模型结果如预测和嵌入,深入了解数据段和模型失败模式。此外,Spotlight 还允许用户自定义数据检查工作流程,并找到相关的数据样本和聚类进行检查。
Hugging Face Inference Endpoints 提供了一种简单、安全的方式部署机器学习模型,支持快速部署、自动扩展、成本效益和高级安全功能。Text Embeddings Inference (TEI) 是专为部署和托管开源文本嵌入模型而构建的解决方案,支持所有 MTEB 排行榜前 10 的模型,并实现了多种性能优化功能。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。官方表示已开发安全缓解技术栈以支持更广泛的发布,并分享了关于内容溯源研究的最新进展。
Gradio-Lite是一个JavaScript库,允许用户在浏览器中直接运行Gradio应用程序,无需服务器端基础设施。它利用Pyodide在浏览器环境中执行Python代码。Gradio-Lite的主要优势包括无服务器部署、低延迟交互和增强的隐私与安全性。然而,目前其最大的局限性是应用程序在浏览器中的初始加载时间较长(通常为5-15秒)。
Ironclad 使用 GPT-4 模型来简化合同审查流程。该应用旨在通过人工智能技术提升法律文档处理的效率与便捷性。
Retool 使用 GPT-4 为企业提供快速、安全地构建 AI 驱动应用程序的方式。该方案旨在简化企业级 AI 应用的开发流程,确保在提升效率的同时保障数据安全性。
Typeform 借助 GPT-3.5 和 GPT-4,将传统在线表单升级为动态且具备对话式交互的数据收集体验。这一转变旨在通过大语言模型增强用户与表单的互动性,实现更流畅的信息采集流程。
Hugging Face 社区超过 130,000 个 ONNX 支持模型可利用 ONNX Runtime 加速,包括多个流行的 LLM 和云模型,如 BERT、GPT2 等,平均推理延迟可降低 74.30%,提升性能。
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face Diffusers 发布了支持使用 JAX 在 Cloud TPU v5e 上加速 Stable Diffusion XL 推理的功能,通过结合定制的 TPU 硬件和优化的软件堆栈,实现了高性能和成本效益的推理。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 Inference for PROs,使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例,支持 Llama-2 和 SDXL 模型,用户可利用 Inference API 部署到个人空间,无需高技术技能,但需了解 API、环境变量和 LLM & Stable Diffusion。
Hugging Face的TRL库发布了DDPOTrainer,用于微调Stable Diffusion模型,提高图像生成质量。
Hugging Face 提供了无需代码即可训练和部署聊天机器人的方法,使用 LLaMA 2 模型,通过 AutoTrain 和 ChatUI 工具,任何人都可以轻松构建自己的开源聊天机器人。
推荐理由:原文提供了无需代码即可训练和部署聊天机器人的方法,读者可以了解如何利用这些工具简化工作流程。
Mistral AI 发布了新的7B参数模型Mistral 7B,该模型在所有标准英语和代码基准测试中优于所有目前可用的13B参数以下的开源模型。Mistral AI致力于成为开放生成AI社区的领先支持者,并推动开放模型达到最先进的性能。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Mistral AI 发布了 Mistral 7B 语言模型,该模型在多个基准测试中优于 Llama 2 13B 和 Llama 1 34B,并使用 Grouped-query attention 和 Sliding Window Attention 技术提高推理速度。Mistral 7B 以 Apache 2.0 许可证发布,可在任何云平台部署,并易于微调。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face对Llama 2在Amazon SageMaker上的部署进行了基准测试,分析了不同配置下的性能和成本,为用户提供了优化部署的建议。
ChatGPT 发布新功能,能够进行视觉、听觉和语言交互。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 推出 Inference for PRO 用户功能,为用户提供访问精选模型 API 的权限,并提高免费 Inference API 的使用速率限制。
Rocket Money(一个个人财务应用)与 Hugging Face 合作,使用 Hugging Face 的模型托管服务来扩展其机器学习模型,以提高交易处理效率和用户体验。
Hugging Face博客发布了一篇关于优化LLM在生产和部署中性能的博客,介绍了降低精度、Flash Attention和改进的LLM架构等技术。
推荐理由:原文提供了优化大型语言模型(LLM)在生产和部署中的性能的方法,读者可以据此评估这些方法对现有工作流的影响。
Hugging Face 推出 Würstchen 模型,通过高度压缩的潜在空间实现快速图像生成,训练成本和推理成本大幅降低,适用于资源有限的用户。
推荐理由:Würstchen 模型在图像生成方面实现了快速和高效的性能,读者可以了解其压缩技术和训练成本,评估其对现有工作流的影响。
Geth v1.13.0 发布,引入新的数据库模型以存储以太坊状态,提高了性能并实现了适当的修剪。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布了 SafeCoder,一款面向企业的智能代码助手,它基于开源模型 StarCoder,提供透明度、可定制性、IT 弹性和隐私保护。SafeCoder 可以帮助用户训练模型,学习特定软件工程流程的细微差别,并支持在本地或云端运行。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Fetch 公司使用 Amazon SageMaker 和 Hugging Face 优化了其机器学习流程,使扫描处理速度更快,准确性更高,并将延迟降低了 50%。
Hugging Face 博客介绍了 AudioLDM 2 的优化方法,包括代码优化和模型优化,将音频生成时间从 14 秒缩短到不到 1 秒。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全和隐私保护,并具备最强大的 ChatGPT 版本。
Hugging Face 从 2023 年 10 月 1 日起不再接受密码作为 Git 操作的认证方式,建议用户使用更安全的个人访问令牌或 SSH 密钥进行认证。用户需在截止日期前更新认证方法,否则将无法进行 Git 操作。
Code Llama 是一系列针对代码任务的 Llama 2 开放访问版本,它被集成到 Hugging Face 生态系统中。Code Llama 可以通过在 IDE 中提供代码补全来提高软件工程师的生产力,处理编写文档字符串或创建单元测试等重复或令人烦恼的任务。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 与 Scale 合作,允许客户利用 Scale 的 AI 专业知识来定制 OpenAI 最先进的模型。
Hugging Face在Transformers中集成了AutoGPTQ库,使用户能够以8、4、3或2位精度量化模型,同时保持推理速度与fp16基准相当。
推荐理由:原文介绍了AutoGPTQ库的集成,使LLM量化更加便捷,读者可以了解其如何改变现有工作流。
OpenAI 宣布正式向开发者提供 GPT-3.5 和 GPT-4 模型的微调(Fine-tuning)服务。该功能允许用户利用自有数据对模型进行定制化训练,以提升特定任务的性能表现。
推荐理由:官方公告确认了微调功能的正式开放,开发者可据此评估将定制模型集成到现有应用中的可行性。
Hugging Face 发布了 SafeCoder,一款面向企业的代码助手解决方案,旨在提高软件开发效率。SafeCoder 以安全和隐私为核心原则,允许企业自行托管和训练自己的代码大型语言模型,无需将代码分享给第三方。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
OpenAI 利用 GPT-4 辅助制定内容政策及执行审核决策。该应用实现了更一致的标签分类,加速了政策优化的反馈循环,并减少了人工审核员的介入需求。
Hugging Face Hub 现已登陆 AWS Marketplace,用户可通过 AWS Marketplace 订阅 Hugging Face Hub,并使用 AWS 账户直接支付 Hugging Face 使用费用。
Hugging Face的BentoML平台支持机器学习模型部署,本文以DeepFloyd IF为例,展示了如何使用BentoML框架进行模型部署,包括定义模型、创建服务、构建Bento和部署Bento等步骤。DeepFloyd IF是一个开源的文本到图像模型,具有高真实感和复杂的语言理解能力。
Hugging Face 发布了 Swift Transformers,这是一个用于在 Apple 设备上运行设备端 LLM 的工具。它包括 alpha 库和工具,旨在帮助开发者构建更快的应用程序,并支持多种模型和转换工具。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。