Hugging Face Hub 上的 AI 水印工具与技术
Hugging Face Hub 提供多种 AI 水印工具,用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印,以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据,如图像、音频、文本等,并面临独特的挑战。Hugging Face Hub 提供开源工具,帮助用户进行不同类型的水印操作。
Hugging Face Hub 提供多种 AI 水印工具,用于标记 AI 生成内容以验证其真实性。这些工具包括在生成过程中嵌入可见或不可见水印,以及使用数据中毒和签名技术来防止非授权图像操纵。水印技术适用于不同类型的数据,如图像、音频、文本等,并面临独特的挑战。Hugging Face Hub 提供开源工具,帮助用户进行不同类型的水印操作。
Hugging Face 的 🤗 PEFT 引入了新的 LoRA 模型融合方法,包括 Concatenation、Linear/Task Arithmetic 和 SVD 等,旨在优化不同 LoRA 模型融合的体验,提高模型性能。
AMD与Hugging Face合作,举办Pervasive AI开发者大赛,提供700个AMD平台,总奖金高达16万美元,鼓励开发者创建独特的AI应用。Hugging Face和AMD为AMD GPU提供原生支持,并支持ONNX模型执行、Optimum-Benchmark、DeepSpeed等工具,助力开发者快速构建AI应用。
Hugging Face 推出企业场景排行榜,旨在评估语言模型在真实世界企业用例中的性能,支持6个任务,包括金融、法律、创意写作等,部分数据集为闭源,以避免测试集污染。
Ethereum.org社区在2023年取得了显著成就,包括翻译竞赛、视觉内容翻译、钱包使用指南、互动测验、作家小组、协议路线图、博客订阅、网站开发、新插图、社区贡献奖励和周边产品。2024年,Ethereum.org将继续改进网站性能、可访问性和可扩展性,并推出新功能。
MetaAI 发布的 Wav2Vec2-BERT 模型,通过预训练和微调,在低资源语音识别任务中表现出色,仅需 10 分钟标注音频数据即可在 LibriSpeech 数据集上达到 5% 的词错误率。
Hugging Face 的 TRL 团队对 IPO 方法在 TRL 中的实现进行了纠正,并重新运行了实验,结果显示 IPO 与 DPO 相当,优于 KTO。评估了三种无强化学习的 LLM 对齐算法:DPO、IPO 和 KTO,在两个经过监督微调的 7b LLM 上进行实验,发现关键超参数需要调整以实现最佳结果。
aMUSEd 是一个基于掩码图像模型(MIM)的高效文本到图像生成模型,其参数量约为 800M,速度快,支持微调。与 MUSE 类似,aMUSEd 在风格迁移方面表现出色,但图像质量不如最先进的模型。该模型以开源许可证发布,鼓励社区探索非扩散框架。
Ethereum Devcon 7 将于2024年11月12日至15日在泰国曼谷举行,旨在扩大对东南亚地区以太坊社区的影响。此次大会将命名为“Devcon Southeast Asia”,以反映其对区域性的关注。Ethereum社区在东南亚地区具有巨大潜力,该地区在加密货币采用方面处于领先地位。
Ethereum 在 2023 年第三季度举办了多项社区与教育活动,包括巴黎的账户抽象村活动、0xKofi 数据库和仪表板发布、在加纳大学举办的 ETHAccra 开发者研讨会。
Ethereum Run A Node Grants Round 项目共收到243份申请,最终从23个国家选出35位获得者。这些获得者将获得支持以运行节点,包括提供数据查询、节点性能测试、提升用户体验等。申请者需具备快速稳定的互联网连接、节点和客户端的技术能力,并承诺至少运行节点2年。项目优先考虑来自不同地理区域的独特提案,以及学生区块链俱乐部和学术机构。
Open LLM Leaderboard 添加了 DROP 模型评测,但发现多数模型 f1 分数低于 10。分析发现,模型在处理浮点数答案时存在中断问题,且高质量模型生成长答案时 f1 分数反而更低。通过使用换行符作为生成结束标记,新分数与平均性能相关性更好。
Ethereum 基金会启动 Next Billion Fellowship Cohort 4 招募,为期六个月的计划旨在寻找有故事要讲述的个人和项目,以推动未来更好的发展。申请截止至 2024 年 1 月 15 日,入选者将获得来自 Ethereum 扩展宇宙的同行/导师支持。
本文探讨了区块链技术在人道主义援助中的应用,特别是在叙利亚等危机地区的潜力。文章指出,区块链技术可以提供更透明、更高效的援助方式,并减少腐败和资源浪费。
推荐理由:原文探讨了区块链技术在人道主义援助中的应用,以及其在危机中的潜力,读者可以了解区块链技术如何改变现有的援助模式。
Hugging Face 推出 Llama 2 在 AWS Inferentia2 上的高效文本生成方案,通过 Optimum Neuron 部署,实现快速部署和模型导出,支持多种生成策略,并提供预编译模型版本。
本文详细解析了OpenAI的RLHF代码库复现,重点关注PPO实现细节,包括奖励模型、策略训练、PyTorch Adam优化器等,旨在为研究者提供RLHF实施工程细节的参考。复现的代码库能够产生与OpenAI代码库几乎相同的风格任务学习曲线,为教育和学习目的提供简单易读的参考实现。
Stability AI 推出的最新模型 SDXL 在生成高质量图像方面具有优势,但模型规模较大。本文介绍了如何通过使用 fp16 精度、内存高效注意力机制和 torch.compile API 来优化 SDXL,从而提高推理速度并降低内存使用。优化后的 SDXL 模型在 A100 GPU 上运行时,推理时间从 72.2 秒缩短到 10.2 秒,内存使用量从 28GB 降低到 21.7GB。
Hugging Face 推出 chat_template 属性,用于保存模型训练时使用的聊天格式,解决不同模型训练格式不一致导致的性能下降问题。该功能通过 Jinja 模板将聊天消息转换为正确格式的字符串,提高模型性能。
Hugging Face 推出 Inference for PROs,使更大模型对更广泛用户群体可访问。AI 漫画工厂作为 Hugging Face 平台的应用示例,支持 Llama-2 和 SDXL 模型,用户可利用 Inference API 部署到个人空间,无需高技术技能,但需了解 API、环境变量和 LLM & Stable Diffusion。
Ethereum.org Translatathon 活动于今年 8 月举行,共有 621 名参与者,翻译成 56 种语言,翻译内容达 1.47 百万词,是迄今为止翻译项目中最 productive 的一次。活动旨在提高本地化内容的重要性,吸引新贡献者,激励翻译,并为贡献者提供回报。活动期间,共有 486 名新成员加入,其中 7 种新语言得到翻译。
Hugging Face Blog介绍了3D高斯分层技术,该技术通过将场景中的点云转换为高斯函数,实现实时渲染真实场景。该技术使用结构从运动(SfM)方法估计点云,并通过高斯分层进行渲染。此外,该技术还具有快速、可微分的优点,但需要较高的VRAM和磁盘空间。目前,该技术尚未与现有渲染管线兼容,但未来有望在更多渲染环境中得到应用。
Hugging Face 博客介绍了如何使用 PyTorch FSDP 和相关最佳实践来微调 Llama 2 70B 模型。文章详细说明了 FSDP 的工作原理,并针对微调过程中遇到的内存和速度问题提出了解决方案,包括优化模型加载和状态字典存储方式。
Hugging Face Transformer 支持多种量化方案,包括 bitsandbytes 和 auto-gptq,旨在优化大型模型在小型设备上的推理和微调。bitsandbytes 量化方案易于使用,支持跨模态互操作性,而 auto-gptq 量化方案在文本生成方面速度更快,支持高达 2 位的量化精度。
T2I-Adapter-SDXL模型通过冻结预训练的文本到图像模型,提供额外指导,实现丰富的控制和编辑效果。相比ControlNet,T2I-Adapter-SDXL模型参数更小,运行速度更快。Diffusers团队已支持T2I-Adapter-SDXL在SDXL中的应用,并提供了训练脚本和示例。
Ethereum 在 2023 年第二季度举办了多场社区和教育活动,包括巴黎的 DeFi 安全峰会、DWeb 营和全球学者计划、巴塞罗那的 ETHBarcelona 会议和黑客马拉松等,旨在提高 DeFi 安全性、解决 web3 面临的挑战,并推动以太坊技术的未来发展。
Hugging Face 的 🤗 Transformers 提供了优化 BARK 语音合成模型的工具,通过三种优化技术,显著提升推理速度和内存使用效率。BARK 模型自 v4.31.0 版本起加入 🤗 Transformers 库,支持生成多种音频输出,包括语音、音乐、背景噪音和简单音效。优化过程依赖于 🤗 Transformers、Optimum 和 Accelerate 库。
Devconnect 伊斯坦布尔合作空间票务现已开放,活动将于11月13日至19日在伊斯坦布尔国会中心举行,票价为10欧元,提供会议点、工作空间和休息场所。同时,Devconnect官方网站提供活动详情和购票信息,并即将发布伊斯坦布尔城市指南。
以太坊 Next Billion Fellowship 第 3 组学员 Brian、Devansh、Masa、Mulenga 和 Valeriia 分别致力于金融包容性、公共影响评估、教育支持、文化遗产保护和乌克兰的区块链应用研究,他们的故事反映了以太坊社区的多样性和对人类协作未来的探索。
Hugging Face Hub 上有约 50K 个公共数据集,其中约 87% 未指定语言信息。Hugging Face 使用机器学习模型检测未标记语言的数据集,并通过 librarian-bots 添加元数据,以提高数据集的可搜索性。该模型使用 Meta 的 fastText 模型进行语言识别,可检测 217 种语言。
Segmind开源了其压缩模型SD-Small和SD-Tiny的知识蒸馏代码和权重,这些模型在知识蒸馏技术训练下,参数量分别比基础模型减少了35%和55%,同时保持了与基础模型相当的图像保真度。开源代码和预训练检查点可在Hugging Face上获取,蒸馏模型在推理速度上比原始模型快100%。
Hugging Face于7月7日至11日举办了首届开源AI游戏马拉松,共有88款游戏提交,其中Snip It获得冠军。活动鼓励开发者使用开源AI工具,如Stable Diffusion和GPT-4,展示了开源AI在游戏开发中的潜力。
Hugging Face推出的AI WebTV实验演示展示了Zeroscope和MusicGen等开源文本到视频模型的最新进展,通过NodeJS和TypeScript实现,使用Zeroscope V2模型生成视频,并配合MusicGen生成音乐,通过FFmpeg进行视频流广播。
Hugging Face 博客介绍了如何使用 Transformers.js 库创建实时机器学习网页游戏 Doodle Dash。该游戏基于 Google 的 Quick, Draw!
Writer创始人Waseem Alshikh分享了公司从Hugging Face用户到贡献开源模型的历程,强调了Hugging Face Expert Acceleration Program对Writer的价值,并探讨了在CPU和GPU上大规模部署LLM的效率问题。
OpenAI 分享了从跨越 22 个国家的对话中获得的洞察,并说明了未来将如何整合这些见解。
Ethereum宣布2023年度学术资助计划获奖名单,共43个项目获得超过200万美元资助,涵盖密码学、经济学、执行层2、形式验证、P2P网络、安全和社会监管等多个领域。项目团队来自全球各地,包括美国、中国、英国、法国等。
Ethereum Devconnect 伊斯坦布尔学者计划旨在支持来自地理和人口统计上代表性不足的社区的人才,提供财务支持让他们参加11月的Devconnect活动。
Hugging Face 博客发布文章,探讨了文本到图像模型中的偏见问题,分析了偏见来源,并提出了相应的工具和解决方案。
推荐理由:文章探讨了文本到图像模型中的偏见问题,并提出了相应的工具和解决方案,对理解和解决该问题有重要价值。
Hugging Face 博客介绍了如何使用 MMS Adapter 模型进行低资源语言语音识别的微调,该模型在 10-20 分钟的微调后实现了惊人的低词错误率。MMS 模型能够识别和转录 1100 多种语言,包括濒危语言,有助于保护语言多样性。
Hugging Face Blog 发布了关于 Autoformer 模型在时间序列预测中的有效性分析,指出该模型在三个数据集上的表现优于 DLinear 模型,并介绍了其分解层和自相关机制。