跳到正文

#教程/实践

今日 1 条
7月29日周二
7月25日周五
7月23日周三
7月17日周四
7月9日周三
7月8日周二
7月1日周二
6月19日周四
6月12日周四
6月4日周三
  1. Hugging Face Blog62

    nanoVLM中KV Cache从零开始

    nanoVLM团队在nanoVLM仓库中实现了KV Caching,提高了生成速度38%。文章详细介绍了KV Caching的原理和实现过程,适用于所有自回归语言模型的生成。

    推荐理由:原文详细介绍了KV Caching在nanoVLM中的实现,读者可以学习到如何优化自回归语言模型的生成效率。

6月3日周二
5月25日周日
5月23日周五
5月21日周三
  1. Hugging Face Blog45

    Hugging Face Diffusers 中的量化后端探索

    Hugging Face Diffusers 探索了多种量化后端,如 bitsandbytes、GGUF、torchao、Quanto 和 native FP8,以降低大型扩散模型的内存和计算资源需求,同时保持性能。通过实验,用户可以识别出不同量化版本的模型生成的图像,展示了量化技术在保持图像质量的同时显著降低内存消耗的优势。

5月14日周三
5月12日周一
5月8日周四
5月7日周三
4月30日周三
  1. Hugging Face Blog42

    Gradio 如何构建 MCP 服务器

    Gradio 最新版本支持构建 Model Context Protocol (MCP) 服务器,使 Gradio 应用成为 LLM 的工具。通过简单的 Python 代码,Gradio 可将任何 Python 函数转换为 LLM 可用的工具,如字母计数器。Gradio 还支持资源(数据)和提示(模板),并允许创建仅存在于 MCP 服务器中的函数。

4月22日周二
4月16日周三
  1. Hugging Face Blog45

    Hugging Face Blog - Prefill and Decode for Concurrent Requests - Optimizing LLM Performance

    Hugging Face Blog 发表了关于优化大型语言模型(LLM)性能的文章,重点介绍了并发请求处理中的预填充和解码阶段,以及其对延迟、吞吐量和GPU资源利用率的影响。文章指出,预填充阶段可以并行处理输入标记,而解码阶段则需按顺序处理单个输出标记,这对交互式应用如聊天机器人至关重要。此外,文章还讨论了资源利用率和总吞吐量之间的关系。

4月13日周日
4月9日周三
4月8日周二
4月3日周四
4月2日周三
3月24日周一
3月21日周五
3月20日周四
3月7日周五
3月4日周二