热点事件持续更新

vLLM 优化双向 KV 转移机制提升多轮智能体工作负载性能

2 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月20日，AWS Machine Learning Blog 发布了两篇报道。第一篇报道指出，vLLM 通过双向 KV 转移机制在多轮智能体工作负载中优化了上下文处理效率，将 Qwen3-32B 和 zai-org/GLM-5-FP8 的首次出字时间（TTFT）分别提升了1.6倍和3.3倍。该机制通过在预填充和解码节点间双向传输已计算的 KV 缓存，避免了重复计算，提高了加速器利用率。第二篇报道介绍了vLLM推出的基于推式的 KV 转移技术，通过 NVIDIA Inference Xfer Library (NIXL) 连接器，实现高效的关键值缓存传输，降低首次输出时间 (TTFT) 和每输出 token 时间 (TPOT)，在 Amazon EC2 P5en 实例上，相较于拉模式，TTFT 提升至3倍，TPOT 提升至30%。

AI 根据报道生成 · 2 小时前更新

最新进展10月20日 00:05

vLLM 通过双向 KV 转移机制和推式 KV 转移技术显著提升了多轮智能体工作负载和大规模语言模型推理性能。

事件进展

2 个进展

10月20日 00:05 · 1 篇报道
AWS 推出基于推送的 KV 转移以优化 vLLM 的 TTFT 和 TPOT
AWS Machine Learning Blog：vLLM 推式 KV 转移优化：提升大规模语言模型推理性能
10月20日 00:03 · 1 篇报道
AWS Machine Learning Blog 发布了关于 vLLM 中双向 KV 转移的改进，以提升多轮对话型工作
AWS Machine Learning Blog：vLLM 中双向 KV 转移优化多轮智能体工作负载的 TTFT

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推式 KV 转移优化：提升大规模语言模型推理性能
vLLM 推出基于推式的 KV 转移技术，通过 NVIDIA Inference Xfer Library (NIXL) 连接器，实现高效的关键值缓存传输，降低首次输出时间 (TTFT) 和每输出 token 时间 (TPOT)，在 Amazon EC2 P5en 实例上，相较于拉模式，TTFT 提升至 3 倍，TPOT 提升至 30%。
00:03
AWS Machine Learning Blog
vLLM 中双向 KV 转移优化多轮智能体工作负载的 TTFT
vLLM 通过双向 KV 转移机制，在多轮智能体工作负载中优化了上下文处理效率，将 Qwen3-32B 和 zai-org/GLM-5-FP8 的首次出字时间（TTFT）分别提升了 1.6 倍和 3.3 倍。该机制通过在预填充和解码节点间双向传输已计算的 KV 缓存，避免了重复计算，提高了加速器利用率。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。