热点事件持续更新

AWS推出vLLM推送式KV传输以优化TTFT与TPOT

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

vLLM推出基于推送的NIXL连接器，针对disaggregated推理场景，将KV cache的传输协调从TTFT关键路径中剥离。在使用Amazon EC2 P5en实例与EFA的1P1D部署下，对Qwen3-32B模型进行测试，结果显示相比pull模式，TTFT最高提升3倍，TPOT最高提升30%。该方案旨在缓解disaggregated推理中prefill与decode阶段分离所带来的TTFT瓶颈问题，通过推模式将KV传输从同步关键路径中移出，从而改善整体时延表现。

AI 根据报道生成 · 3 小时前更新

最新进展10月20日 00:05

vLLM发布推送式NIXL连接器，将disaggregated推理KV传输移出TTFT关键路径，最多提升TTFT 3倍、TPOT 30%。

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推出 push-based NIXL 连接器，可将 disaggregated 推理的 TTFT 提升最高 3 倍
vLLM 推出基于推送的 NIXL 连接器，将 disaggregated 推理中的 KV cache 传输协调移出 TTFT 关键路径。在使用 Amazon EC2 P5en 实例与 EFA 的 1P1D 部署中，Qwen3-32B 模型相比 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。

本事件热度走势

当前热度 9·可比范围峰值 10（10月20日 01:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。