AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分47
vLLM 推出 push-based NIXL 连接器，可将 disaggregated 推理的 TTFT 提升最高 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 推出基于推送的 NIXL 连接器，将 disaggregated 推理中的 KV cache 传输协调移出 TTFT 关键路径。在使用 Amazon EC2 P5en 实例与 EFA 的 1P1D 部署中，Qwen3-32B 模型相比 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
来源：AWS Machine Learning Blog · aws.amazon.com