AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分21
AWS 展示 vLLM 双向 KV cache 传输，多轮 Agent 工作负载延迟最高降 3.3 倍
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 在 vLLM 中贡献并展示双向 KV cache 传输机制，让多轮 Agent 工作负载中 decode 节点将已计算的 KV 反向传回 prefill 节点，避免重复计算历史上下文。
来源：AWS Machine Learning Blog · aws.amazon.com