AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分18
在 Amazon EKS 上用 Ray LLM Deep Learning Containers 运行多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布支持多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上将单个大语言模型拆分到两个 GPU 节点分别承担 prefill 与 decode 阶段，并通过单一 OpenAI 兼容端点对外提供服务。
来源：AWS Machine Learning Blog · aws.amazon.com