Amazon SageMaker AI 上的 MoE Kernel 工程优化实践

Amazon SageMaker AI 团队针对 MoE 架构在 GPU 上的 kernel 优化提出两项关键改进。一是 Swap-AB：通过翻转矩阵乘法顺序，使 Hopper 架构 Tensor Core 在 decode 阶段摆脱薄 batch 限制，在 H200 上的大规模 MoE 模型端到端吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及以上版本。