AWS Machine Learning Blog· Shantanu Tripathi·· 2 小时前精选AI 评分68
Amazon SageMaker Inference 支持 Multi-Instance GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持基于 NVIDIA Multi-Instance GPU（MIG）的 GPU 分区，可在托管端点中按模型需求切分物理 GPU，并通过 inference component 指定分区类型。
推荐理由
文章详细说明GPU分区机制、配置方式、适用边界及实测结果，可帮助团队规划模型端点的容量与成本。
来源：AWS Machine Learning Blog · aws.amazon.com