AWS Machine Learning Blog· Shantanu Tripathi·· 8 小时前AI 评分18
Amazon SageMaker Inference 支持 NVIDIA MIG，GPU 端点可分区部署多模型
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现已支持基于 NVIDIA Multi-Instance GPU（MIG）的 GPU 分区，可将一块物理 GPU 划分为最多 7 个硬件隔离分区，每个分区拥有独立计算单元和显存。该功能仅适用于使用 inference components 的端点，单模型端点、Serverless 端点和异构实例池不支持；分区布局需在创建端点时选定。
来源：AWS Machine Learning Blog · aws.amazon.com