SageMaker Inference 支持 MIG GPU 分区
热点事件持续更新
SageMaker Inference 支持 MIG GPU 分区
1 篇报道1 个报道来源56 分钟前更新
先了解这件事
AI 综述
Amazon SageMaker Inference 现已支持 NVIDIA Multi-Instance GPU（MIG）分区，可将一块物理 GPU 划分为最多 7 个硬件隔离分区，每个分区有独立的计算单元和显存。该功能仅适用于使用 inference components 的端点，单模型端点、Serverless 端点和异构实例池不支持，分区布局需在创建端点时选定。 计费方式不变，仍按整块 GPU 实例收费。该功能已在以下 AWS 区域提供：美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、亚太地区（新加坡）、亚太地区（东京）、欧洲（法兰克福）和欧洲（爱尔兰）。
AI 根据报道生成 · 15 分钟前更新
最新进展11月7日 02:01
Amazon SageMaker Inference 支持 NVIDIA MIG，GPU 端点可分区部署多模型报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AWS Machine Learning BlogAmazon SageMaker Inference 支持 NVIDIA MIG，GPU 端点可分区部署多模型
Amazon SageMaker Inference 现已支持基于 NVIDIA Multi-Instance GPU（MIG）的 GPU 分区，可将一块物理 GPU 划分为最多 7 个硬件隔离分区，每个分区拥有独立计算单元和显存。该功能仅适用于使用 inference components 的端点，单模型端点、Serverless 端点和异构实例池不支持；分区布局需在创建端点时选定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。