SageMaker能切GPU了，半张H100有时比整张A100省钱

你家那个只吃 14GB 显存的小模型，是不是正霸占着一整张 A100，闲得直打哈欠？

11 月 6 日，AWS 宣布 SageMaker 推理端点支持 GPU 分区，底层用的是 NVIDIA 的 MIG（多实例 GPU）：一张物理卡在硬件层面切成最多七份，每份有自己的算力、显存和带宽。AI主线 的判断是，SageMaker 这次接入 MIG，新鲜的不是切卡这项技术，而是 AWS 把原来必须自建 Kubernetes 才能用上的硬件分区，做成了托管端点里的两个可选字段，手里有一堆小模型的团队会先受益。

以前想让几个模型共用一张卡，到底有多折腾？

在 SageMaker 上，GPU 的最小申请单位一直是整张卡。一台 ml.p4d.24xlarge 带八张 A100，最多就放八个模型，不管每个模型要 40GB 还是 14GB。

AWS 自己列了三条老路。把端点合并、批量加大，只适合模型能互换的场景，各客户微调出来的变体就不行。多模型端点按需加载卸载，适合流量稀疏，但模型之间没有隔离，没加载的模型首次调用还要吃一次加载延迟。剩下一条是自建 Kubernetes，驱动版本、分区配置、设备插件、调度全得自己扛。

说句公道话，MIG 在别家云上早就能用了。Google 的 GKE 文档里，GB200、B200、H200、H100、A100 都在支持名单上；微软 AKS 支持 A100、H100、H200 系列，还有一个托管版节点池在预览，驱动、设备插件和监控导出器交给 AKS 维护。所以这回更像是 SageMaker 补课，补的是"托管推理端点也能直接切卡"这一环。

两个字段，一台 p4d 变成二十四个小 GPU

用法很朴素。端点配置的生产变体里加一个 AcceleratorPartitionLayouts，声明每张卡怎么切；推理组件里再加一个 AcceleratorPartitionType，指定模型落在哪种分区上。不新增 API，不新增 IAM 权限，不填这两个字段的端点跟以前一模一样，调用方式也不变。

AWS 给的例子，是把每张 A100 切成 4g.20gb、2g.10gb、1g.5gb 三份，刚好用满七个算力切片，八张卡就是 24 个分区。名字好读：前面是算力单元，后面是显存，3g.40gb 就是三份算力加 40GB。

支持的实例族是 P4d、P5、G7 和 G7e，区域一共七个，美国三个、亚太两个（新加坡和东京）、欧洲两个。G7 上的 RTX PRO 4500 Blackwell 只能切两份，G7e 上的 RTX PRO 6000 Blackwell 最多四份，别指望每种卡都能切七份。

限制也不少。分区布局在建端点时就定死，想改只能新建端点再迁流量；只有用推理组件的实时端点能切，单模型端点、无服务器端点和异构实例池都不行；账单仍按整台实例收，一分不降。省钱靠的是你把这台机器塞得更满。

半张 H100 对整张 A100，AWS 的跑分长啥样？

这部分是 AWS 自家测的，先把条件说清楚：模型是 Llama-3.1-8B-Instruct，压测工具用 genai-bench，一边是 H100 的一个 mig-3g.40gb 分区，一边是整张 A100-40GB，两边显存相当，五种流量形态，并发从 2 一路扫到 512。

按官方的说法，分区的输出吞吐在所有场景、所有并发下都更高，在各场景成本优势最大的那个负载点，高出 53% 到 89%。

折算成每百万输出 token 的成本，分区便宜 18% 到 34%，但有个交叉点：短提示要并发到 64 才划算，8000 token 的长输入并发到 4 就划算了。低于交叉点，还是整张 A100 更便宜。

那它凭什么能省？这里有笔容易漏看的账。按 AWS 给的俄勒冈按需价，一台 p4d 约 25.25 美元每小时，一台 p5 约 63.3 美元每小时。把整机价格按卡数摊开，半张 H100 每小时大约比整张 A100 贵四分之一。贵四分之一，吞吐却高出一半以上，账才算得过来；流量稀、并发低的话，就是白付溢价。

还有一条：长上下文跑到最高并发时，整张 A100 有三分之一到一半的请求超时失败，分区一个没丢。我对这条比较谨慎。它至少说明 40GB 整卡在长输入重负载下确实吃紧，但只测了一个 8B 模型、一对组合，没拿整张 H100 或别的切法做参照，数据全出自 AWS 自己，我没查到独立复现。跑分党先别急着抄作业。

谁该现在去试，谁先放一放？

手里是一堆按客户微调的模型，或者 embedding、重排、安全分类器这类吃不满一张卡的小角色，这次真香：每个模型常驻自己的分区，没有冷启动，一个模型流量暴涨也不会拖慢邻居的 p99。（AWS 自己也提醒，同一台实例上的主机 CPU、内存、网络和路由还是共享的，别把它当成完整的租户边界。）

单个大模型就能占满整卡的，或者一个模型要跨多张卡的，这篇跟你关系不大。每天都在重排模型组合的团队也得掂量，布局一旦建好就改不了。

Salesforce 在发布里露了脸，说是参与了需求定义和初版验证。不过它那段话通篇是"会让我们""正准备用真实生产负载验证"，还停在准备验证这一步，离生产案例还有段距离。

AI主线 接下来盯两件事：一是支持名单会不会从 P4d、P5、G7、G7e 往更新的卡上扩，二是有没有人拿自己的模型，把那个交叉点复现一遍。切卡是老技术，但"把一张卡的各种切法当成一档档位去量"这个思路，我觉得比功能本身更有用：以后选型，不用再被迫往上取整了。