显存涨价，NVIDIA说别硬堆容量，AMD偏要上432GB，谁对
今年 AI 圈有个谁都绕不开的现实：内存又贵又缺。TrendForce 统计，服务器 DRAM 合约价二季度环比涨了 53% 到 58%。内存涨成这样，卖 GPU 的怎么讲故事？
11 月 5 日，NVIDIA 在官方博客给了答案：别光往卡上堆显存，要把 GPU、CPU、网络、存储和软件一起设计，让每个字节干更多活。官方亮的数字是，从 Blackwell Ultra 到 Vera Rubin，单卡 HBM 容量只涨了约 3%，SemiAnalysis AgentX 上的 agent 吞吐每美元最高涨了 30 倍。
我们 AI主线 的看法是：NVIDIA“少堆显存、多管分层”的路线方向是对的，但官方亮出的 30 倍只出现在特定的响应速度下，大多数服务商日常跑的区间，差距要小得多。
显存到底卡在哪，先看个仓库
官方打了个比方，我觉得挺准：HBM 是仓库，内存带宽是装卸口。仓库再大，装卸口就那么宽，货进出不去就堵。
堵的是两样东西。一样是模型权重，前沿模型已经是万亿参数的量级。另一样是 KV cache，你可以把它当成模型的“草稿本”，读过的上下文记在上面，省得每次从头再读。
agent 会话每调一次工具，草稿本就厚一截，官方说有的轨迹要处理到 300 万 token。到了某个点，带宽喂不饱算力，多出来的显存只是白白烧钱烧电，工程师管这叫内存墙。
三招省字节，哪招有嚼头
NVIDIA 的办法分三路。第一路是把权重压成 4 位的 NVFP4，抠到不能再抠，再摊到 NVL72 的 72 张卡上，每张卡背得少，显存就能多留给 KV cache。官方列了 FLUX.2 [klein]、Meta Muse Spark、Step 5 Preview 这些已经放出 NVFP4 检查点的模型，算是模型厂商开始买账的信号。
第二路是把暂时不用的上下文搬出去：先放进 Vera CPU 的大块 LPDDR，再由 Dynamo 挪到共享的 CMX 存储层，要用之前取回来。DDN、Dell、HPE、IBM、NetApp、VAST、WEKA 这一长串存储厂商都来站台。第三路最简单，RAG 的索引放在 HBM 外面，只把用到的段落送进上下文。
三招里我更看好第二招。agent 最头疼的就是“暂停的上下文放哪”，这块处理得顺，长会话的单位成本才有往下掉的空间。会不会传到价格表上，得看各家怎么定价，这个我不替谁打包票。
30 倍这个数，得打几折
先说好的一面：AgentX 不是 NVIDIA 自家的跑分。它是 SemiAnalysis 8 月 24 日开源的基准，用 393 条匿名的 Claude Code 轨迹回放，上下文拉到 100 万 token，怎么测的外人看得见，比纯厂商演示可信。
但 30 倍是有前提的。博客写明是每用户每秒 125 token 的速度下。SemiAnalysis 9 月 14 日那篇里，在它认为多数服务商会跑的每秒 60 到 100 token 区间，Rubin 对 GB300 的每美元吞吐优势是 1.4 倍到 3 倍。速度拉得更高，倍数才会往上蹿，这种数看着像画饼，其实不假，只是挑了位置。
SemiAnalysis 按自己的假设建模，Rubin 每吉瓦的年收入比 GB300 搭 Dynamo 与 SGLang 的那套配置多约 39%。这个数不如 30 倍抓眼，但更像机房老板真会算的账。NVIDIA 自己 8 月也提过，当时的结果还没算上 Vera CPU 的工具调用加速，后面数字还会动。
AMD 偏要多塞显存，这笔账怎么算
反方向的押注已经摆上台了。AMD 7 月 23 日的发布会上，Helios 机架里的 MI455X 单卡 432GB HBM4。AMD 自己的对比是，相比 Vera Rubin，HBM4 容量多 50%，算力高 15%，出货从三季度末开始，四季度放量。
NVIDIA 在博客里强调，容量能交付多少取决于带宽搬得动多少，等于直接怼这条路线。谁对？我觉得两边没说谎，回答的是不同的问题。上下文往百万 token 走，容量就是硬需求；NVIDIA 用分层和软件把缺口补上，代价是你得整套用它的 Vera、Dynamo 和 CMX。
AMD 这条路更直白，软件栈能不能跟上就看实测了。Forbes 报道 SemiAnalysis 8 月首轮 AgentX 时说，NVIDIA 在长上下文多轮场景的成本效率明显领先，同时也提醒结果会随模型、推理栈和软件版本变化。
再放一条不太好看的事实在旁边。Bloomberg 8 月 22 日报道，NVIDIA 已通知大客户，AI 服务器要涨价 15% 以上，从明年初出货的系统开始，Vera Rubin 和 Grace Blackwell 都在内。每美元吞吐在涨，每台的标价也在涨，这两件事得一起看。
接下来我们 AI主线 会盯两件事。一是 Helios 四季度放量后，有没有人拿 AgentX 这类 agent 负载把它跑出来；二是 CMX 这层真铺开以后，长会话的成本掉不掉。掉了，天天开着 agent 的咱们才算真受益。