英伟达在11月5日发布技术解读，聚焦AI推理中HBM资源压力。随着大模型参数规模及智能体应用扩展，GPU显存需承载模型权重与KV缓存。部分场景处理多达300万个token，加上检索增强生成（RAG）引入的企业资料，内存占用显著增加，而HBM供应趋紧及价格上升问题在可预见未来将持续。
英网传其采用“全栈协同设计”思路，将GPU、CPU、网络、存储和软件作为整体设计，旨在提升内存价值。该方案指出，HBM容量增加若未匹配数据进出速度，将遭遇“内存墙”，新增容量无法有效转化为服务能力。因此，需通过数据压缩及分层调度，确保数据在合适层级高效流动。
操作层面，英伟达结合NVFP4低精度格式压缩权重与KV缓存，利用Vera CPU的大容量LPDDR内存为暂停上下文提供缓冲。在NVL72系统中，模型权重可分散至最多72颗GPU。Dynamo推理软件负责将不活跃上下文迁移至CMX存储，RAG索引则保留在CPU与存储侧，避免长期占用HBM。
据SemiAnalysis AgentX基准数据，在每用户每秒125 token条件下，Vera Rubin NVL72相较GB300 NVL72，每美元智能体吞吐量最高提升30倍，而每GPU的HBM容量仅增加约3%。另一组数据显示，GB300 NVL72较H200平台在每用户每秒100 token条件下，每美元吞吐量最高提升10倍。
AI算力竞争正从单纯追求显存容量，转向追求每字节、每瓦特产出的有效token数量，推理服务的评估标准也随之改变。
