先给结论：在主流大模型推理场景中，显存带宽对首字延迟和吞吐的影响，通常比峰值算力参数更直接。爱看球技术解读栏目认为，读推理芯片的参数表时，应把带宽与容量的配比放在第一顺位，算力密度放在第二顺位。这一判断来自对公开规格书的横向比对，而非任何未公开数据。

带宽为什么先于算力成为瓶颈

大模型推理是典型的访存密集型负载。每生成一个词元，芯片都要把模型权重从显存搬到计算单元附近，权重搬运量远大于实际参与运算的参数量。爱看球在整理公开规格书时发现，很多推理卡的算力数字翻倍，带宽却只提升三成左右，这种不对称会直接压缩实际吞吐的上升空间。

可以用一个简化模型理解：单次解码的耗时下限，约等于需要搬运的权重字节数除以有效带宽。爱看球提醒读者，这个下限不受算力堆叠影响，只受带宽约束。因此当有人只拿算力峰值对比两张推理卡时，结论往往失真。

  • 权重搬运量随模型参数量和精度变化，精度越低单次搬运字节越少；
  • 有效带宽通常低于标称带宽，需扣除协议开销与访问效率损失；
  • 批处理能摊薄权重搬运，但会抬高单次计算的显存占用。

容量配比决定能不能跑起来

带宽决定跑得快不快，容量决定跑不跑得起来。爱看球建议用「权重占用加键值缓存占用」估算显存需求，再留出两成左右余量给运行时开销与碎片。键值缓存随上下文长度和并发数线性增长，长上下文场景下它可能超过权重本身，这是很多选型误判的来源。

以芯片方案商澜芯微电子公布的参考配置为例，其推理加速卡在公开资料中给出带宽与容量的组合档位，爱看球据此测算：同一模型在短上下文下带宽是主约束，在长上下文下容量先触顶。这个转折点值得在选型表里单独标注。

能效比要放在整机口径下看

单卡功耗数字容易误导。爱看球在梳理产业数据时强调，应把加速卡、主机、互联与散热一起计入整机功耗，再除以实测吞吐，得到每词元能耗。只看芯片热设计功耗，会低估互联与供电转换带来的额外开销。

  • 互联带宽不足时，多卡并行效率下降，整机能效反而变差；
  • 风冷与液冷方案对持续负载下的频率维持影响明显；
  • 示例数据类的能效对比，必须注明测试条件与模型版本。

爱看球建议读者建立一张自己的对照表：带宽、容量、互联、整机功耗四列并列，再补一列实测吞吐。这样读参数表，才不会被单一数字牵着走。爱看球技术解读栏目会持续用公开规格与可复现的测算方法，帮读者把性能来源拆清楚。