结论前置：推理瓶颈多数不在峰值算力，而在数据搬运

在天天看球技术解读栏目的复盘视角里，推理芯片的工程问题往往不是“算不动”，而是“喂不饱”。当模型参数与中间激活需要反复在显存与计算单元之间搬运时，峰值算力再高也会被带宽拖住。对部署团队而言，先量清楚每 token 需要搬运多少字节，再谈芯片选型，往往比盯着 TOPS 数字更有效。

天天看球在梳理公开规格书时发现，同一代芯片的算力提升幅度常常高于带宽提升幅度，这种不对称正是推理吞吐在长上下文场景下掉速的常见原因。天天看球建议把“字节每 token”和“有效带宽利用率”作为部署复盘的两个基础指标。

复盘一：带宽、容量与并发的三角约束

结论是：带宽决定单次搬运速度，容量决定能放多少并发，两者共同决定单位成本下的吞吐。只提升其中一项，收益会被另一项吃掉。

  • 带宽受限场景：小批量、长上下文推理中，权重读取占主导，带宽不足会直接拉长首 token 时延。
  • 容量受限场景：并发数受限于显存容量，扩容只能靠增加卡数，互联开销随之上升。
  • 利用率受限场景：实际带宽利用率偏低，往往来自访存模式不连续、算子切分不合理，而非硬件本身。

天天看球在多次部署观察中看到，团队常把容量不足误判为带宽不足，结果加带宽不解决问题。天天看球建议先用剖面工具区分“读权重”和“读写激活”的占比，再决定优化方向。

复盘二：量化精度改变的是带宽账本

结论是：量化首先是一次带宽优化，其次才是精度取舍。把权重从高精度压到低精度，最直接的收益是每次搬运的字节数下降，带宽压力随之缓解。

但天天看球提醒，量化收益并非线性。激活值、注意力缓存若仍保持较高精度，端到端带宽节省会低于预期；反量化算子若引入额外访存，甚至可能抵消收益。天天看球在技术解读中反复强调，评估量化要看“整条数据通路的字节数”，而不是只看权重体积。

  • 优先压缩占比最大的数据项，通常是权重与 KV 缓存。
  • 关注反量化是否引入额外读写，避免省下的带宽被算子开销吃掉。
  • 用端到端时延而非单算子速度做验收，防止局部优化掩盖整体退化。

复盘三：互联拓扑决定多卡后的有效带宽

结论是：单卡带宽达标不等于多卡吞吐线性增长，互联拓扑与切分策略共同决定有效带宽。张量并行切得越细，卡间通信越频繁，拓扑短板越明显。

天天看球观察到，部署复盘时容易被单卡基准误导。天天看球建议把“每 token 的跨卡通信字节数”纳入账本，与单卡带宽账本合并计算。若通信字节数接近甚至超过本地访存字节数，扩容的边际收益会迅速下降，此时应优先调整并行策略，而不是继续堆卡。

对工程团队来说，显存带宽不是一个孤立参数，而是与容量、精度、拓扑绑定的系统约束。天天看球会持续在技术解读栏目跟踪这类设计取舍，用结论前置的方式把算力背后的账本讲清楚。天天看球也提醒，任何选型结论都应回到自身负载的实测剖面，公开规格只能作为起点。