“Hopper架构可提升几倍吞吐量”取决于对比对象(上一代谁)和具体场景(训练/推理/通信),不能简单说“统一提升 N 倍”。以 NVIDIA 官方公开数据为主:
使用 FP8 + Transformer Engine,官方称可比 A100(TF32/FP16)快约 6–30 倍(典型大 LLM 训练约 6–9 倍吞吐提升)。
H100 对比 A100,在支持 FP8 的推理下,官方称最高约 30 倍(小 batch、优化后上限)。
HBM3 使带宽从 1.6–2.0 TB/s(A100)提升到 3.35 TB/s(H100 SXM),约 1.7–2 倍。
从 600 GB/s(A100)到 900 GB/s(H100),约 1.5 倍。
Hopper 本身不是最新,Blackwell 官方称训练/推理吞吐相对 Hopper 可达约 5 倍(稠密)/更高(MoE),反过来说 Hopper 相对 Blackwell 是“低几倍”。
如果你指的是某一具体模型(如 LLaMA-70B / GPT-3)或对比 A800/H800,可以告诉我,我给你算更精确的吞吐倍数。