Llama3对电源有何特殊需求

Llama 3 的电源需求要点
Llama 3 的电源需求没有统一的“瓦数”，而是由模型规模（8B/70B/405B）、精度与量化、是否训练/推理、部署形态（单机/多卡/集群）以及数据中心基础设施（PUE、供配电冗余）共同决定。下面按场景给出可落地的电源侧要点与参考数值，便于估算与选型。
数据中心与训练集群的电源侧重点

• 电力预算以“关键 IT 电力”和“总电力”区分：总电力 = 关键 IT 电力 × PUE。行业目标 PUE 通常低于1.3。以英伟达 DGX SuperPOD 参考架构为例，单台 DGX H100（含8×H100）平均电力约1.41 MW，折算每颗 H100 约1,389 W。据此估算，2.4 万张 H100的关键 IT 电力约33 MW，在 PUE=1.3时总电力接近45 MW；更大规模（约60 万张 H100）可超过1 GW。Meta 为 Llama 3 建设了2 个 24,576 GPU（H100）集群，并规划在2024 年底将总规模扩至约35 万张 H100，这类规模对园区供配电、冗余与配电密度都提出了高要求。

本地或单机部署的电源侧重点

• 电源容量与冗余：为 GPU/CPU/存储/风扇预留充足余量，选择80 Plus 金牌或更高效率的电源，确保 UPS 与市电冗余，避免电压跌落导致训练/推理中断。
• 散热与风道：高功耗 GPU 会产生大量热，电源与机箱风道需匹配显卡功耗与散热设计，保持进/出风顺畅，降低热衰减与降频风险。
• 供电线缆与接口：多 GPU 平台注意PCIe 8Pin/12VHPWR线缆规格与走线规范，避免转接器与线材瓶颈或发热隐患。
• 模型与功耗策略：在推理阶段通过量化（如 4bit/8bit）降低显存与带宽压力，可显著减少 GPU 功耗与电源峰值；批处理与并发请求需结合电源与散热能力做上限控制。

不同场景的电源规划参考

上述数值用于量级估算与方案选型，实际请以设备规格书与现场负载测试为准。