DeepSeek R1不同版本显存特点不同,具体如下:
- 容量差异大:有1.5B、7B、14B、32B、70B、671B等多种版本,对应显存需求从4GB到1.4TB不等,如1.5B版本最低4GB,671B版本FP8精度下至少800GB。
- 精度相关:不同精度下显存占用不同,例如FP8/FP16精度下671B模型需800GB - 1.4TB显存,INT4精度下最低640GB。
- 多卡协同:大模型版本常需多卡并行,如671B版本可用8×A100 80GB或H100 94GB显卡组合,通过NVLink/InfiniBand互联,提升显存容量和计算效率。