你提到的 DeepSeek-R1 有多个不同参数规模的版本,所需显存差异很大,主要取决于模型参数量和量化精度。
| 模型版本 | 参数规模 | 精度 | 近似显存需求 |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | FP16 | ~3–4 GB |
| DeepSeek-R1-Distill-Qwen-7B | 7B | FP16 | ~14–16 GB |
| DeepSeek-R1-Distill-Llama-8B | 8B | FP16 | ~16–18 GB |
| DeepSeek-R1-Distill-Qwen-14B | 14B | FP16 | ~28–32 GB |
| DeepSeek-R1-Distill-Qwen-32B | 32B | FP16 | ~64–70 GB |
| DeepSeek-R1(满血版) | 671B(MoE) | FP16 | ~1300+ GB(多卡) |
例如:
示例:
如果你告诉我:
我可以给你更精确的配置建议。