你提到的 DeepSeek-R1 有多个不同参数规模的版本,所需显存差异很大,主要取决于模型参数量和量化精度。
下面是常见版本的最低显存需求参考(推理):
这些是官方蒸馏的小模型,最容易本地跑:
| 模型 | 精度 | 大致显存需求 |
|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | FP16 | ~3–4 GB |
| DeepSeek-R1-Distill-Qwen-7B | FP16 | ~14–16 GB |
| DeepSeek-R1-Distill-Qwen-14B | FP16 | ~28–32 GB |
| DeepSeek-R1-Distill-Qwen-32B | FP16 | ~64 GB |
| 同上(4-bit 量化) | 4-bit | ~18–20 GB |
这是完整版,参数极多(激活参数约 37B):
| 场景 | 显存需求 |
|---|---|
| FP16 全量推理 | 约 1300+ GB(多卡) |
| 4-bit 量化推理 | 约 350–400 GB |
| 训练 / 微调 | 数 TB 级 |
✅ 结论:
如果你告诉我:
我可以直接给你更精确的建议。