| 模型 | 参数量 | 推理最低显存 | 微调显存 |
|---|---|---|---|
| Llama 3 8B | 80 亿 | ~16 GB(FP16) | ~24–48 GB |
| Llama 3 70B | 700 亿 | ~140 GB(多卡) | 极贵,不推荐个人 |
| Llama 3 405B | 4050 亿 | 800 GB+ | 企业级 |
普通人本地部署:8B 是主流,70B 以上基本要服务器集群。
| 方式 | 硬件 | 成本 |
|---|---|---|
| LoRA 8B | 24G 显卡 | 自购 ¥1.3 万 / 云 ¥300–800 |
| 全参微调 8B | 48–80G | 云 ¥2000+ / 月 |
| 70B 微调 | 多 A100 | 企业级,¥5 万+ / 月 |
如果你告诉我:
我可以直接给你最省钱的部署方案。