系统兼容性与推荐版本
- 支持在三大桌面与服务器平台运行:Linux(Ubuntu 20.04/22.04 LTS 为主)、Windows 10/11(推荐通过 WSL2)、macOS。
- 容器与集群环境:Docker 20.10.7+、Kubernetes 1.20+ 可用于容器化与服务编排部署。
- 建议的 Python 版本:3.8–3.11(推荐 3.9–3.10),以匹配主流深度学习依赖版本。
各平台要点与注意事项
- Linux(Ubuntu 20.04/22.04 LTS)
原生支持最佳,便于配置 CUDA 11.x/12.x 与深度学习栈;适合 GPU 加速与长期稳定运行。
可直接在原生环境运行(CPU 或 CUDA),但对 GPU 的完整支持通常依赖 WSL2(Ubuntu 20.04/22.04);也可使用 Docker Desktop for Windows 进行容器化部署。
可通过 Homebrew 配置依赖,使用 CPU 推理或 Apple Silicon(M 系列)原生加速方案;适合个人开发与轻量部署。
提供标准化交付与扩缩容能力,适合企业级部署与多节点推理服务。
GPU 与驱动要求概览
- NVIDIA GPU:建议 CUDA 11.8+,驱动版本与 CUDA 匹配;常见组合为 CUDA 11.8 或 CUDA 12.1+,具体取决于 PyTorch/Transformers 版本。
- AMD GPU:支持 ROCm 5.4+(Linux 为主)。
- 显存建议:至少 4GB 可跑基础推理,8GB+ 更佳;参数越大所需显存越高(见下文模型规模与资源)。
模型规模与资源建议
- 个人/入门:1.5B、7B、8B、14B(量化后更易在消费级显卡运行)。
- 进阶:32B(建议 24GB 显存级别显卡)。
- 大型:70B(建议 ≥24GB 显存,更推荐数据中心级 GPU)。
- 超大模型:官方 R1 约 671B 参数,通常需多卡/集群环境,不建议个人本地部署。