部署DeepSeek R1到Windows需注意以下要点:
- 系统要求:需Win10及以上版本,建议预留50GB以上SSD空间,安装时需管理员权限。
- 硬件配置:
- 显卡:需NVIDIA RTX 3060及以上(显存≥8GB),支持CUDA 11.8+,显存不足可能导致推理失败。
- 内存:建议32GB DDR4,模型加载时峰值占用较高。
- 软件依赖:
- 安装Ollama工具(推荐0.1.8版本),用于管理模型。
- 配置CUDA和cuDNN(版本需与Ollama兼容,如CUDA 11.8+cuDNN 8.6.0)。
- 模型部署:
- 通过命令行输入
ollama run deepseek-r1:[版本号]
(如ollama run deepseek-r1:7b
),选择适配硬件的版本。 - 可通过环境变量
OLLAMA_MODELS
自定义模型存储路径。
- 性能优化:
- 启用量化(如Q4_K)降低显存占用,或使用
--gpu-split
限制显存分配。 - 若遇CUDA内存不足,可尝试降低
gpu_layers
参数或使用--low-vram
模式。
- 可视化工具(可选):
- 可搭配Chatbox等工具通过Ollama API连接本地模型,需确保端口(默认11434)畅通。
- 常见问题:
- 若出现“DLL加载失败”,需安装VC++ 2015-2022可再发行组件。
- 网络不稳定可能导致模型下载中断,建议使用稳定网络或配置代理。
参考来源: