DeepSeekR1在Windows上的部署方法

DeepSeekR1是DeepSeek公司发布的一款强化学习驱动的推理模型。然而，DeepSeek官方开源的DeepSeek-R1 671b满血版本在Windows上的本地部署是极其困难的，甚至可以说几乎不可能。这是因为该模型在4bit量化后的大小仍然超过400GB，启动运行时需要将所有数据加载至内存中，且内存占用会随着量化值的不同而大幅上升。对于一般的本地PC来说，这样的内存需求是无法满足的。
如果你仍然希望在Windows上部署DeepSeekR1，以下是一些建议的步骤：

准备工作

• 操作系统：建议使用Windows 11 24H2或更高版本。
• 硬件准备：
• CPU：建议使用Intel i7-12700K或更高配置。
• 内存：至少32GB。
• 存储：1TB SSD。
• GPU：建议使用NVIDIA GeForce RTX 3070 8G显存或更高配置。

安装部署

1. 安装环境：根据上述硬件配置准备你的电脑。
2. 使用Ollama进行部署：

• 访问Ollama官网下载并安装Ollama。
• 安装完成后，打开PowerShell，输入ollama run deepseek-r1:7b启动模型。

1. 对话测试：进入对话模式与其对话，如果回答正常，则表示安装部署成功。

客户端对接

• Web客户端：可以选择OpenWebUI或LobeChat。
• 桌面客户端：可以选择AnythingLLM或Cherry Studio。

以Cherry Studio为例，安装过程大致如下：

1. 访问Cherry Studio官网下载并安装。
2. 选择好安装位置，按照安装向导完成安装。
3. 配置API地址为Ollama默认的监听地址（http://127.0.0.1:11434），输入API密钥后即可开始使用。

需要注意的是，由于DeepSeek-R1 671b满血版本的模型过大，本地部署对硬件要求极高，且可能面临性能瓶颈。因此，如果对性能有较高要求，建议使用云服务或高性能计算资源进行部署。