在本地运行 DeepSeek-R1(深度求索公司开源的推理模型)通常有两种主流方式:用 Ollama(最省事,推荐新手) 和 用 vLLM / Transformers(更适合开发/高性能)。
https://ollama.com 下载安装包
curl -fsSL https://ollama.com/install.sh | sh验证:
ollama --versionDeepSeek-R1 有多个尺寸(1.5B / 7B / 8B / 14B / 32B / 70B / 671B)
例如运行 7B(普通电脑可跑):
ollama run deepseek-r1:7b更小模型(低配电脑):
ollama run deepseek-r1:1.5b| 模型 | 显存 | 内存 |
|---|---|---|
| 1.5B | 无独显也可 | 8GB |
| 7B | 6–8GB | 16GB |
| 14B | 12–16GB | 32GB |
| 32B+ | 24GB+ | 64GB+ |
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main然后浏览器打开:
http://localhost:3000deepseek-r1适合:API 服务 / 多用户 / 高并发
pip install vllmvllm serve deepseek-ai/DeepSeek-R1-Distill-Llama-8B调用:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-ai/DeepSeek-R1-Distill-Llama-8B",
"messages": [{"role":"user","content":"你好"}]
}'... 如果你告诉我:
我可以直接给你 一条最合适的具体命令。