torch.cuda.is_available() = False现象:模型加载到 CPU,或者报错 CUDA not found
✅ 排查:
python -c "import torch; print(torch.cuda.is_available())"✅ 解决:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121报错:safetensors/pytorch_model.binnot found
✅ 原因:
✅ 解决(推荐 HuggingFace):
huggingface-cli download deepseek-ai/DeepSeek-R1 --local-dir deepseek-r1报错:CUDA out of memory
✅ 解决:
model = AutoModelForCausalLM.from_pretrained(
"deepseek-ai/DeepSeek-R1",
device_map="auto",
load_in_4bit=True
)或使用:
Transformers 版本不兼容报错:AttributeError/NotImplementedError
✅ 推荐版本:
pip install transformers>=4.37
pip install accelerate
pip install bitsandbytes报错:FileNotFoundError
✅ 解决:
D:\models\)# 安装 Ollama
https://ollama.com
# 拉模型
ollama run deepseek-r1✅ 优点:
适合:
步骤:
llama-cli.exe 跑你可以直接把 完整报错信息 发我,比如:
我可以 一步一步给你定制解决方案,甚至直接给你可复制的命令。