DeepSeek-R1 或 DeepSeek 相关仓库。确保已安装 Python 和以下工具:
pip install torch transformers accelerate # 基础依赖
# 如需量化推理,可安装 bitsandbytes 或 GPTQ 工具from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/DeepSeek-R1" # 替换为实际模型ID
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")# 安装 Git LFS
git lfs install
# 克隆模型仓库
git clone https://huggingface.co/deepseek-ai/DeepSeek-R1inputs = tokenizer("你好,请介绍一下自己。", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))bitsandbytes 进行 4-bit/8-bit 量化加载。如果遇到问题,建议优先参考 官方文档 或 Hugging Face 模型页面 的说明。