以下是安装 DeepSeek-R1(假设为本地部署的大语言模型)的通用步骤。由于 DeepSeek-R1 的具体发布形式可能随版本更新变化,建议优先参考 官方文档 或 Hugging Face 页面 获取最新信息。以下是基于常见开源模型部署流程的通用指南:
DeepSeek-R1 通常需要以下基础环境(以 Linux/macOS 为例,Windows 可参考 WSL2 或 Docker):
transformers、torch、accelerate、sentencepiece(如需分词)等。# 使用 conda
conda create -n deepseek python=3.10
conda activate deepseek
# 或使用 venv
python -m venv deepseek-env
source deepseek-env/bin/activate # Linux/macOS
# deepseek-env\Scripts\activate # Windows# 安装 PyTorch(根据 CUDA 版本选择,参考 https://pytorch.org/)
# 例如 CUDA 11.8:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 安装 transformers 和 accelerate
pip install transformers accelerate sentencepieceDeepSeek-R1 可能发布在 Hugging Face Hub 或官方平台,需先确认模型名称(如 deepseek-ai/DeepSeek-R1)。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/DeepSeek-R1" # 替换为实际模型名称
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)若下载慢,可配置 Hugging Face 镜像(如 HF_ENDPOINT=https://hf-mirror.com)。
从官方渠道(如 Hugging Face 页面)下载模型权重(.bin 或 .safetensors)和配置文件,保存到本地目录(如 ./deepseek-r1),再加载:
tokenizer = AutoTokenizer.from_pretrained("./deepseek-r1")
model = AutoModelForCausalLM.from_pretrained("./deepseek-r1")import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# 加载模型和分词器
model_path = "deepseek-ai/DeepSeek-R1" # 或本地路径
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float16, # 半精度减少显存占用
device_map="auto" # 自动分配设备(CPU/GPU)
)
# 推理示例
prompt = "你好,DeepSeek-R1!请介绍一下你自己。"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))若硬件资源有限,可尝试量化(如 4-bit/8-bit)或推理加速工具:
bitsandbytes):pip install bitsandbytes加载模型时添加参数:
model = AutoModelForCausalLM.from_pretrained(
model_path,
load_in_4bit=True,
device_map="auto"
)pip install vllm参考 vLLM 官方文档部署 DeepSeek-R1。
如果 DeepSeek-R1 有特定的安装要求(如专属 CLI 工具、Docker 镜像等),请补充具体信息,我会进一步调整步骤!