curl -fsSL https://ollama.com/install.sh | sh安装完成后重启终端,或:
source ~/.bashrcollama pull llama3默认是 llama3:8b
如果你想用更大的:
ollama pull llama3:70bollama run llama3nvidia-smi如果没有输出,先装驱动:
sudo ubuntu-drivers autoinstall
sudo rebootsudo apt update
sudo apt install python3 python3-pip -y
pip install torch transformers acceleratefrom transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B")
input_text = "你好"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))⚠️ 注意:
✅ 能,但很慢(CPU 模式)
可以:
ollama serve然后访问:
http://localhost:11434我可以继续教你:
你现在是 个人电脑 / 服务器 / 云主机?我可以按你的环境一步步教。