如何在Linux安装llama3

在 Linux 上安装 LLaMA 3（Meta Llama 3） 通常有两种主流方式：
✅ Ollama（最简单，推荐新手）
✅ 本地手动部署（llama.cpp / Python）

下面我按 从简单到进阶 给你完整说明。

一、最简单方式：使用 Ollama（强烈推荐）

1️⃣ 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

安装完成后验证：

ollama --version

2️⃣ 下载并运行 LLaMA 3

ollama run llama3

默认会下载：

• LLaMA 3 8B（约 4.7GB）
• 自动使用 GPU（如果可用）

运行后你就可以直接对话了 ✅

3️⃣ 指定模型版本（可选）

ollama run llama3:8b
ollama run llama3:70b   # 需要大显存

4️⃣ 常用命令

ollama list            # 查看已安装模型
ollama rm llama3       # 删除模型

二、使用 llama.cpp（适合高级用户）

适合：

• 想自己控制模型
• CPU / GPU 混合推理
• 研究或部署服务

1️⃣ 克隆并编译

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

2️⃣ 下载 LLaMA 3 模型权重

你需要从 Meta 官网 或 Hugging Face 获取：

• Hugging Face（推荐）

https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
⚠️ 需要登录并申请访问权限
下载后例如：

Meta-Llama-3-8B-Instruct/
├── model-00001-of-00002.safetensors
├── tokenizer.model

3️⃣ 转换为 GGUF 格式

python convert-hf-to-gguf.py Meta-Llama-3-8B-Instruct

4️⃣ 运行模型

./llama-cli \
-m llama3-8b.Q4_K_M.gguf \
-p "你好，LLaMA 3" \
-n 256

三、使用 Python（transformers）

适合：

• 做开发
• 微调
• 调用 API

1️⃣ 安装依赖

pip install transformers accelerate torch

2️⃣ 示例代码

from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
torch_dtype="auto"
)
prompt = "介绍一下 Linux"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚠️ 需要：

• 登录 Hugging Face
• 接受 Meta 协议
• 显存 ≥ 16GB（8B 模型）

四、硬件要求参考

五、常见问题

❓ 没有 GPU 能跑吗？

✅ 可以，Ollama + CPU 也能跑（速度慢）

❓ 是否需要联网？

• 下载模型需要
• 推理不需要

❓ 是否支持中文？

✅ 支持，但英文能力更强

六、推荐方案总结

如果你愿意，我可以：

• 帮你 选最合适的安装方式
• 给你 GPU / CPU 配置建议
• 教你 接入 Web / API / 聊天界面

你现在用的是 Ubuntu / CentOS / Arch？有没有 GPU？