Linux安装llama3需要啥

在 Linux 上安装 Llama 3（Meta 的 LLaMA 3），通常有两种主流方式：直接用 Ollama（最简单） 或 用 Hugging Face + transformers（更灵活）。下面按“从简单到专业”给你讲清楚需要什么、怎么做。

一、最简单方式：用 Ollama（强烈推荐新手）

1️⃣ 系统要求

• 操作系统：Linux（Ubuntu / Debian / CentOS / Arch 等）
• 内存（RAM）
• 8B 模型：至少 16GB
• 70B 模型：至少 64GB
• 显卡（可选）
• 有 NVIDIA GPU（CUDA）体验更好
• 纯 CPU 也能跑，但慢
• 磁盘空间
• 8B 模型约 5–6 GB
• 70B 模型约 40 GB

2️⃣ 安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

3️⃣ 下载并运行 Llama 3

ollama run llama3

✅ 默认是 llama3:8b
✅ 自动下载、自动运行
✅ 直接进对话界面

4️⃣ 可选：指定模型大小

ollama run llama3:8b
ollama run llama3:70b

二、专业方式：Hugging Face + Python

适合：

• 想做 微调 / 推理 / 二次开发
• 用 vLLM / transformers / PEFT

1️⃣ 环境准备

sudo apt update
sudo apt install -y python3 python3-pip git

建议用 conda：

conda create -n llama3 python=3.10
conda activate llama3

2️⃣ 安装依赖

pip install torch transformers accelerate

GPU 用户（CUDA 12）：

pip install torch --index-url https://download.pytorch.org/whl/cu121

3️⃣ 下载 Llama 3 模型

需要 Hugging Face 账号 + 申请访问权限

huggingface-cli login

模型示例：

• meta-llama/Meta-Llama-3-8B-Instruct
• meta-llama/Meta-Llama-3-70B-Instruct

下载：

git lfs install
git clone https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

4️⃣ 推理示例

from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "./Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")
prompt = "介绍一下 Linux"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

三、GPU 用户额外需要

NVIDIA 驱动

nvidia-smi

能看到 GPU 就行

CUDA（推荐）

• CUDA 12.x
• cuDNN 已随 PyTorch 自动处理

四、常见问题

❓ 没有 GPU 能跑吗？

✅ 可以

• 8B 模型在 16GB 内存 CPU 上可跑
• 推理速度较慢

❓ 需要联网吗？

• 下载模型时需要
• 运行后可以离线

❓ 商业能用吗？

• Llama 3 有 社区许可
• 大规模商用需查看 Meta 官方许可

五、推荐方案总结

如果你愿意，我可以：

• ✅ 给你 Ubuntu 22.04 完整安装脚本
• ✅ 推荐 适合你机器配置的最小模型
• ✅ 教你 用中文语料微调 Llama 3

你现在是 服务器 / 笔记本 / 台式机？有没有 GPU？