安装Llama 3到Linux的步骤是什么

在 Linux 上安装并运行 Llama 3 的简明步骤
一 准备与环境

• 建议使用具备 NVIDIA GPU（显存≥8GB） 的机器，并预留 ≥20GB 磁盘空间；仅 CPU 也可运行但速度较慢。
• 确认网络可访问 Ollama 官网 与模型仓库；如使用 GPU，提前安装好 NVIDIA 驱动 与 Docker（GPU 场景用）。
• 常见模型规格：8B（更轻量、易运行）与 70B（更强但资源占用高）。

二 安装 Ollama 并启动服务

• 一键安装 Ollama（Linux）：

curl -fsSL https://ollama.com/install.sh | sh

• 启动服务（前台，便于排查）：

ollama serve

• 或配置为系统服务（后台常驻，推荐）：

sudo tee /etc/systemd/system/ollama.service >/dev/null <<'EOF'
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
[Install]
WantedBy=default.target
EOF
sudo systemctl daemon-reload
sudo systemctl enable --now ollama

• 验证安装：

ollama --version

默认监听端口为 11434。
三 拉取并运行 Llama 3

• 直接运行会自动下载并进入对话：

ollama run llama3

• 指定规格（显存较小选 8B，更强选 70B）：

ollama run llama3:8b
ollama run llama3:70b

• 仅下载不运行：

ollama pull llama3:8b

• 查看已安装模型：

ollama list

• 删除模型：

ollama rm llama3:8b

• 常用命令速览：ollama serve / create / show / run / pull / push / list / cp / rm / help。

四 可选 Docker 与 GPU 运行

• CPU 模式运行 Ollama（数据持久化到宿主机）：

docker run -d \
-v /opt/ai/ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama

• GPU 模式（需先安装 nvidia-container-toolkit）：

docker run --gpus all -d \
-v /opt/ai/ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
ollama/ollama

• 进入容器执行模型命令：

docker exec -it ollama ollama run llama3:8b

• 可视化界面（Open WebUI，端口 8080）：

docker run -d \
-p 8080:8080 \
--add-host=host.docker.internal:host-gateway \
--name ollama-webui \
--restart always \
ghcr.io/ollama-webui/ollama-webui:main

浏览器访问 http://服务器IP:8080。
五 常用配置与 API 调用

• 修改模型存放目录（避免系统盘占满）：

sudo mkdir -p /home/ollama/.ollama
sudo tee /etc/systemd/system/ollama.service >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"
EOF
sudo systemctl daemon-reload
sudo systemctl restart ollama

• 远程访问与跨域（如服务器对外开放 API）：

sudo tee -a /etc/systemd/system/ollama.service >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
EOF
sudo systemctl daemon-reload
sudo systemctl restart ollama

• 本地 API 生成示例（端口 11434）：

curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "请用中文介绍 Llama 3。",
"stream": false
}'

• 常见问题速解：
• 下载慢或失败：重试命令；换更稳定的网络或镜像源。
• 显存不足：改用 llama3:8b 或关闭占显存进程。
• 端口冲突：修改 -p 参数（如 11435:11434）。