Linux上Llama 3的安装指南

Linux上安装与运行 Llama 3 的实用指南
一 环境准备与硬件建议

• 操作系统：建议使用主流 Linux 发行版（如 Ubuntu 20.04/22.04、Debian 12 等），具备稳定网络以下载模型。
• 硬件建议：
• CPU 模式：至少10 核 CPU + 16GB 内存，可运行 8B 参数模型的基础推理。
• GPU 加速：建议 NVIDIA 显卡（推荐 CUDA 12.2+），如 A10 等，显存越大体验越好（8B 建议 ≥8GB 显存，70B 需多卡或数据中心级 GPU）。
• 工具与依赖：安装 Docker（如需容器化与可视化界面）。

二 安装 Ollama 并拉取 Llama 3

• 一键安装 Ollama（Linux）：
• 执行：curl -fsSL https://ollama.com/install.sh | sh
• 验证：ollama --version
• 拉取并运行 Llama 3：
• 运行即拉取：ollama run llama3（默认 8B 参数）
• 指定版本：ollama run llama3:70b
• 仅下载：ollama pull llama3 或 ollama pull llama3:70b
• 查看本地模型：ollama list
• 常用命令速览：ollama serve|create|show|run|pull|push|list|cp|rm|help（用法与 Docker 风格相似）。

三 作为服务运行与远程访问配置

• 使用 systemd 管理（推荐）：
• 创建服务文件：sudo vim /etc/systemd/system/ollama.service
• 示例内容（按需调整路径与权限）：

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"
[Install]
WantedBy=multi-user.target

• 启用与启动：
• sudo systemctl daemon-reload
• sudo systemctl enable ollama && sudo systemctl start ollama
• 快速验证服务：
• 本地：curl http://127.0.0.1:11434（应返回 “Ollama is running”）
• 远程：curl http://服务器IP:11434
• 端口占用处理：
• 检查：netstat -tulpn | grep 11434
• 结束占用进程后再启动服务。

四 可选 Web 可视化界面 Open WebUI

• Docker 启动（本机访问）：
• docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
• 访问：http://localhost:3000，在界面中选择 Llama 3 即可使用。
• Docker 启动（服务器部署）：
• docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://你的域名或IP -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
• 模型路径映射（如自定义 Ollama 模型目录）：
• 将宿主机的模型目录挂载到容器内，例如：-v /opt/ollama/models:/app/backend/models（具体以 Open WebUI 版本说明为准）。

五 常见问题与优化建议

• 模型下载慢或失败：检查网络与代理；必要时先在本机或内网环境完成 ollama pull，再迁移至目标机器；也可将模型目录通过 OLLAMA_MODELS 或 volume 挂载到高速盘。
• 端口冲突：修改服务端口（OLLAMA_HOST）或容器映射端口（如 -p 5000:8080），并确保防火墙放行对应端口。
• 显存不足或速度慢：优先选择 llama3:8B 或 量化版本（若可用）；关闭占用显存的其他进程；有 NVIDIA GPU 时确保驱动与容器工具链正确配置。
• 远程访问安全：开放到 0.0.0.0 前，建议配置反向代理、TLS/证书、鉴权与访问控制；仅在内网使用时限制来源 IP。
• 手动安装与自定义路径（无 root 或离线场景）：
• 下载二进制包并解压至自定义目录（如 /opt/ollama），然后通过 systemd 指定 ExecStart 与 OLLAMA_MODELS 路径，最后 systemctl enable/start ollama。