Linux下Llama3的安装指南 - AI技术

Linux下 Llama 3 安装指南
一环境准备与硬件建议

操作系统：建议使用 Ubuntu/Debian/CentOS 等主流发行版，已安装 curl 与基础编译工具。
硬件建议：
CPU 模式：至少 10 核 CPU + 16GB 内存（可运行 8B 参数模型，速度较慢）。
GPU 模式：建议 NVIDIA 显卡，显存 ≥ 8GB（如 A10/A100 等），CUDA 环境可用更佳。
磁盘空间：为模型与依赖预留 20GB+（8B 模型首次下载约 4–8GB）。
网络：可访问 Ollama 官网与模型仓库，必要时配置代理。

二方式一 Ollama 一键安装与运行（推荐）

安装 Ollama（Linux 一键脚本）：
执行：curl -fsSL https://ollama.com/install.sh | sh
验证：ollama --version
拉取并运行 Llama 3：
运行：ollama run llama3（首次会自动下载模型，默认 8B）
指定版本：ollama run llama3:70b（需更高显存/内存）
常用命令（与 Docker 风格类似）：
ollama pull llama3、ollama list、ollama rm 、ollama serve
手动安装与自定义路径（可选）：
下载：curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama.tgz
解压：sudo mkdir -p /opt/ollama && sudo tar -xzf ollama.tgz -C /opt/ollama
后续通过 /opt/ollama/bin/ollama 使用或配置 systemd 服务指定路径

三方式二源码方式 Meta 官方仓库（进阶）

适用场景：需要阅读/修改源码、进行自定义推理或二次开发。
基本步骤：
创建虚拟环境：conda create -n llama3 python=3.8 && conda activate llama3
克隆仓库：git clone https://github.com/meta-llama/llama3.git
申请模型下载链接：访问 llama.meta.com/llama-downloads/ 填写信息，邮件获取下载脚本与链接
安装依赖：pip install -e .
下载模型：运行仓库中的 download.sh，按提示粘贴邮件中的链接选择 8B/70B 等版本
运行示例：按仓库提供的示例脚本（如 chat.py）进行对话推理
说明：该方式需自行处理依赖、编译与硬件适配，门槛高于 Ollama

四服务化与远程访问配置

使用 systemd 托管 Ollama（推荐）：
创建服务文件：/etc/systemd/system/ollama.service
示例内容：

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"
[Install]
WantedBy=default.target

启用服务：
sudo systemctl daemon-reload
sudo systemctl enable --now ollama
端口与连通性验证：
默认监听端口：11434
本机验证：curl http://127.0.0.1:11434（应返回 Ollama is running）
远程验证：curl http://服务器IP:11434
端口占用排查：netstat -tulpn | grep 11434 或 lsof -i :11434
安全建议：
生产环境避免使用 OLLAMA_ORIGINS=*，按需设置来源白名单
如需公网访问，建议配合 反向代理（Nginx） 与 防火墙 策略

五可视化界面 Open WebUI 与常见问题

部署 Open WebUI（Docker）：
服务端部署（同机 Ollama）：

docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--name open-webui --restart always \
ghcr.io/open-webui/open-webui:main

客户端浏览器访问：http://localhost:3000；服务端访问：http://服务器IP:3000
首次进入注册账号，在设置中确认 Ollama 基础 URL 为 http://host.docker.internal:11434 或服务器地址
常见问题速解：
端口冲突：netstat -tulpn | grep 11434 查进程并释放端口，或调整服务端口
下载缓慢/失败：检查网络与代理；国内可尝试镜像源（如 Open WebUI 的 ghcr.nju.edu.cn 镜像）
显存不足：选择更小模型（如 8B），或关闭占用显存的其他进程
模型路径迁移：设置环境变量 OLLAMA_MODELS 指向新目录，并确保服务与 Docker 挂载一致