安装Llama3的Linux环境准备

一、Linux系统要求

Llama3支持主流Linux发行版（如Ubuntu 20.04及以上、CentOS 7及以上），需确保系统已更新至最新版本（通过sudo apt update && sudo apt upgrade命令更新Ubuntu系统）。

二、硬件配置要求

• CPU：至少4核（推荐Intel i5/i7或AMD Ryzen 5/7系列，支持多线程加速）；
• 内存：至少16GB RAM（8GB可能无法流畅运行，建议32GB及以上用于70B等大模型）；
• 存储：至少50GB可用硬盘空间（8B模型约20GB，70B模型约100GB，需预留模型下载及临时文件空间）；
• GPU（可选但强烈推荐）：NVIDIA GPU（支持CUDA加速），显存≥8GB（如GTX 1060、RTX 2060及以上），推荐A100、H100等专业显卡以提升推理速度。

三、软件环境准备

1. 安装Python与虚拟环境

Llama3要求Python 3.8及以上版本，建议使用虚拟环境隔离项目依赖：

# 安装Python3及pip（若未安装）
sudo apt install python3 python3-pip
# 创建并激活虚拟环境（以venv为例）
python3 -m venv llama3_env
source llama3_env/bin/activate  # 激活虚拟环境（激活后终端提示符会显示环境名）

虚拟环境激活后，后续所有操作均在llama3_env环境中进行，避免依赖冲突。

2. 安装CUDA Toolkit（GPU加速必需）

若使用NVIDIA GPU，需安装对应版本的CUDA Toolkit（支持CUDA 11.0及以上，推荐CUDA 12.x以兼容最新PyTorch版本）：

• 从NVIDIA官网下载CUDA Toolkit（选择与GPU型号匹配的版本）；
• 按照官方指引安装（如sudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.1-530.30.02-1_amd64.deb，随后运行sudo apt-key add /var/cuda-repo-ubuntu2204-12-1-local/7fa2af80.pub并sudo apt update）；
• 验证安装：nvcc --version（显示CUDA版本即成功）。

3. 安装PyTorch（GPU加速必需）

通过PyTorch官方命令安装支持CUDA的版本（以CUDA 12.1为例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安装后可通过torch.cuda.is_available()验证GPU是否可用（返回True即成功）。

4. 安装Llama3依赖库

Llama3依赖以下Python库，可通过pip安装：

pip install transformers accelerate sentencepiece

• transformers：用于加载和运行Llama3模型；
• accelerate：优化多GPU/分布式推理；
• sentencepiece：处理模型输入的分词任务。

四、可选优化步骤

• 增加交换空间（Swap）：若内存不足（如16GB以下），可创建Swap文件（如sudo fallocate -l 16G /swapfile，随后设置权限sudo chmod 600 /swapfile并启用sudo swapon /swapfile），避免内存溢出；
• 关闭防火墙：若需远程访问模型，可临时关闭防火墙（sudo ufw disable），但生产环境建议配置端口白名单。

完成上述步骤后，即可进入Llama3模型下载与部署阶段（如使用Ollama快速部署ollama run llama3或手动部署）。