Llama3在Linux上的安装教程

以下是在Linux上安装Llama3的几种方法：

使用Ollama工具安装

1. 安装Ollama：打开终端，执行curl -fsSL https://ollama.com/install.sh | sh。
2. 启动Ollama服务：可选用Docker方式，命令为docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama；也可直接用CLI命令ollama serve。
3. 下载Llama3模型：在终端输入ollama run llama3，若要指定版本，如8B模型，可输入ollama run llama3:8b。

从GitHub部署

1. 克隆仓库：git clone https://github.com/meta-llama/llama3.git，然后进入目录cd llama3。
2. 创建并激活Python虚拟环境：python3 -m venv venv，source venv/bin/activate。
3. 安装依赖：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118，pip install -r requirements.txt，pip install -e .。
4. 配置运行环境：修改llama3/code/utils/init_process_group.py文件中的nccl为gloo，并设置相关环境变量。
5. 运行模型：创建chat.py文件并添加必要代码，然后执行python chat.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6。