Linux如何成功安装Llama3

以下是在Linux上安装Llama3的几种方法：

使用Ollama工具安装（推荐）

1. 安装Ollama：通过命令curl -fsSL https://ollama.com/install.sh | sh下载安装脚本并执行。
2. 启动Ollama服务：可选用Docker方式，命令为docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama；或用CLI命令ollama serve。
3. 下载Llama3模型：在终端输入ollama run llama3（默认8B模型）或ollama run llama3:70b（70B模型）。

从GitHub部署

1. 克隆仓库：git clone https://github.com/meta-llama/llama3.git，然后进入目录cd llama3。
2. 创建并激活虚拟环境：python3 -m venv venv，source venv/bin/activate。
3. 安装依赖：pip install -e .，pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。
4. 配置运行环境：修改llama3/code/utils/init_process_group.py文件中的nccl为gloo，并设置相关环境变量。
5. 运行模型：创建chat.py文件并添加必要代码，执行python chat.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6。