Linux中Llama3的安装配置步骤

以下是在Linux中安装配置Llama3的步骤：

使用Ollama工具部署

1. 安装Ollama：更新软件包，然后执行安装脚本curl -fsSL https://ollama.com/install.sh | sh。
2. 下载并运行模型：在终端输入ollama run llama3:8b，可下载并运行80亿参数的Llama3模型。

从GitHub部署

1. 克隆仓库：git clone https://github.com/meta-llama/llama3.git，并进入目录。
2. 创建并激活虚拟环境：python3 -m venv venv，source venv/bin/activate。
3. 安装依赖：pip install -e .，pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。
4. 配置环境变量：修改llama3/code/utils/init_process_group.py文件中的nccl为gloo，并设置MASTER_ADDR、MASTER_PORT等环境变量。
5. 运行模型：创建chat.py文件并添加代码，然后执行python chat.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6。