在Linux上部署Llama3的方法

在Linux上部署Llama3主要有以下两种方法：

• 使用Ollama工具部署：

1. 安装Ollama：通过命令curl -fsSL https://ollama.com/install.sh | sh安装。
2. 下载模型：使用ollama run llama3命令下载，可指定版本如ollama run llama3:70b。
3. （可选）配置服务：若需外网访问，可修改/etc/systemd/system/ollama.service文件，设置OLLAMA_HOST等环境变量，然后重启服务。

• 从GitHub部署：

1. 克隆仓库：git clone https://github.com/meta-llama/llama3.git。
2. 创建并激活Python虚拟环境：python3 -m venv venv，source venv/bin/activate。
3. 安装依赖：pip install -e .，pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。
4. 配置运行环境：修改llama3/code/utils/init_process_group.py文件，设置相关环境变量。
5. 运行模型：创建chat.py文件并添加代码，执行python chat.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6。