在Linux上安装Llama3的准备工作

在Linux上安装Llama3模型需要完成一些准备工作，以确保环境配置正确并能够顺利运行模型。以下是详细的准备工作步骤：

环境配置

1. 安装Python环境：

• Llama需要Python环境，建议安装Python 3.8或更高版本。

1. 安装依赖库：

• 在终端中执行以下命令安装必要的依赖库：

sudo apt-get update
sudo apt-get install -y build-essential libssl-dev libffi-dev python3-dev

1. 创建虚拟环境（可选但推荐）：

python3 -m venv llama_env
source llama_env/bin/activate

下载Llama3模型

1. 申请访问权限：

• 访问Llama的官方网站，填写相关信息申请下载权限，并获取授权码。

1. 克隆模型仓库：

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

1. 安装模型：

• 进入模型目录，执行以下命令安装模型：

cd Meta-Llama-3-8B-Instruct
pip install -e .

使用LLaMA-Factory微调Llama3模型（可选）

1. 克隆LLaMA-Factory仓库：

cd /mnt/workspace
git clone https://github.com/hiyouga/LLaMA-Factory.git

1. 创建并激活虚拟环境：

conda create -n llama_factory python=3.10
conda activate llama_factory

1. 安装LLaMA-Factory：

cd LLaMA-Factory
pip install -e .

1. 下载Llama3模型：

cd /mnt/workspace/models

1. 配置微调文件：

• 修改/mnt/workspace/LLaMA-Factory/examples/train_lora/llama3_lora_sft.yaml文件，配置模型训练的相关参数。

1. 执行微调训练：

cd /mnt/workspace/LLaMA-Factory
python train.py -c llama3_lora_sft.yaml

使用Ollama工具部署Llama3（另一种方式）

1. 安装Ollama：

• 使用curl命令下载并运行Ollama的安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

• 或者，您可以先下载脚本查看内容，确认无误后再执行：

curl -fsSL https://ollama.com/install.sh -o install_ollama.sh
cat install_ollama.sh
bash install_ollama.sh

1. 下载并运行Llama3模型：

ollama run llama3:8b

这将下载并运行8亿参数的Llama3模型。您也可以使用ollama run llama3来运行默认的8B模型。

1. 使用OpenWebUI进行交互（可选）：

• 安装Docker（如果尚未安装）：

sudo apt-get install -y apt-transport-https ca-certificates curl python-software-properties software-properties-common
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/debian/gpg | sudo apt-key add -
# 根据您的Deepin Linux版本添加相应的Docker CE仓库
deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/debian buster stable
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker

• 安装OpenWebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

或者使用国内下载源：

docker run -d -p 3000:8080 --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1. 验证安装：

• 启动Ollama服务：

sudo systemctl start ollama
sudo systemctl status ollama

• 确认状态为“active (running)”。
• 运行模型：

ollama run llama3:8b

这将启动与模型的交互界面，您可以在浏览器中访问http://localhost:3000来使用OpenWebUI。
以上步骤应该能帮助您在Linux系统上成功安装和配置Llama3模型。如果在安装过程中遇到任何问题，可以参考相关文档或寻求社区帮助。