Llama 3在Linux上的部署流程是怎样的

Llama 3在Linux上的部署可以通过Ollama平台进行，Ollama是一个开源平台，用于管理和运行各种大型语言模型（LLM），例如Llama 3、gemma和qwen。以下是使用Ollama在Linux上部署Llama 3的流程：

裸机部署

1. 下载并安装Ollama：

• 使用命令行一键下载和安装：

curl -fssl https://ollama.com/install.sh | sh

• 如果没有报错，它会提示你Ollama的默认配置文件地址。

1. 查看服务状态：

• 使用以下命令查看服务状态，确保服务正在运行：

systemctl status ollama

• 查看是否安装成功，出现版本号说明安装成功：

ollama -v

1. 修改配置（可选）：

• 配置文件位于/etc/systemd/system/ollama.service。
• 使用任意编辑器打开配置文件，例如使用vim。
• 如果需要局域网内其他机器也能访问，需要对host进行配置，开启监听任何来源IP：

environment="ollama_host=0.0.0.0"

• 如果需要更改模型存放位置，方便管理，需要对ollama_models进行配置：

environment="ollama_models=/data/ollama/models"

• 不同操作系统，模型默认存放位置不同：
• macOS: ~/ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: c:\users\xxx\.ollama\models
• 如果有多张GPU，可以对cuda_visible_devices配置，指定运行的GPU，默认使用多卡：

environment="cuda_visible_devices=0,1"

1. 重启Ollama服务：

• 修改配置后，需要重启Ollama服务使更改生效：

systemctl daemon-reload
systemctl restart ollama

Docker部署

1. 一键安装：

• 对于没有GPU的轻量级服务器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

• 对于有GPU的服务器：

docker run -itd --name ollama --restart always --gpus=all -v /home/suxy/ollama:/root/.ollama -p 11434:11434 ollama/ollama

1. 拉取模型并运行：

• 以Llama 3为例：

docker exec -it ollama ollama run llama3

1. 其他模型可以查看：Ollama模型库并根据自身需求下载不同参数量级的模型。

Open WebUI部署

1. 快速部署：

• 使用以下命令部署Open WebUI：

docker run -itd --name ollama-webui --restart always -p 3500:8080 --add-host=host.docker.internal:host-gateway ghcr.io/ollama-webui/ollama-webui:latest

1. 访问WebUI：

• 部署成功后，在浏览器中打开连接：http://127.0.0.1:3500。
• 首次登录，先创建账号并注册，然后即可在浏览器中使用类似ChatGPT界面的Open WebUI进行交互。

请注意，具体的安装步骤和配置可能会根据Ollama版本和Linux发行版的不同而有所变化。建议参考Ollama的官方文档以获取最新的安装指南。