Llama3如何在Linux上运行

在Linux上运行Llama3模型可以通过Ollama工具来实现，以下是详细的步骤：

安装Ollama

1. 下载并运行Ollama安装脚本：

curl -fsSL https://ollama.com/install.sh | sh

或者，您可以先下载脚本查看内容，确认无误后再执行：

curl -fsSL https://ollama.com/install.sh -o install_ollama.sh
cat install_ollama.sh
bash install_ollama.sh

1. 验证Ollama安装：

ollama -v

下载并运行Llama3模型

1. 启动Ollama服务：

• 使用Docker方式启动Ollama服务：

docker run -d -v $PWD/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

• 或者使用CLI命令启动Ollama服务：

ollama serve

1. 拉取并运行Llama3模型：

• 进入Ollama容器内部：

docker exec -it ollama /bin/bash

• 运行Llama3模型服务：

ollama run llama3:8b

这里的llama3:8b指的是Llama3的80亿参数版本。您也可以使用ollama run llama3来运行默认的8B模型。

使用Open-WebUI管理模型（可选）

1. 拉取Open-WebUI镜像：

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果镜像拉取速度慢，可以使用国内的镜像源：

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always registry.cn-hangzhou.aliyuncs.com/pzl_images/open-webui:main

1. 访问Open-WebUI：

部署完成后，访问http://服务器IP:8080注册管理员账号，并使用管理员账号登录。
通过以上步骤，您就可以在Linux上成功部署Llama3模型，并通过Ollama和Open-WebUI进行模型管理和使用。