在Linux系统上安装Llama3模型可以通过Ollama工具来实现,以下是详细的步骤:
sudo apt update && sudo apt install -y curl
curl -fsSL https://ollama.com/install.sh | sh
或者,您可以先下载脚本查看内容,确认无误后再执行:
curl -fsSL https://ollama.com/install.sh -o install_ollama.sh
cat install_ollama.sh
bash install_ollama.sh
ollama run llama3:8b
这将下载并运行8亿参数的Llama3模型。您也可以使用 ollama run llama3
来运行默认的8B模型。
sudo apt-get install -y apt-transport-https ca-certificates curl python-software-properties software-properties-common
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/debian/gpg | sudo apt-key add -
# 根据您的Deepin Linux版本添加相应的Docker CE仓库
deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/debian buster stable
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
或者使用国内下载源:
docker run -d -p 3000:8080 --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
sudo systemctl start ollama
sudo systemctl status ollama
确认状态为“active (running)”。
ollama run llama3:8b
这将启动与模型的交互界面,您可以在浏览器中访问 http://localhost:3000
来使用OpenWebUI。
以上步骤应该能帮助您在Linux系统上成功配置和运行Llama3模型。如果在安装过程中遇到问题,可以参考官方文档或相关社区支持。