✅ 新手能部署
✅ 不一定要 GPU(CPU 也能跑,只是慢)
✅ 推荐用 Ollama(最省心)
常见发行版都行:
更新一下系统(可选):
sudo apt update
sudo apt upgrade -ycurl -fsSL https://ollama.com/install.sh | sh安装完成后,验证:
ollama --versionollama run llama3首次会自动下载模型(约几个 GB),耐心等一会。
llama3(8B)体验很好也可以跑,但:
llama3:8b 会偏慢ollama run llama3:8b-instruct-q4_0Ollama 本身只有命令行,新手可以加一个界面:
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:main浏览器访问:
http://localhost:3000❌ “部署 LLM 必须写代码” → 不用
❌ “一定要云服务器” → 本地 Linux 也行
你可以告诉我:
我可以直接给你一步一步复制粘贴就能用的命令。