可以,Linux 完全可以安装并运行 Llama 3,而且 Linux 也是目前运行大语言模型最主流、最推荐的环境(官方模型、推理框架基本都优先支持 Linux)。
Llama 3 是 Meta 开源的大语言模型,常见版本:
curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3pip install vllm
python -m vllm.entrypoints.api_server --model meta-llama/Llama-3-8b适合:
pip install transformers acceleratefrom transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8b")git clone https://github.com/ggerganov/llama.cpp
make
./main -m llama3.gguf| 模型 | 最低配置 |
|---|---|
| Llama 3 8B | 16GB RAM / 8GB 显存 |
| Llama 3 70B | 多张 24GB+ GPU |
| CPU 运行 | 量化模型,速度慢 |
如果你愿意,可以告诉我:
我可以直接给你一套可执行的安装命令。