LLaMA 3 是 Meta 发布的大语言模型,常见版本包括:
适合:个人使用、快速体验、开发测试
curl -fsSL https://ollama.com/install.sh | sh运行模型:
ollama run llama3可选版本:
ollama run llama3:8b
ollama run llama3:70b✅ 优点:
适合:对性能、量化、部署有要求
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make下载模型(GGUF 格式)后运行:
./main -m llama3-8b-q4_0.gguf -p "你好"✅ 优点:
适合:研究、微调、二次开发
pip install transformers acceleratefrom transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Meta-Llama-3-8B-Instruct"
)⚠️ 注意:
很多项目提供官方 Docker 镜像,例如:
| 模型 | 最低显存 | 推荐 |
|---|---|---|
| LLaMA 3 8B | 8GB | 16GB |
| LLaMA 3 70B | 40GB+ | A100 / 多卡 |
| CPU 运行 | 32GB 内存 | 64GB |
✅ 完全支持:
只要满足:
你可以告诉我:
ubuntu 22.04 等)我可以直接给你 一条龙安装命令 或 最优方案。