怎样在Linux上对Llama3进行调优

Linux上Llama3调优实战指南
一 环境准备与基线评估

• 硬件与系统：优先使用 Linux（Ubuntu 20.04+）、NVIDIA GPU（CUDA 11+），并安装匹配的 PyTorch + Transformers。建议先建立独立虚拟环境，便于依赖管理。基线评估包含吞吐（tokens/s）、首 token 延迟、显存/内存占用与生成质量（人工或评测集）。
• 快速推理基线（单卡 24GB 可跑 8B）：使用 Transformers + bf16 推理，记录资源占用与速度；若显存紧张，可先用 4bit 量化加载做功能验证。
• 资源边界认知：以 Llama 3 8B 为例，float16 参数约 16GB，加上 KV Cache 与中间态通常需 4–6GB，合计约 22GB；因此 24GB 显卡可基本覆盖，12GB 显卡需量化或 CPU/RDMA 策略配合。

二 训练侧调优 LoRA 优先

• 方法选择：优先采用 LoRA/PEFT，仅训练 1%–10% 参数，显著降低显存与算力成本；在 8GB 显卡上也能完成小规模中文指令微调实验。
• 核心超参建议（以 8B 为例）：秩 r=16（增强可用 32）、alpha 16/32、dropout 0–0.05、target_modules 覆盖注意力与 MLP（如 q/k/v/o、gate/up/down）、batch size 小（如 1–2）+ 梯度累积（如 8–64）、学习率 2e-4、bf16 加速、必要时开启梯度检查点。
• 训练时长与收敛：小数据（几千～几万条）通常 1–3 轮即可见效果；数据质量与模板一致性往往比堆时长更关键。
• 工具与脚本示例：可用 Hugging Face PEFT + Transformers SFTTrainer 快速起步；也可选 LLaMA-Factory 这类一体化框架，内置模板与导出能力，便于工程化落地。

三 推理侧调优 吞吐与延迟两手抓

• 精度与量化：在不明显掉点的前提下优先 bf16；显存紧张时用 4bit 量化加载（如 8B 量化后显存可降至约 8–10GB），适合 24GB 显卡多并发或 12GB 显卡实验。
• 上下文与缓存：合理设置 max_seq_length（如 2k/4k/8k），过长会显著增加 KV Cache 占用与延迟；尽量复用前缀 KV（如系统/模板提示）以减少重复计算。
• 并发与批处理：在固定显存下，适度增大 batch size 与 并发请求 通常能提升总吞吐；权衡 max_new_tokens 与 流式 输出以减少首 token 等待。
• 系统与引擎：优先使用 GPU 加速 推理；如使用 Ollama，可通过 Modelfile 调整 num_ctx、num_thread、num_gpu 等参数做轻量优化。

四 工具选型与适配场景

五 快速上手命令模板

• LoRA 微调（Transformers + PEFT，单卡 24GB 8B 示例）

1) 安装依赖
pip install torch transformers peft accelerate datasets bitsandbytes
2) 训练脚本要点

• 模型与数据类型：AutoModelForCausalLM + bf16
• LoRA：r=16, alpha=32, dropout=0.05, target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"]
• 训练：per_device_train_batch_size=1，gradient_accumulation_steps=8，learning_rate=2e-4，num_train_epochs=3，bf16=True

3) 保存与合并

• 保存 LoRA 权重；推理时加载基础模型 + LoRA 适配器，或合并后导出便于部署
• Ollama 推理优化（Modelfile 示例）

FROM llama3.2:8b
PARAMETER num_ctx 2048
PARAMETER num_thread 4
PARAMETER num_gpu 20

• 创建：ollama create llama3.2-optimized -f Modelfile
• 运行：ollama run llama3.2-optimized

注：上述参数可按显存与延迟目标微调，num_ctx 过大将显著增加显存占用。