离线部署OpenELM步骤

OpenELM 是 Apple 开源的小型语言模型（LLM）系列，支持离线部署。以下是离线部署 OpenELM 的完整步骤，以 Linux / macOS + Python 环境 为例，适用于无外网环境。

一、离线部署前准备（需联网环境）

如果目标机器完全无网，需要在一台有网机器上完成以下准备，再拷贝到离线机器。

1. 准备 Python 环境

推荐：

• Python ≥ 3.9
• pip ≥ 23

python3 --version
pip3 --version

2. 下载 OpenELM 模型权重（Hugging Face）

方式一：使用 git lfs（推荐）

git lfs install
git clone https://huggingface.co/apple/OpenELM-270M-Instruct

常用模型：

• OpenELM-270M
• OpenELM-450M
• OpenELM-1_1B
• OpenELM-3B
• OpenELM-270M-Instruct

方式二：手动下载

访问：

https://huggingface.co/apple

下载：

• model.safetensors
• config.json
• tokenizer.model
• tokenizer_config.json
• generation_config.json

3. 下载依赖包（离线安装用）

在有网机器上执行：

pip download torch transformers sentencepiece -d ./offline_packages

如需 CPU 版本 PyTorch（更小）：

pip download torch --index-url https://download.pytorch.org/whl/cpu -d ./offline_packages

4. 打包所有文件

tar -czvf openelm_offline.tar.gz \
OpenELM-270M-Instruct \
offline_packages

拷贝到离线机器。

二、离线机器部署步骤

1. 解压文件

tar -xzvf openelm_offline.tar.gz
cd OpenELM-270M-Instruct

2. 安装 Python 依赖（离线）

pip install --no-index --find-links=../offline_packages \
torch transformers sentencepiece

验证：

python -c "import transformers; print(transformers.__version__)"

三、运行 OpenELM（离线推理）

1. 创建推理脚本 run_openelm.py

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_path = "./OpenELM-270M-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)
model = AutoModelForCausalLM.from_pretrained(
model_path,
local_files_only=True,
torch_dtype=torch.float32
)
prompt = "Once upon a time"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
**inputs,
max_new_tokens=50
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. 运行

python run_openelm.py

✅ 成功即表示 OpenELM 已离线部署完成

四、常见问题排查

1. tokenizer.model 找不到

确保目录包含：

tokenizer.model
tokenizer_config.json
special_tokens_map.json

2. 显存不足（GPU）

使用 CPU：

model = AutoModelForCausalLM.from_pretrained(
model_path,
local_files_only=True,
torch_dtype=torch.float32,
device_map="cpu"
)

3. 模型加载慢

• 使用 torch.float32 而非 float16
• 小模型（270M / 450M）优先

五、可选：量化部署（进阶）

• 使用 bitsandbytes 或 gguf（需额外工具）
• Apple Silicon 可结合 mlx 框架（Mac 专用）

六、总结流程图

有网机器
├─ 下载模型权重
├─ 下载 Python 依赖
└─ 打包 → 拷贝到离线机器
离线机器
├─ 解压
├─ 安装依赖
└─ 运行推理

如果你需要：

• ✅ 纯 CPU 离线部署
• ✅ Docker 离线镜像
• ✅ OpenELM 微调 / RAG 集成
• ✅ 国产系统（麒麟 / 统信）部署

可以告诉我你的 操作系统 + 硬件环境，我可以给你定制方案。