建议 Python ≥ 3.8,并已安装 PyTorch。
# 创建虚拟环境(可选但强烈推荐)
conda create -n openelm python=3.10 -y
conda activate openelm
# 安装 PyTorch(CPU 版示例,GPU 请去 pytorch.org 选命令)
pip install torch torchvision torchaudio
# 安装 transformers 和依赖
pip install transformers accelerateOpenELM 已支持 Hugging Face transformers ✅
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "apple/OpenELM-270M" # 可选 450M / 1.1B / 3B
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
input_text = "Once upon a time"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))| 模型名 | 适合环境 |
|---|---|
apple/OpenELM-270M | CPU / 低显存 |
apple/OpenELM-450M | 入门 GPU |
apple/OpenELM-1_1B | 8GB+ 显存 |
apple/OpenELM-3B | 高端 GPU |
git clone https://github.com/apple/corenet
cd corenet
pip install -e .pip install accelerate然后在代码里:
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto"
)✅ 使用 270M / 450M 或加:
model = model.to("cpu")OpenELM 是英文预训练模型,中文效果一般,建议:
最快安装 OpenELM = 装 transformers + 直接加载 apple/OpenELM-xxx
如果你告诉我:
我可以给你完全定制化的安装方案。