OpenELM 是苹果开源的轻量级高效语言模型(可在 Hugging Face 或 GitHub 获取),目前没有官方提供的“整合离线安装包”,但可以通过以下步骤下载模型文件和依赖,实现「离线使用」:
OpenELM 的模型权重、配置文件主要托管在 Hugging Face Hub,以下是最新可用的模型版本(以 PyTorch 格式为例):
| 模型版本 | Hugging Face 地址 | 大小(约) |
|---|---|---|
| OpenELM-270M | https://huggingface.co/apple/OpenELM-270M | 1.1 GB |
| OpenELM-450M | https://huggingface.co/apple/OpenELM-450M | 1.8 GB |
| OpenELM-1_1B | https://huggingface.co/apple/OpenELM-1_1B | 4.3 GB |
| OpenELM-3B | https://huggingface.co/apple/OpenELM-3B | 11.8 GB |
OpenELM-270M 为例):config.json(模型配置)model.safetensors(模型权重,核心文件)tokenizer.json(分词器配置)tokenizer_config.jsonspecial_tokens_map.jsonhuggingface-cli 离线下载:# 先安装依赖
pip install huggingface-hub
# 下载模型到本地(替换模型名)
huggingface-cli download apple/OpenELM-270M --local-dir ./OpenELM-270M --local-dir-use-symlinks False运行 OpenELM 需要 Python 环境和依赖库,若需完全离线,可提前在有网环境下载依赖:
torch(PyTorch,推荐 2.0+):根据系统下载对应离线包(https://pytorch.org/get-started/locally/)transformers(Hugging Face 库):pip download transformers -d ./offline_pkgsaccelerate(可选,加载大模型):pip download accelerate -d ./offline_pkgs将上述下载的 .whl 或 .tar.gz 文件拷贝到目标离线机器,执行:
pip install --no-index --find-links=./offline_pkgs transformers torch accelerate模型文件和依赖准备完成后,无需联网即可运行:
from transformers import AutoModelForCausalLM, AutoTokenizer
# 本地模型路径(替换为你下载的文件夹)
model_path = "./OpenELM-270M"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)
# 推理示例
input_text = "Once upon a time"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))如果仍有下载问题,可尝试通过 GitHub Issues(https://github.com/apple/coremltools/issues)向社区求助,或联系苹果开源团队获取支持。