OpenELM模型可以在相对较低性能的硬件上运行,具体需求取决于所使用的模型参数规模。以下是不同参数规模模型对硬件的基本要求:
2.7亿参数模型
- CPU: 4核处理器
- 内存: 8GB内存
- GPU: 无需显卡
4.5亿参数模型
- CPU: 8核处理器
- 内存: 16GB内存
- GPU: RTX 3060(12GB)或更高
11亿参数模型
- CPU: i9-13900KF CPU
- 内存: 32GB内存
- GPU: RTX 4090(24GB)或A5000
30亿参数模型
- CPU: Xeon 8核
- 内存: 128GB内存或更高
- GPU: 2-4张A100(80GB)或更高
尽管OpenELM可以在上述配置相对较低的硬件上运行,但如果需要更高的性能或更快的响应速度,建议使用更高端的硬件配置。