本地安装Grok服务器所需硬件因模型版本而异,以Grok 1和Grok 3为例,具体如下:
- Grok 1:需要大量GPU,如8块NVIDIA A100(80GB)显卡,约486GB显存,还需约1TB SSD存储模型权重文件,以及高性能CPU、足够内存和快速网络接口等。
- Grok 3:训练时用了约20万块NVIDIA H100 GPU,本地部署虽无需这么多,但至少需8块以上H100或A100显卡,存储方面建议至少1TB NVMe SSD,同时要有强大的CPU、足够内存和稳定的网络支持,还需配备高效的冷却系统。