Llama3的硬件需求因模型版本和使用场景而异,以下是常见需求:
- CPU:至少4核,建议多核多线程处理器,如Intel i7/i9或AMD Ryzen 9系列。
- GPU:8B版本最低需NVIDIA GeForce GTX 1060或AMD Radeon RX 580(6GB VRAM);70B版本推荐NVIDIA A100、H100或4090等高端GPU(24GB及以上 VRAM),大模型可考虑多卡并行。
- 内存:8B版本至少16GB,70B版本建议64GB及以上,大模型场景需更多。
- 存储:8B模型约需10 - 16GB,70B模型约需140GB,需快速SSD存储。