简短结论:支持,但有现实限制。
RTX 4070 Ti 基于 Ada Lovelace(AD104),支持:
所以“多个模型同时跑在一张 4070 Ti 上”是可行的,例如:
RTX 4070 Ti 只有 12GB GDDR6X,这对“多模型并行”很关键:
| 场景 | 是否可行 |
|---|---|
| 2× 小型模型(如 ResNet / BERT-base) | ✅ 可以 |
| 1× LLM(7B FP16)+ 小模型 | ⚠️ 勉强 |
| 多× 大模型(13B+) | ❌ 基本不行 |
模型并行 ≠ 多模型并行
4070 Ti 不适合“单模型多卡切分”,但适合“多模型共享单卡”
torch.multiprocessing / 多进程)如果你是:
如果你能说一下:
我可以直接告诉你 “能不能并行、怎么并行最稳”。