RTX1070Ti做推理够用吗

RTX 1070 Ti 用来做推理（inference）够不够用，主要取决于你跑什么模型、什么精度、什么批量。下面分场景说：

一、硬件基本参数（影响推理的关键）

• 显存：8GB GDDR5
• 算力：约 8.1 TFLOPS（FP32）
• 架构：Pascal（2017年）
• 不支持：Tensor Core、BF16、INT4/INT8 硬件加速很弱

二、不同场景下的可用性

✅ 完全够用

• 小型模型推理
• 图像分类（ResNet50 等）
• 目标检测（YOLOv5s / YOLOv8n）
• 传统 CV 任务
• 轻量 NLP
• BERT-base（小批量）
• 中文分词、文本分类
• 本地小模型 LLM
• 7B 模型（INT8 / GGUF Q4）
• 使用 llama.cpp / Ollama，速度可接受（几 token/s）

⚠️ 勉强可用

• 中等 LLM
• 13B 模型（Q4，显存极限）
• 速度慢，上下文不能太长
• 视频推理
• 1080p 实时检测可以
• 多路视频较吃力

❌ 不够用

• 大模型推理
• 34B / 70B 模型基本不可能
• 高并发服务
• 显存和算力都受限
• 训练（哪怕微调）
• 非常不推荐

三、实用建议

• 只做推理：1070 Ti 仍然可用，尤其本地玩模型
• LLM 推荐组合
• Ollama + Q4 7B 模型
• 关闭 GPU 图层过多，避免爆显存
• 加速技巧
• 用 GGUF / AWQ / GPTQ
• 降低 context length
• 用 CPU offload（牺牲速度）

四、结论

RTX 1070 Ti 做推理“够用但不富裕”
适合学习、原型验证、轻量部署；不适合生产级或大模型。
如果你愿意说具体模型 / 应用场景，我可以给你更精确的判断。