RTX 3060 8G(注意:常见的是 RTX 3060 12G,8G 版多为笔记本或特殊型号)在本地跑聊天模型时,主要受 显存容量
你提到的 RTX 3060 8G 本身已经说明显存是 8GB,我理解你其实想问的是:在 RTX 306
RTX 3060 8G 本身是一块消费级显卡,它硬件上可以支持并发推理,但“能不能支持、能支持多少并发”取决于你跑的
你提到的 RX 9070 应该是指 AMD Radeon RX 9070 / 9070 XT(基于 RDNA 4 架构的桌面显
你提到的 “RX9070” 可能是指 AMD Radeon RX 9070(或 RX 9070 XT)显卡,而不是某款专门的“
你这里的“RX9070XT 聊天机器人”可能有两种理解,我分别给你说明:—## 一、如果你是想:用 AMD RX 9070 XT 显卡,组装一台跑本地聊天机器人(
NVIDIA RTX 3080 12GB 的官方标称功耗(TGP,Total Graphics Power)为:350W
RTX 3080 12G(准确说是 RTX 3080 12GB 版,非原版 10GB)的显存是否“够训练”,完全取决于你训练什么模型、用什么框架
RTX 3080 12GB(注意:NVIDIA 官方其实没有发布过 “RTX 3080 12GB” 这一正式型号,常见的是 RTX 3080 1
NVIDIA RTX 3080 12GB 的算力如下(官方规格,基于 Ampere 架构,GA102 核心):