NVIDIA H200 介绍

通过更大、更快的内存实现更高的性能

NVIDIA H200 基于 NVIDIA Hopper™ 架构，是首款以每秒 4.8 TB （TB/s）的速度提供 141 GB HBM3e 内存的 GPU，几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍，内存带宽增加了 1.4 倍。H200 更大、更快的内存可加速生成式 AI 和 LLM，同时以更高的能效和更低的总拥有成本推进 HPC 工作负载的科学计算。

通过高性能 LLM 推理解锁见解

在不断发展的 AI 环境中，企业依靠 LLM 来满足各种推理需求。AI 推理加速器在为庞大的用户群大规模部署时，必须以最低的 TCO 提供最高的吞吐量。在处理 Llama2 等 LLM 时，与 H100 GPU 相比，H200 的推理速度提高了 2 倍。

增强高性能计算

内存带宽对于 HPC 应用程序至关重要，因为它可以实现更快的数据传输，从而减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型 HPC 应用程序，H200 更高的内存带宽可确保可以有效地访问和作数据，与 CPU 相比，获得结果的时间提高了 110 倍。

降低能耗和 TCO

随着 H200 的推出，能源效率和 TCO 达到了新的水平。这项尖端技术提供了无与伦比的性能，所有这些都在与 H100 相同的功率范围内。AI 工厂和超级计算系统不仅速度更快，而且更环保，可提供推动 AI 和科学界向前发展的经济优势。

性能对比

	RTX 5090	RTX 5080	RTX 5070Ti	RTX 5070	RTX 5060Ti	RTX 5060
NVIDIA 架构	Blackwell	Blackwell	Blackwell	Blackwell	Blackwell	Blackwell	Ada Lovelace
DLSS	DLSS 4	DLSS 4	DLSS 4	DLSS 4	DLSS 4	DLSS 4	DLSS 3
AI TOPS	3352	1801	1406	988	759	614	242
Tensor Core	第 5 代	第 5 代	第 5 代	第 5 代	第 5 代	第 5 代	第 4 代
RT Core	第 4 代	第 4 代	第 4 代	第 4 代	第 4 代	第 4 代	第 3 代
NVIDIA 编码器 (NVDEC)	3x 第 9 代	3x 第 9 代	3x 第 9 代	3x 第 9 代	3x 第 9 代	3x 第 9 代	1x 第 8 代
NVIDIA 解码器 (NVDEC)	2x 第 6 代	2x 第 6 代	2x 第 6 代	2x 第 6 代	2x 第 6 代	2x 第 6 代	1x 第 5 代
显存配置	32 GB GDDR7	16 GB GDDR7	16 GB GDDR7	12 GB GDDR7	16 GB / 8 GB GDDR7	8 GB GDDR7	8 GB GDDR7
显存带宽	1792 GB /sec	960 GB /sec	896 GB /sec	672 GB /sec	448 GB /sec	448 GB /sec	272 GB /sec