英伟达宣布，推出NVIDIA HGX H200系统，为全球领先的人工智能计算平台提供了强大支持。该平台基于NVIDIA Hopper架构，配备全新的NVIDIA H200 Tensor Core GPU，也是全球首款采用HBM3e显存的计算卡。这是英伟达有史以来最强大的芯片，增加了更多的内存和计算能力，可处理生成 AI 和高性能计算工作负载的海量数据，为未来一代人工智能超级计算机提供动力。
全新的NVIDIA H200 GPU配备了141GB的HBM3e内存，运行速率约为6.25Gbps，六个HBM3e堆栈为每个GPU带来4.8TB/s的总带宽。相比于H100的SXM版本，H200的SXM版本将内存容量和总带宽分别提高了76%和43%。
HGX H200由NVIDIA NVLink和NVSwitch高速互连提供支持，可为各种应用工作负载提供最高性能，包括针对超过1750亿个参数的最大模型的LLM训练和推理。八路HGX H200提供超过32petaflops的FP8深度学习计算和1.1TB聚合高带宽内存，可在生成式AI和HPC应用中实现最高性能。
在人工智能中，H200的推出将带来进一步的性能飞跃，与H100相比，Llama2（一个700亿参数的LLM）的推理速度几乎翻倍。未来的软件更新预计会带来H200的额外性能领先优势和改进。NVIDIA H200将在具有四路和八路配置的NVIDIA HGX H200服务器主板中提供，这些主板与HGX H100系统的硬件和软件兼容。
这次英伟达还带来了GH200 Grace Hopper，结合了全新的H200 GPU和Grace CPU，将Hopper架构GPU和Arm架构Grace CPU结合，使用了NVLink-C2C将两者连接起来。每个Grace Hopper Superchip包含了624GB的内存，其中有144GB的HBM3e和480GB的LPDDR5x内存。
