Nvidia H200最强AI芯片登场运算推理速度快上代1倍

darthracer · 2023-11-28 08:43

半导体设计及制造商Nvidia宣布推出最新AI芯片NVIDIA HGX H200，旨在训练和部署各种人工智能模型，并期望能帮助公司主导AI运算市场的芯片添加更多功能。

在Llama 2模型的推理速度上， NVIDIA HGX H200的速度与H100相比几乎增加一倍。新芯片是首款搭载先进内存HBM3e的GPU，使GPU的内存带宽从每秒3.35TB提高至4.8TB，内存总容量从80GB提高至141GB，与其前代相比容量增加1.8倍，带宽增加1.4倍。

此外，NVIDIAHGX H200采用Hopper架构，并配备H200 Tensor Core GPU和高端内存，以处理AI和高性能计算产生的大量数据。

英伟达表示，推出新产品的目的是为跟上用于创造AI模型和服务的数据集的规模，而增强记忆量的H200在处理数据的速度会快很多。

据了解，多家云计算服务公司，例如Amazon旗下的AWS、Alphabet的Google Cloud和Oracle的Cloud Infrastructure都表示，预计明年第2季开始，将使用这款新芯片，是首批采用H200的云计算服务商。

NVIDIA目前并未公布H200的具体价格，但发言人Kristin Uchiyama指出，最终定价将由NVIDIA制造伙伴制定。

Nvidia H200最强AI芯片登场 运算推理速度快上代1倍

浏览过的版块

Nvidia H200最强AI芯片登场运算推理速度快上代1倍