darthracer 发表于 2023-11-28 08:43

Nvidia H200最强AI芯片登场 运算推理速度快上代1倍



半导体设计及制造商Nvidia宣布推出最新AI芯片NVIDIA HGX H200,旨在训练和部署各种人工智能模型,并期望能帮助公司主导AI运算市场的芯片添加更多功能。

在Llama 2模型的推理速度上, NVIDIA HGX H200的速度与H100相比几乎增加一倍。新芯片是首款搭载先进内存HBM3e的GPU,使GPU的内存带宽从每秒3.35TB提高至4.8TB,内存总容量从80GB提高至141GB,与其前代相比容量增加1.8倍,带宽增加1.4倍。

此外,NVIDIAHGX H200采用Hopper架构,并配备H200 Tensor Core GPU和高端内存,以处理AI和高性能计算产生的大量数据。

英伟达表示,推出新产品的目的是为跟上用于创造AI模型和服务的数据集的规模,而增强记忆量的H200在处理数据的速度会快很多。

据了解,多家云计算服务公司,例如Amazon旗下的AWS、Alphabet的Google Cloud和Oracle的Cloud Infrastructure都表示,预计明年第2季开始,将使用这款新芯片,是首批采用H200的云计算服务商。

NVIDIA目前并未公布H200的具体价格,但发言人Kristin Uchiyama指出,最终定价将由NVIDIA制造伙伴制定。
页: [1]
查看完整版本: Nvidia H200最强AI芯片登场 运算推理速度快上代1倍