训练Grok 3模型恐要10万颗H100 GPU，耗掉一座小城市用电量

特斯拉、xAI创办人暨首席执行官马斯克（Elon Musk）对AGI（Artificial General Intelligence，通用人工智能）发展做出大胆预测，并讨论AI产业面临的两大挑战。

马斯克日前通过X平台（前身为Twitter）与挪威央行投资管理公司（Norges Bank Investment Management）首席执行官坦根（Nicolai Tangen）线上对谈，预测AGI最快2025年或2026年超越人类智能，但需要大量GPU训练，同时需要大量电力供应GPU运算。

随着Grok 1.5发布，xAI正在训练下一代大型语言模型Grok 2，预计可在5月完成训练。马斯克透露，训练Grok 2需要多达20,000颗NVIDIA H100 GPU，到了Grok 3以后模型需要100,000颗H100 GPU。

进一步看，H100 GPU充分利用时功耗约700W，因此100,000颗GPU用于AI和HPC工作负载，可能消耗高达70兆瓦。由于这些GPU需要服务器和冷却系统来运行，可以肯定地是，拥有100,000颗H100 GPU的数据中心消耗约100兆瓦的电力，相当于一座小城市的用电量。

马斯克强调，目前GPU供应短缺已是重大障碍，但电力供应在未来一两年内将变得越来越棘手，这样的双重限制凸显出AI技术演进、运算需求激增所面临的挑战。