NVIDIA、Arm与Intel三雄联手，发布FP8规格加速AI运算

为了加速AI训练、推理发展，NVIDIA、英特尔（Intel）以及Arm三雄联手，近日共同发布FP8 Formats for Deep Learning白皮书，期能通过8位元浮点运算的格式来改善运算性能，并将其作为AI通用的交换格式，提升深度学习训练推理速度；而该白皮书也已提交给电机电子工程师协会（Institute of Electrical and Electronics Engineers, IEEE）。

NVIDIA表示，AI发展需要跨硬件、软件平台的全面创新，以解决神经网络日益增长的运算需求。而提高效率的其中一个关键是使用较低精确的数字格式改善运算性能，同时降低内存使用并优化带宽互联。为此，目前业界已由32位元降至16位元，如今甚至已转向8位元。

NVIDIA认为，拥有一种公用的交换格式，将能推动软件与硬件平台的互动，进而加快AI运算发展。也因此，NVIDIA、Intel和Arm携手合作，共同撰写FP8 Formats for Deep Learning白皮书，通过描述8位元浮点运算规格，提供一个共同的交换格式加速AI训练、推理。

NVIDIA进一步解释，FP8规范有两个变体，分别是E5M2和E4M3，可最大限度减少与现有的IEEE 754浮点格式的偏差，能为AI训练、推理发展带来更大的自由度，得以在硬件与软件间取得良好平衡，以改善开发者的生产效率。

根据实验结果，在广泛的训练架构中，像是Transformer，FP8训练的准确性都类似16位元结果，但却有更好的性能。譬如NVIDIA Hopper便利用新的FP8格式，在BERT高精度模型上实现了4.5倍的加速。

NVIDIA强调，与Intel、Arm合作撰写FP8 Formats for Deep Learning白皮书，是希望通过开放、免费授权的方式，提供一个通用、可维持准确性的交换格式，以加速AI发展，并让AI模型在所有硬件平台上都能有一致、高效的表现。

显卡价格看来又要涨一波了。

对于AI发展进步的渴求，终于促使三家芯片巨头联手开发新的AI运算规格标准，期待将来的发展。