Exploring HiFloat8: A Tapered Format Complementing the FP8 Ecosystem for Robust Model Training

FP8 格式的量化已显著加速了 LLM 训练。标准 FP8 格式存在频繁的梯度溢出问题，且严重依赖复杂的动态缩放（Delayed Scaling），这常常导致数十亿参数模型的训练不稳定或收敛次优。本次演讲介绍 HiFloat8（HiF8）——一种锥形精度格式，提供了一种管理动态范围的替代方法。这种与神经网络权重/梯度分布的“自然”对齐使 HiF8 能够捕获高幅值异常值，而无需标准 FP8 所需的激进缩放。我们将探讨 HiF8 如何在训练和推理过程中发挥作用。

我们将展示使用 torch.npu 在 PyTorch 生态中实现 HiF8 的过程，使开发者能够在当代 GPU 上评估 HiF8 的性能。同时，我们将分析训练稳定性和最终损失一致性，重点展示 HiF8 在特定场景下提供与 FP16 相当的精度且 GEMM 性能提升 1.5-1.7 倍的情况。最后，我们将分享在 HiF8 专用硬件支持方面正在进行的合作成果。