Exploring HiFloat8: A Tapered Format Complementing the FP8 Ecosystem for Robust Model Training

La quantification vers les formats FP8 a considérablement accéléré l’entraînement des LLM. Les formats FP8 standard souffrent de débordements fréquents des gradients et d’une forte dépendance à un scaling dynamique complexe (Delayed Scaling), ce qui entraîne souvent une instabilité de l’entraînement ou une convergence sous-optimale pour les modèles à milliards de paramètres. Cette session présente HiFloat8 (HiF8) — un format de précision conique qui offre une approche alternative pour gérer la plage dynamique. Cet alignement « naturel » avec les distributions de poids et de gradients des réseaux neuronaux permet à HiF8 de capturer les valeurs aberrantes de grande magnitude sans le scaling agressif requis par le FP8 standard. Nous explorons comment HiF8 fonctionne dans les procédures d’entraînement et d’inférence.

Nous démontrerons l’implémentation de HiF8 dans l’écosystème PyTorch via torch.npu, permettant aux développeurs d’évaluer les performances de HiF8 sur les GPU actuels. Nous présenterons également une analyse de la stabilité de l’entraînement et de la parité de la perte finale, en mettant en évidence des scénarios spécifiques où HiF8 offre une précision comparable et des performances GEMM 1,5 à 1,7 fois supérieures à celles du FP16. Enfin, nous partagerons les perspectives de notre collaboration en cours sur le support matériel dédié pour HiF8.