Tile Programming for GPUs

La programmation parallèle peut être intimidante, mais ce n’est pas une fatalité ! Un nouveau paradigme de programmation parallèle, accessible aux débutants, hautement productif et performant, fait son apparition : les modèles de programmation par tuiles (tile-based).

Dans cette présentation guidée par des exemples, nous vous initierons à la programmation par tuiles en Python, C++ et Rust. Nous présenterons cuTile, la nouvelle pile de programmation par tuiles de NVIDIA, et Tile IR, la pile de compilation sur laquelle elle repose. Vous découvrirez les nouvelles fonctionnalités de CUDA Tile récemment annoncées, notamment la communication multi-GPU, l’interopérabilité avec le CUDA SIMT traditionnel, et le support de noyaux plus variés comme les convolutions et les stencils. Nous comparerons les modèles par tuiles avec les modèles de programmation parallèle traditionnels. Vous verrez des exemples issus de divers domaines, incluant les stencils HPC, un solveur de produit matrice-vecteur creux (SPMV) et gradient conjugué (CG), ainsi que des modèles d’IA issus de TileGym.

La programmation par tuiles trouve ses racines dans les bibliothèques HPC, comme TCE de NWChem, BLIS et ATLAS. Ces dernières années, ce paradigme a gagné en popularité pour la programmation GPU dans des langages tels que Triton, JAX/Pallas et Warp.

Dans cette session, vous :
- Apprendrez les meilleures pratiques pour écrire des applications parallèles par tuiles pour GPU
- Obtiendrez un aperçu des performances du code par tuiles et de son exécution réelle
- Découvrirez comment raisonner sur et déboguer les applications par tuiles
- Comprendrez les différences entre la programmation par tuiles et la programmation parallèle traditionnelle, et quand utiliser chaque paradigme
- Verrez comment la programmation par tuiles rend votre logiciel portable face aux tendances matérielles récentes

À l’issue de la session, vous comprendrez comment la programmation par tuiles permet un développement plus intuitif, portable et efficace d’applications haute performance à parallélisme de données, pour le HPC, la science des données et l’apprentissage automatique.