GPU 的 Tile 编程

并行编程可能令人望而生畏，但其实不必如此！一种全新的并行编程范式正在兴起，它对新手友好、高效且高性能：基于 Tile 的编程模型。

在这个以示例驱动的演讲中，我们将向您介绍 Python、C++ 和 Rust 中的 Tile 编程。我们将展示 cuTile —— NVIDIA 全新的 Tile 编程栈，以及 Tile IR —— 其底层的编译器栈。您将了解最近发布的 CUDA Tile 新特性，包括多 GPU 通信、与传统 CUDA SIMT 的互操作性，以及对卷积和模板计算等更多类型内核的支持。我们将对比 Tile 编程模型与传统并行编程模型的异同。您将看到来自多个领域的示例，包括 HPC 模板计算、稀疏矩阵向量乘（SPMV）和共轭梯度（CG）求解器，以及来自 TileGym 的 AI 模型。

Tile 编程根植于 HPC 库，如 NWChem 的 TCE、BLIS 和 ATLAS。近年来，这种范式在 GPU 编程中越来越流行，涌现出 Triton、JAX/Pallas 和 Warp 等语言和框架。

在本次演讲中，您将：
- 学习编写 GPU Tile 并行应用的最佳实践
- 深入了解 Tile 代码的性能表现及其实际执行方式
- 学习如何推理和调试 Tile 应用
- 理解 Tile 编程与传统并行编程的区别以及各自的适用场景
- 了解 Tile 编程如何让您的软件在最新硬件趋势下保持可移植性

演讲结束时，您将理解 Tile 编程如何使高性能数据并行应用的开发变得更直观、更可移植、更高效，适用于 HPC、数据科学和机器学习领域。