Khal and Inferi: Towards Single-Language Cross-Platform GPU Inference with Rust and rust-gpu

在经历了WGSL和Slang等跨平台GPU编程的多次技术探索之后，我们展示了我们的最新实验——一个CPU代码和GPU内核都用同一种语言编写的代码库：Rust。通过利用Cargo和Rust编译器（通过rust-gpu），我们实现了在所有主要平台（包括Web）上运行的通用张量和LLM推理算子。虽然仍处于早期阶段且性能表现尚不突出，但编写常规Rust代码、跨GPU/CPU边界的强类型以及Cargo包管理器所带来的优势，使得与多个领域的代码库实现了顺畅的集成和互操作——不仅限于AI领域。