Khal and Inferi: Towards Single-Language Cross-Platform GPU Inference with Rust and rust-gpu

Après de multiples explorations technologiques pour la programmation GPU multiplateforme comme WGSL et Slang, nous présentons notre dernière expérience avec une base de code où le code CPU et les kernels GPU sont écrits dans le même langage : Rust. En tirant parti de Cargo et du compilateur Rust (via rust-gpu), nous avons implémenté des opérateurs courants de tenseurs et d'inférence LLM fonctionnant sur toutes les plateformes majeures, y compris le web. Bien qu'encore à un stade précoce et avec des performances modestes, les avantages d'écrire du code Rust standard, le typage fort à travers la frontière GPU/CPU et le gestionnaire de paquets Cargo permettent une intégration et une interopérabilité fluides avec des bases de code de multiples domaines, pour l'IA et au-delà.