Production Image/Video Serving with SGLang Diffusion

Les modèles de diffusion sont devenus le pilier de la génération moderne d'images et de vidéos, mais les servir efficacement reste un défi. Dans cette présentation, nous introduisons SGLang-Diffusion, un framework d'inférence haute performance conçu pour la génération par diffusion à grande échelle. Nous présentons son architecture système et ses optimisations clés — incluant le parallélisme avancé, le VAE distribué, la fusion de noyaux et les améliorations de service — qui permettent un déploiement efficace et prêt pour la production des modèles de diffusion. Nous démontrons également comment SGLang-Diffusion accélère les modèles open source populaires et supporte les charges de travail de génération multimodale à grande échelle.