使用SGLang Diffusion进行生产级图像/视频服务

扩散模型已成为现代图像和视频生成的支柱，但高效地服务这些模型仍然具有挑战性。在本次演讲中，我们介绍SGLang-Diffusion，一个为可扩展扩散生成设计的高性能推理框架。我们展示其系统架构和关键优化——包括高级并行化、分布式VAE、内核融合和服务改进——实现了扩散模型的高效和生产就绪部署。我们还演示了SGLang-Diffusion如何加速流行的开源模型并支持大规模多模态生成工作负载。