【实操实验】SGLang：高性能LLM服务框架——现场运行开放模型

SGLang是一个面向LLM和多模态模型的开源高性能服务框架，已获得超过24,000个GitHub星标。在本次演讲中，我们将介绍SGLang性能背后的关键设计原则。

我们将讨论近期的进展，包括原生多模态模型支持、推测解码支持（Eagle3/MTP）以及在Hopper和Blackwell GPU上的FP8/NVFP4量化。我们还将分享维护一个拥有全球数千名贡献者的快速发展的开源项目的经验。

与会者将获得对SGLang如何实现最先进的吞吐量和延迟的实际理解，以及如何将其部署用于生产环境的LLM服务。