面向AI与AGI的高效可扩展系统

LLM服务基础设施已成为现代社会的关键支柱，但由于负载不均衡、慢节点以及缺乏弹性等系统问题，构建可扩展的LLM基础设施在大规模场景下仍然充满挑战。在本次演讲中，我将介绍我们在可扩展高效LLM基础设施方面的最新工作，包括简单而高效的基于乘法的LLM全局路由器以及超快速自动扩缩容机制。其中一些工作已经或正在部署于全球最大的LLM服务提供商。