Building Scalable LLM Inference Infrastructure

L'infrastructure de service LLM est devenue un pilier essentiel de la société moderne, mais construire une infrastructure LLM évolutive reste un défi à grande échelle en raison de problèmes systémiques tels que le déséquilibre de charge, les nœuds lents et le manque d'élasticité. Dans cette présentation, je présenterai nos travaux récents sur une infrastructure LLM évolutive et efficace, notamment un routeur global LLM simple mais efficace basé sur la multiplication et des mécanismes d'auto-scaling ultra-rapides. Certains de ces travaux ont été ou sont en cours de déploiement chez les plus grands fournisseurs de services LLM au monde.