Pie: A Programmable Serving System for Agentic Applications

Les applications émergentes de grands modèles de langage (LLM) impliquent des stratégies de raisonnement diversifiées et des workflows agentiques, mettant à rude épreuve les capacités des systèmes de service existants construits sur une boucle monolithique de génération de tokens. Cette présentation introduit Pie, un système de service LLM programmable conçu pour la flexibilité et l’efficacité. Pie décompose la boucle de génération traditionnelle en gestionnaires de service à grain fin exposés via une API et délègue le contrôle du processus de génération à des programmes fournis par l’utilisateur, appelés inferlets. Cela permet aux applications d’implémenter de nouvelles stratégies de KV cache, une logique de génération sur mesure, et d’intégrer de manière transparente le calcul et les E/S — entièrement au sein de l’application, sans modification du système de service. Pie exécute les inferlets en WebAssembly, bénéficiant de son sandboxing léger. Notre évaluation montre que Pie améliore significativement la latence et le débit (1,3x à 3,4x) sur les workflows agentiques en permettant des optimisations spécifiques à l’application. Pie est open source : https://pie-project.org