Pie: A Programmable Serving System for Agentic Applications

Pie est un système de service LLM programmable qui décompose la boucle de génération traditionnelle en gestionnaires de services à grain fin, permettant aux applications d'implémenter de nouvelles stratégies de cache KV et une logique de génération sur mesure. Pie améliore la latence et le débit de 1,3× à 3,4×.