Pie：面向 Agentic 应用的可编程服务系统

新兴的大语言模型（LLM）应用涉及多样化的推理策略和智能体工作流，对基于单体式 token 生成循环的现有服务系统构成了挑战。本次演讲介绍 Pie，一个为灵活性和效率而设计的可编程 LLM 服务系统。Pie 将传统的生成循环分解为通过 API 暴露的细粒度服务处理器，并将生成过程的控制权委托给用户提供的程序——称为 inferlet。这使得应用可以实现新的 KV cache 策略、定制化生成逻辑，并无缝集成计算和 I/O——全部在应用层完成，无需修改服务系统。Pie 使用 WebAssembly 执行 inferlet，受益于其轻量级沙箱机制。我们的评估表明，Pie 通过支持应用特定优化，在智能体工作流上显著提升了延迟和吞吐量（提高 1.3 至 3.4 倍）。Pie 是开源的：https://pie-project.org