Pie：面向 Agentic 应用的可编程服务系统

新兴 LLM 应用涉及多样化推理策略与 Agentic 工作流，现有基于单体 Token 生成循环的服务系统难以胜任。Pie 是一个可编程 LLM 服务系统，将传统生成循环分解为细粒度服务处理器，通过用户自定义程序（inferlet）控制生成过程，在 Agentic 工作流上实现 1.3×–3.4× 的延迟与吞吐量提升。