Linear Attention: Past, Present and Future

标准自注意力机制的二次复杂度已成为长上下文 AI Agent 和边缘部署模型的根本瓶颈。线性注意力机制——将注意力计算从 O(n²) 降至 O(n)——已成为高效序列建模中最重要的算法突破之一。本次演讲将全面回顾线性注意力的技术演进：从理论基础（Performer、Linear Transformer、RNN 重构）到当前最先进的架构（Mamba、RetNet、GLA），最后展望关键研究前沿：用于智能体工作流的混合注意力策略、面向边缘部署的软硬件协同设计，以及线性注意力与状态空间模型的融合。本次演讲结合大规模基础模型训练的生产经验，将算法创新与基础设施现实联系起来。