La complexité quadratique de l’auto-attention standard est devenue le goulot d’étranglement fondamental pour les agents IA en contexte long et les modèles déployés en edge. Les mécanismes d’attention linéaire — transformant le calcul de l’attention de O(n²) à O(n) — se sont imposés comme l’une des percées algorithmiques les plus significatives en modélisation efficace de séquences. Cette présentation offre un parcours technique complet à travers l’évolution de l’attention linéaire, depuis les fondations théoriques (Performer, Linear Transformer, reformulations RNN) jusqu’aux architectures de pointe actuelles (Mamba, RetNet, GLA), et conclut avec les frontières de recherche critiques : stratégies d’attention hybride pour les workflows agentiques, co-conception matériel-logiciel pour le déploiement edge, et convergence de l’attention linéaire avec les modèles d’espace d’état. S’appuyant sur l’expérience en production de l’entraînement de modèles fondamentaux à grande échelle, cette session fait le pont entre innovation algorithmique et réalité de l’infrastructure.
Diapositives 
Album photo 