The Smol Training Handbook: Lessons from Training State-of-the-Art LLMs

Une plongée approfondie dans les défis concrets de l'entraînement de LLM à grande échelle, couvrant l'infrastructure, le parallélisme 5D, l'optimisation des performances et les leçons durement apprises lors de l'entraînement de SmolLM3 sur des centaines de GPU.