La loss function (ou fonction de perte) est l’outil qui mesure l’écart entre ce que le modèle prédit et ce qui était réellement attendu. Pendant l’entraînement d’un LLM, à chaque étape, le modèle reçoit une séquence de tokens et doit prédire le token suivant. La loss function compare cette prédiction (sous forme de probabilités sur l’ensemble du vocabulaire) avec le token qui était effectivement le bon dans les données d’entraînement.
Plus cet écart est grand, plus la loss est élevée. L’objectif de l’entraînement est de minimiser cette loss en ajustant les paramètres du modèle via la rétropropagation. C’est ce signal qui guide l’apprentissage : le modèle « apprend » en réduisant progressivement l’écart entre ses prédictions et les tokens attendus.