Un checkpoint (ou « point de contrôle ») est une sauvegarde de l’état complet du modèle à un moment précis de l’entraînement. Cette sauvegarde inclut :
- Les paramètres du modèle (les poids et les biais) à cet instant.
- L’état de l’optimiseur (ex : Adam, SGD), qui contient les informations nécessaires pour reprendre l’entraînement (comme les moments).
- Le numéro de l’epoch ou de l’itération en cours.
- Le meilleur score de performance obtenu jusqu’ici (pour l’early stopping).
Les checkpoints sont essentiels pour plusieurs raisons :
- Reprise après interruption : si l’entraînement s’arrête (panne, coupure), on peut reprendre exactement là où on s’était arrêté.
- Sélection du meilleur modèle : on conserve les checkpoints qui ont les meilleures performances sur l’ensemble de validation.
- Expérimentation : on peut comparer différentes versions du modèle à différents stades de l’entraînement.
- Déploiement : le checkpoint final est celui qui est exporté pour être utilisé en inférence.
Analogie
Un checkpoint, c’est comme une sauvegarde automatique dans un jeu vidéo. Vous progressez dans les niveaux (l’entraînement), et à intervalles réguliers, le jeu enregistre votre position, vos objets et votre état. Si vous mourez ou si le jeu plante, vous pouvez reprendre à la dernière sauvegarde sans avoir à tout recommencer depuis le début. De la même manière, un checkpoint permet de reprendre l’entraînement d’un LLM sans perdre des heures ou des jours de calcul.
En résumé : Un checkpoint est une sauvegarde intermédiaire de l’état du modèle (paramètres, optimiseur, progression) pendant l’entraînement. Il permet de reprendre l’entraînement, de sélectionner le meilleur modèle, et de déployer la version finale.