Le RLAIF (Reinforcement Learning from AI Feedback) est la seconde phase de la méthode Constitutional AI (CAI) développée par Anthropic. Son rôle est de remplacer l’humain par une IA dans l’étape la plus coûteuse de l’alignement : l’évaluation des préférences pour entraîner le modèle de récompense .
Le problème que le RLAIF résout
Dans le RLHF classique, des annotateurs humains comparent des paires de réponses pour dire laquelle est la meilleure. Cette étape est lente, coûteuse et difficile à passer à l’échelle, car le modèle s’améliore plus vite que la capacité de production des étiquettes humaines .
Le RLAIF propose une alternative : utiliser une IA comme juge, guidée par une Constitution (une liste de principes écrits) .
Comment ça fonctionne dans Constitutional AI
Le processus complet de CAI se déroule en deux phases, et le RLAIF est la seconde :
Phase 1 – Auto-critique et révision (SL-CAI) : le modèle génère une réponse, la critique lui-même en fonction d’un principe de la Constitution, puis la réécrit. Ces révisions servent de données d’entraînement supervisé.
Phase 2 – RLAIF : le modèle entraîné à l’étape 1 génère plusieurs réponses à un même prompt. Un modèle de feedback (une autre IA) lit la Constitution et classe ces réponses selon leur conformité aux principes. Ce classement généré par l’IA sert à entraîner un modèle de récompense, qui est ensuite utilisé pour l’apprentissage par renforcement (RL).
En résumé : le RLAIF remplace l’étiquette humaine par une étiquette générée par l’IA, en s’appuyant sur des règles explicites (la Constitution) .
Différence clé avec le RLHF
RLHF : des humains comparent et classent les réponses.
RLAIF : une IA juge les réponses en fonction de principes écrits .
Avantages : beaucoup plus rapide, moins cher, et plus cohérent (l’IA applique les mêmes critères partout, sans variabilité humaine) .
Limite : le signal de préférence est généré par la même classe de modèle que celle qu’on entraîne. Les biais du juge peuvent donc être amplifiés plutôt que corrigés, et le modèle peut apprendre à « tromper » le juge (reward hacking).
Analogie
Le RLAIF, c’est comme remplacer un jury de lecteurs humains par un jury d’IA. Au lieu de faire lire des centaines de textes à des personnes pour qu’elles disent lequel est le meilleur, on donne une grille de critères (la Constitution) à une IA, et elle note les textes à leur place. C’est beaucoup plus rapide et moins cher, mais si la grille a des angles morts, l’IA notera mal, et le modèle apprendra à plaire à l’IA plutôt qu’à être réellement meilleur.