Un embedding est une représentation numérique d’un contenu texte, image, audio, vidéo sous forme d’un vecteur dans un espace mathématique où la distance entre deux points peut approximer leur similarité sémantique. Un modèle d’embedding transforme un objet en une série de nombres (généralement plusieurs centaines ou milliers de dimensions) qui capturent son sens, sa structure ou ses caractéristiques essentielles.
Un embedding n’est pas un mot-clé ni une étiquette. C’est une traduction d’un contenu dans un langage que les machines peuvent comparer mathématiquement. La distance entre deux vecteurs ne démontre ni vérité, ni causalité, ni équivalence métier. Elle indique une proximité calculée par le modèle.
Ce qui se passe concrètement
Le processus de création et d’utilisation d’un embedding suit plusieurs étapes :
- Modèle d’embedding : Un modèle de machine learning (ex. : text-embedding-3-small d’OpenAI, BERT, Sentence-BERT) est entraîné sur des millions d’exemples pour apprendre à placer des contenus sémantiquement proches dans des zones voisines de l’espace vectoriel.
- Transformation en vecteur : Le contenu (une phrase, un paragraphe, une image) est passé dans le modèle, qui produit un vecteur de nombres flottants : une « empreinte numérique » de son sens.
- Comparaison par distance : La similarité entre deux contenus est calculée par une mesure de distance (cosinus, euclidienne, etc.). Plus la distance est faible, plus les contenus sont considérés comme proches sémantiquement.
- Influence des paramètres : Le choix du modèle, du découpage du texte, de la métrique de distance et du seuil de similarité influence directement le résultat.
Ce que ça change dans la pratique
- Recherche sémantique : Une requête sur « rupture du contrat » peut retrouver un passage sur la « résiliation » malgré l’absence du même mot, si le modèle et le corpus représentent cette proximité. La recherche ne dépend plus d’un vocabulaire exact.
- Regroupement de grands corpus : Les embeddings permettent de regrouper des milliers de documents par thème (clustering) sans avoir besoin de catégories prédéfinies ou de mots-clés communs.
- Mesure et test du rappel : Avant d’utiliser les résultats dans un système RAG, on peut évaluer la qualité des embeddings en mesurant le rappel, la proportion de documents pertinents effectivement retrouvés.
Cas d’usage
Un service de support client dispose de milliers d’articles de FAQ. Chaque article est transformé en embedding et stocké dans une base vectorielle. Lorsqu’un client pose une question sur « comment annuler mon abonnement », la requête est également transformée en embedding. Le système recherche les articles dont les vecteurs sont les plus proches et remonte un article intitulé « Procédure de résiliation », même si le mot « annulation » n’apparaît pas dans le titre. L’agent peut ainsi fournir une réponse précise sans avoir à connaître le vocabulaire exact utilisé dans la documentation.
Erreurs de confusion fréquentes
- Embedding ≠ mot-clé : Un mot-clé est une correspondance textuelle exacte. Un embedding capture un sens, une relation, un contexte.
- Embedding ≠ preuve de sens identique : Une distance faible indique une similarité calculée, pas une équivalence de sens garantie. Deux contenus peuvent être proches dans l’espace vectoriel pour de mauvaises raisons (biais du modèle, données d’entraînement limitées).
- Embedding ≠ réponse finale d’un modèle : L’embedding est une représentation intermédiaire. Il alimente une recherche ou un regroupement, mais il ne génère pas la réponse — c’est le rôle du LLM ou du système en aval.
Pour aller plus loin
- Notions liées : RAG, LLM, Recherche sémantique, Base de données vectorielle, Similarité cosinus, Fine-tuning.