Un grand modèle de langage (ou LLM) est un système d’intelligence artificielle entraîné sur une quantité massive de textes (livres, sites web, code, forums…) pour comprendre et générer du langage humain de façon statistiquement cohérente.
Il ne « comprend » pas au sens humain, mais prédit habilement le mot ou la phrase la plus probable à partir du contexte.
Comment ça marche ? (en termes simples)
- Entraînement : le modèle analyse des milliers de milliards de mots pour apprendre les structures, styles, faits et relations entre les concepts.
- Inférence : lorsqu’on lui donne une invite (prompt), il génère une réponse en continuant le texte de façon plausible.
- Paramètres : sa « taille » se mesure en milliards de paramètres (ex. : Llama 3 : 8B ou 70B ; GPT-4 : estimé à 1 700B). Plus il est grand, plus il est capable… mais aussi plus coûteux.
Capacités typiques
- Rédiger : emails, articles, scripts, poèmes
- Résumer : textes longs, documents techniques
- Traduire : entre des dizaines de langues (avec des modèles spécialisés)
- Coder : générer ou expliquer du code dans de nombreux langages
- Raisonner : résoudre des problèmes simples avec des chain-of-thought
- Discuter : maintenir une conversation cohérente sur plusieurs tours
Exemples de grands modèles
| Modèle | Éditeur | Licence | Auto-hébergeable ? |
|---|---|---|---|
| Llama 3 / Llama 3.2 | Meta | Open (avec conditions) | Oui (via Ollama, LM Studio, etc.) |
| Mistral / Mixtral | Mistral AI (France) | Open weights | Oui |
| Gemma 2 | Open (Apache 2.0) | Oui | |
| GPT-4 / GPT-4o | OpenAI | Fermé | Non (API uniquement) |
| Claude 3.5 Sonnet | Anthropic | Fermé | Non |
| Gemini 2.0 | Fermé | Non (sauf via API) |
Limites et risques critiques
| Enjeu | Explication |
|---|---|
| Hallucinations | Le modèle invente des faits avec assurance → dangereux pour la documentation culturelle |
| Biais | Reflète les préjugés du corpus d’entraînement (ex. : sous-représentation des langues amazighes) |
| Coût énergétique | Entraînement = millions de kWh ; inférence = empreinte carbone non négligeable |
| Dépendance au cloud | Les modèles fermés (GPT-4, Gemini) = perte de contrôle, données envoyées à l’étranger |
| Vieillissement | Les connaissances s’arrêtent à la date de fin d’entraînement (ex. : Llama 3 : avril 2024) |
Syn. LLM