LLM

Un Large Language Model, est un modèle d’apprentissage qui est capable de générer et de comprendre du texte, de dialoguer avec les humains en utilisant des réseaux de neurones artificiels pour apprendre des données et effectuer des tâches complexes.

Les LLM sont généralement conçus pour effectuer des tâches spécifiques liées au langage, telles que la génération de texte, la traduction automatique, la réponse aux questions.

Un LLM est un modèle informatique, un programme mathématique très complexe, basé sur l’architecture Transformer qui a été entraîné sur une énorme quantité de textes (livres, articles, code, forums, etc.) pour apprendre les schémas du langage humain.

Un LLM est un programme entraîné à comprendre et générer du langage. Ce n’est pas programmé ligne par ligne.

Il est construit à partir de :

1. Une architecture logicielle bien conçue (presque toujours Transformer),
2. Des algorithmes mathématiques rigoureux (des réseaux de neurones, des fonctions de perte, des mécanismes d’attention),
3. Un code de base (framework) solide (souvent en Python, avec des bibliothèques comme PyTorch ou TensorFlow).

Cette base technique est généralement “bien codée” : elle est développée par des équipes d’ingénieurs de haut niveau (Meta, Google, Mistral AI, etc.), testée, optimisée, et souvent open source (ex. : Llama, Mistral).

Le “savoir” du LLM ne vient pas du code — il vient des données.

• Le code définit comment apprendre.
• Les données définissent ce que le modèle apprend.

Quelques exemples de LLM

• ChatGPT d’OpenAI créé avec l’algo GTP-4.
• Bard de Google.
• Bloom de Hugging Face
• Llama de Facebook en open source.
• GPT-Neo d’OpenAI, fork de GPT-3.

Créer un LLM ?

Aujourd’hui, un ingénieur ou un “génie dans son garage” ne peut plus créer seul un LLM (comme GPT-4, Llama 3 ou le modèle derrière Dia) de zéro.

Mais il peut en utiliser, adapter, combiner ou héberger des versions puissantes — et même en faire quelque chose d’unique.

Les grands modèles

Les grands modèles sont réservés aux Big Tech (OpenAI, Google, Meta) ou startups bien financées (Mistral AI, Anthropic).

Un ingénieur ou une entreprise ne peut plus tout créer seul pour les raisons suivantes :

1. Coût de l’entraînement
   • Entraîner un LLM moderne coûte des millions de dollars (ex. : GPT-4 ≈ 100M $).
   • Il faut des centaines ou milliers de GPU/TPU fonctionnant pendant des semaines.
2. Données massives
   • Un LLM a besoin de centaines de milliards de mots propres, filtrés, licenciés.
   • Le “web crawling” n’est plus libre (robots.txt, paywalls, blocages).
3. Expertise multidisciplinaire
   • Nécessite des équipes : ML engineers, data curators, chercheurs en sécurité, juristes, etc.

L’ère du “garage” pour les grands modèles est terminée — comme pour les avions ou les satellites.

Les autres modèles

a) Modèles de langage petits ou moyens

• SLM (Small Language Models) – terme de plus en plus courant depuis 2024
• Tiny LLM – parfois utilisé pour les modèles < 1 milliard de paramètres
• Modèles spécialisés ou modèles de domaine (ex. : entraîné uniquement sur du droit, de la médecine, du code)

b) Modèles non linguistiques

Ceux-ci ne génèrent pas de texte, mais :

• Classifient des images → modèles de vision (ex. : ResNet, ViT)
• Reconnaissent la parole → modèles de reconnaissance vocale (ex. : Whisper)
• Traduisent la parole en texte → modèles de transcription
• Détectent des anomalies → modèles prédictifs industriels

Ils font partie de l’IA mais pas des LLM.

c) Modèles classiques (pré-IA générative)

• Algorithmes de machine learning traditionnel : Random Forest, SVM, régression logistique
• Utilisés encore aujourd’hui pour des tâches simples, rapides, interprétables

Possibilités offertes à tous

1. Utiliser des LLM open source

• Llama 3 (Meta), Mistral, Phi-3 (Microsoft), Gemma (Google) sont libres (sous licence).
• Tu peux les télécharger et les exécuter sur ton ordi (même un bon laptop M1/M2 ou un PC avec 16–32 Go RAM).
• Outils comme LM Studio, Ollama, Jan.ai rendent ça accessible à tous.

2. “Fine-tuner” un modèle existant

Entraîner un LLM sur tes propres données.
Résultat : une IA qui parle comme toi, connaît ta culture, transmet ta voix.
Coût : quelques dizaines d’euros (via Hugging Face, RunPod, etc.).

3. Créer des “personas IA”

→ Comme on en a parlé : un double conversationnel alimenté par ta mémoire.
→ C’est réaliste, local, éthique, et dans ton garage.

4. Inventer de nouveaux usages

4.1. IA pour l’agriculture régénérative

• Idée : Une IA qui analyse les images satellites + capteurs du sol + météo locale pour conseiller le moment idéal pour semer, tailler ou laisser reposer, en favorisant la biodiversité.
• Différence : Pas une IA productiviste, mais régénérative — elle dit parfois : “Ne fais rien, laisse la nature agir.”

4.2. Médiateur urbain pour les conflits de voisinage

• Idée : Un chatbot local (dans une mairie ou une appli communale) qui aide deux voisins à formuler clairement leur conflit (bruit, clôture, stationnement), propose des solutions neutres, et oriente vers la médiation si besoin.
• Techno : SLM finetuné sur codes civils locaux + bonnes pratiques de médiation.
• Originalité : Pas de jugement, juste de la clarification.

4.3. Assistant de laboratoire open science

• Idée : Une IA qui lit les protocoles scientifiques (PDF, GitHub), vérifie la reproductibilité, suggère des améliorations, et génère automatiquement un fichier FAIR (Findable, Accessible, Interoperable, Reusable).
• Public cible : Chercheurs en biologie, chimie, sciences sociales.
• Valeur : Accélère la science ouverte, réduit les erreurs humaines.

4.4 Concepteur inclusif d’espaces publics

• Idée : Une IA qui, à partir d’un plan 3D d’une gare, d’un parc ou d’un musée, simule l’expérience de personnes en situation de handicap (moteur, visuel, cognitif) et propose des améliorations.
• Exemple : “Ce passage est trop étroit pour un fauteuil roulant + une poussette.”
• Impact : Transforme la norme “accessibilité minimum” en expérience humaine réelle.

4.5. Coach de reconversion éthique

• Idée : Une IA qui aide un salarié à changer de carrière sans trahir ses valeurs. Elle analyse :
  • Ses compétences,
  • Ses limites éthiques (“je ne veux pas travailler pour une arme, un casino, une big tech extractive”),
  • Les offres alternatives (économie sociale, coopératives, métiers artisanaux).
• Différence : Pas un coach “maximise ton salaire”, mais “maximise ton alignement”.

4.6. Assistant de crise locale (hors cloud)

• Idée : Une app fonctionnant hors ligne pendant une catastrophe (inondation, panne réseau) qui guide les citoyens :
  • Où trouver de l’eau ?
  • Comment signaler un blessé sans réseau ?
  • Quels gestes de premiers secours ?
• Techno : Modèle tiny IA (ex. : Phi-3) embarqué dans une app Android/iOS.
• Valeur : Sauve des vies quand le cloud est inaccessible.