GLM est une famille de modèles de langage développés par la société chinoise Zhipu AI.
Sa particularité technique repose sur un objectif d’auto-apprentissage par trous (autoregressive blank infilling) : contrairement aux modèles classiques (GPT prédit un mot après l’autre, BERT prédit des mots masqués), GLM est entraîné à masquer des segments continus de texte (phrases ou blocs) et à les générer de manière auto-régressive.
Cela lui permet de combiner les forces des modèles de type GPT (génération) et BERT (compréhension).