Entraîner un modèle de langage

Prédire le prochain token, température, décodage : ce qu'est vraiment un LLM

Dans ce chapitre, vous apprendrez à

Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.

À quoi ça sert dans la vraie vie
Derrière ChatGPT, Claude ou Gemini, il y a une seule tâche, répétée des milliards de fois : deviner la suite d'un texte. - Les assistants conversationnels. ChatGPT, Claude, Gemini ou Le Chat de Mistral AI ont…
Vocabulaire qui s'apprend
Un modèle de langage ne lit ni des lettres ni des mots : il lit des sous-mots, des morceaux dont la liste, le vocabulaire, n'est pas fixée d'avance mais apprise sur un corpus. Découper en lettres donnerait des…
Machine à compléter
Vous avez un modèle qui, pour chaque token dans une séquence, donne la distribution de probabilité sur le token suivant. Comment passer de "prédire le prochain mot" à "générer un texte entier" ? On vous donne : -…
Thermostat
Votre générateur de texte fonctionne, mais vous avez deux problèmes : - La stratégie déterministe produit toujours le même texte ennuyeux et répétitif - La stratégie aléatoire part parfois dans du charabia en…
Votre propre GPT
C'est le capstone : dans le notebook Colab, vous construisez de A à Z votre propre GPT au niveau caractère (embedding de tokens + de position, blocs Transformer avec self-attention causale, tête de sortie), vous…
Sur le tapis de caisse
Vous mettez au point le système de recommandation d'une chaîne de supermarchés. Chaque client passe en caisse avec un panier : un ensemble d'articles, chacun déjà représenté par un vecteur de caractéristiques. Votre…