Post-training
Après le pré-entraînement : aligner et accélérer un modèle de langage
Dans ce chapitre, vous apprendrez à
- Comprendre ce qu'on fait à un modèle de langage après son pré-entraînement
- Apprendre à un modèle à partir de préférences
- Accélérer la génération
3 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Un modèle qui sort du pré-entraînement sait continuer un texte, pas encore vous répondre. Ce qui en fait un assistant utile, fiable et rapide se joue après. ![La vie d'un assistant : pré-entraînement, dialogues…
Deux réponses, une préférence
Vous affinez un assistant conversationnel déjà pré-entraîné. Plutôt que des notes chiffrées, vos annotateurs vous livrent des paires : pour une même requête, une réponse jugée meilleure (la préférée) et une moins bonne…
Plusieurs coups d'avance
Vous optimisez le service d'inférence d'un grand modèle de langage. À chaque passage dans le réseau, le tronc partagé produit un vecteur caché par position, et une tête de sortie transforme ce vecteur en une…