Transformers
Attention Q·K·V, self-attention, l'architecture qui domine texte et image
Dans ce chapitre, vous apprendrez à
- Comprendre le mécanisme d'attention
- Assembler un Transformer et savoir pourquoi il domine texte et image
- Distinguer les modèles qui lisent tout le texte de ceux qui le génèrent
Outils : PyTorch, Hugging Face Transformers
7 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Presque toutes les IA dont on parle aujourd'hui reposent sur une seule architecture : le Transformer. Ce chapitre vous la fait construire pièce par pièce. - Les assistants conversationnels. ChatGPT, Claude ou…
Interprète simultané
Vous travaillez sur un traducteur automatique. Votre encodeur RNN lit une phrase source mot par mot et produit un vecteur caché à chaque pas de temps. Jusqu'ici, vous passez uniquement le dernier vecteur caché au…
Chacun regarde tout le monde
Votre mécanisme d'attention fonctionne : le décodeur peut consulter les états de l'encodeur. Mais vous dépendez encore d'un RNN pour encoder la phrase, ce qui est lent (séquentiel) et perd quand même de l'information…
Prédire sans tricher
Votre self-attention sert maintenant un nouveau but : générer du texte, mot après mot. Vous entraînez le modèle à prédire, à chaque position, le mot suivant de la phrase ; à l'entraînement, vous lui donnez des…
Cours : causal ou bidirectionnel, deux familles de Transformers
La contrainte « ne jamais consulter le futur » s'appelle l'attention causale. Elle sépare les Transformers en deux grandes familles, selon ce que chaque position a le droit de voir : | | Décodeur (GPT) |…
Sous plusieurs angles
Votre self-attention fonctionne, mais elle souffre d'une limite : pour chaque position, elle ne produit qu'un seul jeu de poids d'attention, donc une seule façon de relier les mots entre eux. Or un mot entretient…
Retrouver le fil
Vous perfectionnez votre système de traduction. Jusqu'ici, à chaque pas, le décodeur produit un mot pris dans un dictionnaire fixe. Une nouvelle tâche arrive pourtant : on vous confie des textes dont les fragments (des…