Inférence & systèmes ML

Pourquoi générer coûte cher, et comment les gros modèles tiennent en mémoire

Dans ce chapitre, vous apprendrez à

• Comprendre ce qui coûte cher quand un modèle génère du texte
• Estimer la mémoire et le calcul d'un gros modèle
• Répartir un modèle trop gros pour une seule machine

6 exercices

Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.

1. À quoi ça sert dans la vraie vie

   Quand un assistant vous répond, chaque token qu'il écrit l'oblige à relire des dizaines, parfois des centaines de gigaoctets de poids. C'est cette mémoire, bien plus que le calcul, qui fixe la vitesse et le prix de…

2. Pourquoi générer un mot coûte cher

   Un mystère de l'inférence : générer un seul token avec un gros modèle fait relativement peu de calculs, et pourtant c'est lent. La raison n'est pas le calcul, c'est la mémoire : le GPU passe son temps à…

3. Budget hors de portée

   Vous planifiez l'entraînement d'un grand modèle de langage. Le run complet coûterait des mois de calcul et une fortune en heures GPU : hors de question de le lancer à l'aveugle. Avant d'engager un tel budget, il faut…

4. Facturé au bit

   Vous supervisez une flotte de capteurs en orbite. Chaque sonde renvoie de longs flux de relevés, mais le lien radio est facturé au bit : chaque bit transmis coûte, et la facture grimpe vite sur des millions de…

5. Trop gros pour une seule carte

   Vous déployez un réseau de neurones devenu trop volumineux pour tenir sur une seule carte graphique. La parade retenue : le découper en S tranches successives de couches, les étages, et confier chaque étage à un…

6. Partager pour tenir en mémoire

   Un vrai Transformer a beaucoup de têtes d'attention (32, 64…). À l'inférence, pour générer vite, on garde en mémoire les clés K et valeurs V de chaque tête, à chaque position déjà vue (c'est le cache).…