Finetuning 2

Geler ou dégeler, finetuning complet vs PEFT : adapter un gros modèle pré-entraîné

Dans ce chapitre, vous apprendrez à

• Adapter un gros modèle pré-entraîné à une nouvelle tâche
• Choisir quoi geler et quoi réentraîner
• Adapter un modèle à moindre coût (méthodes PEFT)

Outils : Hugging Face Transformers

3 exercices

Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.

1. À quoi ça sert dans la vraie vie

   Personne, ou presque, n'entraîne un gros modèle à partir de zéro : on part d'un modèle déjà entraîné et on l'adapte. Toute la question est de savoir quoi modifier, et à quel prix. - La médecine. En 2017…

2. Geler ou dégeler ?

   Votre classificateur médical fonctionne. Mais un collègue pose une question intéressante : « Les features pré-entraînées proviennent d'images naturelles (chats, voitures...). Les radios pulmonaires sont très…

3. Adapter un géant, presque gratuitement

   Finetuner un gros modèle en ré-entraînant tous ses poids est lent et gourmand. LoRA (Low-Rank Adaptation) est l'astuce qui a démocratisé le finetuning : on gèle le modèle entier et on n'insère que de…