Fonctions de coût & théorie de l'information

Entropie, cross-entropy, KL divergence, MLE, pipeline complet

Dans ce chapitre, vous apprendrez à

• Mesurer l'information et la surprise (entropie)
• Comprendre d'où viennent les fonctions de coût usuelles (maximum de vraisemblance)
• Comparer deux distributions (cross-entropy, divergence KL)

Outils : NumPy

11 exercices

Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.

1. À quoi ça sert dans la vraie vie

   Pour qu'une IA apprenne, il faut un nombre qui dise à quel point elle se trompe, et ce nombre vient d'une idée étonnante : l'information se mesure. - Le code morse et la compression. Dès le XIXe siècle, le morse…

2. Jeu des 20 questions

   Vous jouez aux 20 questions avec un ami. Il pense à un objet parmi une liste. Vous ne pouvez poser que des questions oui/non. Cas 1 : Il y a 8 objets, tous aussi probables (12.5% chacun). Combien de questions vous…

3. Surprise du classificateur

   Vous avez construit un classificateur qui prédit 4 catégories. Pour chaque exemple de test, il vous donne des probabilités : par exemple [0.7, 0.1, 0.15, 0.05] signifie « 70% de chances que ce soit la catégorie 0 ».…

4. Cours : softmax et entropie croisée

   Le score que vous venez d'inventer porte un nom : l'entropie croisée. Pour un exemple dont la vraie classe est $k$, elle vaut $-\ln p_k$, la surprise du modèle face à la bonne réponse ; on en fait la moyenne sur les…

5. Écart entre deux mondes

   Vous avez deux distributions de probabilités sur 5 catégories : - p : la vraie distribution (observée sur les données) - q : la distribution prédite par votre modèle Vous cherchez à mesurer « à quel point q est loin…

6. Estimer une pièce biaisée

   Vous trouvez une pièce par terre. Vous la lancez 200 fois et vous notez chaque résultat dans le tableau flips (1 = pile, 0 = face). La pièce est-elle truquée ? Si oui, quelle est la probabilité $p$ de tomber sur pile…

7. Pourquoi la moyenne ?

   Dans l'exercice précédent, vous avez trouvé que le MLE de $p$ pour des lancers de Bernoulli est $\hat{p} = \bar{x}$ (la moyenne des observations). Démontrez-le rigoureusement. Soit $x_1, x_2, \ldots, x_N$ des…

8. MLE = BCE

   En ML, on entraîne souvent un modèle de classification binaire en minimisant la Binary Cross-Entropy (BCE) : $$\text{BCE}(\theta) = -\frac{1}{N}\sum_{i=1}^{N} \Big[ y_i \ln(\hat{p}_i) + (1 - y_i) \ln(1 - \hat{p}_i)…

9. MLE = moindres carrés

   La loss de la classification, la BCE, s'obtient comme un maximum de vraisemblance pour des étiquettes de Bernoulli (c'est l'objet de l'exercice « MLE = BCE »). Faisons pareil pour la régression. On modélise une…

10. Pipeline complet

    Vous êtes ingénieur dans une start-up médicale. On vous donne 10 échantillons sanguins, chacun décrit par 2 mesures biologiques. Certains sont sains (label 0), d'autres pathologiques (label 1). Votre mission…

11. Diagnostic à grande échelle

    La start-up médicale grandit. Votre premier système de diagnostic ne jonglait qu'avec deux mesures bien nettes ; le laboratoire vous transmet désormais ses relevés complets : 100 patients, chacun décrit par 5…