Méthodologie d'évaluation
Le détecteur de fraude et le pronostiqueur : métriques, overfitting, validation, réglage
Dans ce chapitre, vous apprendrez à
- Mesurer honnêtement si un modèle marche (métriques adaptées)
- Repérer le sur-apprentissage et s'en protéger (train, validation, test)
- Régler un modèle sans tricher avec les données de test
Outils : scikit-learn
12 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Un modèle qui semble excellent peut être inutile, ou dangereux. Tout dépend de la façon dont on le note. - La médecine. Un test de dépistage peut se tromper de deux façons : rater un malade, ou alarmer une…
Battre le champion
Échauffement. sklearn interdit. Vous travaillez dans l'équipe IA d'une banque. Après des mois de développement, votre détecteur de fraude tourne enfin en production : chaque jour, il passe au crible des milliers…
Triomphe du stagiaire
sklearn interdit. Cette matinée semblait tout à fait normale. Vous êtes arrivé à votre bureau de la Super AI Agentic Bank à 8h30, comme d'habitude. Vous avez pris votre café, comme d'habitude. Mais un sentiment…
Ni trop, ni trop peu
sklearn interdit. Le directeur s'est remis des déboires avec les clients accusés à tort : quelques remises et négociations plus tard, la relation est rétablie. Mais hors de question que ça recommence. Vous avez…
Comparer sans seuil
sklearn interdit. Votre détecteur à score de risque a fait ses preuves. Le directeur envisage de le remplacer et compare plusieurs modèles concurrents, mais il veut trancher avant de fixer le seuil de…
Cent vingt jours de pronostics
sklearn autorisé. La banque sponsorise une plateforme de pronostics sportifs qui publie chaque jour un pronostic pour 12 matchs de plusieurs championnats. Elle veut afficher sur sa page d'accueil le taux de réussite…
Verdict honnête
sklearn interdit. Le directeur veut un chiffre auquel se fier : « quelle accuracy votre modèle aura-t-il vraiment sur les futurs matchs ? » Problème : vous avez peu de matchs, et chacun compte. On vous…
Cours : train, validation, test, la règle d'or
Dès qu'un chiffre sert à prendre une décision, il cesse d'être une mesure neutre. C'est pourquoi un projet ML sérieux donne trois rôles distincts à ses données : | Jeu | Sert à | Combien de fois | |---|---|---| |…
Trop beau pour être vrai
Un collègue analyste vous montre, tout fier, son modèle de scoring de crédit. Sur les milliers de dossiers de prêts déjà clôturés de la banque, il devine qui a fait défaut avec une réussite quasi parfaite. Il veut le…
Promesse au partenaire
sklearn autorisé. La banque s'apprête à céder son modèle d'octroi de crédit à un réseau partenaire. Le partenaire enverra les demandes de ses propres clients, des personnes que la banque n'a jamais servies, et…
Cours : les courbes d'apprentissage
Une courbe d'apprentissage (learning curve) trace deux scores en fonction du nombre d'exemples d'entraînement : le score sur les données apprises (courbe train) et le score sur des données mises de côté…
Réglage fin
sklearn autorisé. On vous donne un
DecisionTreeClassifierpar défaut. Il colle parfaitement aux données d'entraînement... mais sur des points de test il plafonne (~74%). Écrivez la fonction…