Préparation des données & feature engineering
Nettoyer sans casser, puis construire la feature qui rend le problème séparable
Dans ce chapitre, vous apprendrez à
- Nettoyer des données sales sans fausser les résultats
- Construire de nouvelles variables qui rendent le problème plus facile
- Gérer des classes déséquilibrées
Outils : pandas, scikit-learn
9 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Les données n'arrivent jamais propres, et un modèle ne voit que ce qu'on lui donne. Ce qu'on fait avant l'entraînement compte souvent plus que le choix du modèle. - Les dossiers réels. Dans un hôpital, une…
Nettoyeur en chef
On vous donne un dataset immobilier très sale :
df_raw, un peu plus de 1000 lignes et 12 colonnes. Certaines sont utiles, d'autres sont du bruit. Il y a des NaN, des outliers, des types incohérents, des doublons.…Données sales
sklearn autorisé. C'est votre premier jour dans une startup. On vous confie un jeu de données client pour prédire s'ils vont résilier leur abonnement (
churn). Problème : les données sont brutes. - Certaines…Mirage
On vous donne des points à deux features (
x,y) répartis en deux classes (0et1). Un modèle linéaire entraîné directement surxetyplafonne autour de 50 % : il ne trouve aucune droite qui sépare…Déclic
Encore deux classes (
X_trainde forme(N, 2),y_train), et encore un modèle linéaire qui plafonne (autour de 50 %) : aucune droite ne sépare les classes. Explorez les données : tracez la classe en fonction…Clé cachée
Deux classes (
X_train(N, 2)= points(x, y),y_train). En traçant le nuage colorié par la classe, la frontière entre les deux classes n'est pas une droite : c'est une courbe. Un modèle linéaire ne peut pas…Angle mort
Deux features strictement positives (
X_train(N, 2), valeurs > 0), deux classes. Un modèle linéaire échoue : la frontière entre les classes n'est pas une droite. Explorez les données (tracez-les, coloriez par la…Au-delà des colonnes
sklearn autorisé. Une agence immobilière veut repérer, dès la mise en vente, les biens qui se vendront au-dessus du prix médian du marché. Chaque bien est décrit par six colonnes :
surface,num_rooms…Classes déséquilibrées
sklearn autorisé. Votre startup pivote vers la détection de fraude. Les transactions arrivent dans une table
data: les colonnesf0àf14sont les mesures d'une transaction, et la colonnelabelvaut 0…