Texte & embeddings
Spam, TF-IDF, classification de critiques, puis les espaces de sens (analogies, embeddings)
Dans ce chapitre, vous apprendrez à
- Transformer un texte en nombres (sacs de mots, TF-IDF)
- Classer des textes
- Représenter le sens des mots par des vecteurs (embeddings)
Outils : scikit-learn, Hugging Face Transformers
10 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Une grande partie de ce que nous écrivons en ligne est lue par une machine avant de l'être par un humain. - Les filtres anti-spam. Gmail, Outlook et les autres examinent chaque courriel avant de décider s'il…
Détecteur de spam
Premier jour à l'équipe données de Cinéphage, le site de critiques de cinéma. On vous confie un problème que tout le monde redoute : la file de modération déborde, et les modérateurs passent leurs journées à supprimer…
Critique automatique
Cinéphage affiche désormais, à côté de chaque film, une jauge d'humeur des spectateurs : combien d'avis positifs, combien de négatifs. Jusqu'ici, un modérateur classait chaque critique à la main, patiemment, en…
Premier filtre
Vous êtes embauché comme modérateur dans un forum en ligne. 500 commentaires par heure arrivent. Impossible de tout lire manuellement. On vous donne un jeu de commentaires étiquetés (
comments: liste de textes…Mots qui comptent
Votre filtre de modération fonctionne, mais il fait des erreurs. En analysant les cas difficiles, vous réalisez un problème : dans la phrase "le produit est vraiment horrible", le mot "le" a autant de poids que…
Traducteur zéro-shot
Coup de théâtre : le forum devient bilingue (français et anglais). Votre patron vous demande de modérer les commentaires anglais aussi, mais vous n'avez aucun commentaire anglais étiqueté. Heureusement, vous…
Réveiller un géant
Vous avez classé du texte avec vos propres features (les mots qui comptent). Voici l'artillerie lourde : BERT, un modèle de langage pré-entraîné par Google sur des milliards de mots. Vous n'avez ni les dizaines de…
Dictionnaire magique
Vous êtes traducteur et vous découvrez un ancien dictionnaire où chaque mot est représenté par une liste de nombres (un « vecteur »). Les vecteurs de mots sont dans le dictionnaire
embeddings(clé = mot, valeur =…Contexte révélateur
Vous n'avez pas de dictionnaire de vecteurs tout fait. Mais vous avez un corpus de phrases. Votre intuition : deux mots qui apparaissent souvent dans les mêmes contextes doivent avoir un sens similaire ("chat" et…
Compression magique
Les vecteurs de co-occurrence que vous avez construits sont énormes : chaque mot est représenté par un vecteur de taille |vocabulaire|. Pour un vrai corpus, cela peut faire 50 000 dimensions ! Stocker et comparer…