Fondations : compression & complexité
Compresser, c'est comprendre : longueur de description, complexité, aléatoire
Dans ce chapitre, vous apprendrez à
- Relier apprendre et compresser
- Distinguer le signal du hasard
- Mesurer la complexité d'une donnée
4 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Compresser et comprendre sont deux faces de la même chose : ce qu'on a vraiment compris d'une donnée, on peut le dire en moins de mots. - Les modèles de langage sont des compresseurs. Un modèle qui devine bien…
Colis le plus léger
Vous terminez un stage dans une équipe qui déploie des modèles sur des capteurs isolés, reliés au serveur par une liaison satellite facturée au bit près. Vous avez entraîné un petit modèle linéaire : un vecteur de poids…
Apogée du mélange
Dans un laboratoire de systèmes complexes, une question toute simple vous occupe, née d'une tasse de café. Vous versez le lait d'un côté, le café de l'autre, et vous remuez. Au tout début, l'image est nette et simple…
Signal ou bruit
Vous mettez au point un pipeline qui reçoit en continu des flux de données de sources inconnues : capteurs, journaux, fragments de fichiers, on ne sait ni leur format ni leur origine. Avant d'entraîner quoi que ce soit…