Vision avancée
Détection, segmentation, self-supervised, ViT, CLIP : au-delà de la classification
Dans ce chapitre, vous apprendrez à
- Aller au-delà de la classification : localiser et découper les objets
- Utiliser des modèles qui apprennent sans étiquettes
- Relier images et textes (CLIP)
Outils : PyTorch, torchvision, Hugging Face Transformers
10 exercices
Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.
À quoi ça sert dans la vraie vie
Dire « il y a un piéton » ne suffit pas à une voiture : il lui faut savoir où il est, et quels pixels sont la route. La vision avancée passe d'une étiquette par image à une compréhension de toute la scène. ![Une…
Compteur d'objets
Votre classificateur CNN sait reconnaître un objet quand il occupe toute l'image. Mais maintenant, on vous donne une grande image qui contient plusieurs objets à des positions inconnues. Le CNN seul ne suffit plus…
Trop de boîtes !
Votre fenêtre glissante fonctionne, mais elle produit des dizaines de détections pour un seul objet. C'est parce que les fenêtres voisines se chevauchent et détectent toutes le même objet. Vous avez 30 boîtes autour…
Détecteur des pros
Vous avez construit la détection à la main : fenêtre glissante pour balayer l'image, puis NMS pour éliminer les boîtes redondantes. Vous savez maintenant ce qui se passe à l'intérieur d'un détecteur. Place aux…
Découpeur
Vous travaillez sur la conduite autonome. Le système doit comprendre chaque pixel de l'image : est-ce la route, un piéton, un véhicule, le ciel ? Ce n'est plus de la classification (une étiquette par image) mais de…
Raccord
Votre segmentation fonctionne, mais les résultats sont "flous" -- les bords des objets sont imprécis. L'encodeur détruit les détails fins (bords nets, petites structures) pour capturer le contexte global, et le décodeur…
Découper pour de vrai
Vous avez découpé une image à la main, pixel par pixel. Voici l'outil que les pros utilisent : DeepLabV3, un réseau de segmentation pré-entraîné qui assigne une classe à chaque pixel d'une image réelle. Ouvrez…
Puzzle visuel
Vous avez un mécanisme de self-attention qui fonctionne très bien sur des séquences de mots. Pourrait-on l'appliquer à des images ? Problème : une image 32x32 contient 1024 pixels. La self-attention a un coût…
Apparieur
Vous gérez une photothèque de millions d'images. Un utilisateur tape "un chien qui court sur la plage" et veut trouver les images correspondantes. Problème : les images et le texte vivent dans des espaces totalement…
Légende automatique
L'appariement fonctionne : vous pouvez trouver quelle légende va avec quelle image. Mais maintenant, on vous demande de générer une nouvelle légende pour une image jamais vue -- pas la choisir dans une liste…