Architectures avancées

Graphes, mémoire externe, alignement temporel : au-delà du transformeur

Dans ce chapitre, vous apprendrez à

Traiter des données en graphe
Donner une mémoire externe à un réseau
Aligner des séquences de longueurs différentes, et entraîner des réseaux très profonds

Chaque exercice est corrigé automatiquement, dans le navigateur. Les énoncés complets sont accessibles avec un compte.

À quoi ça sert dans la vraie vie
Toutes les données ne sont pas des phrases ou des photos. Routes, molécules, voix enregistrées : chacune a sa forme, et l'architecture doit épouser cette forme. - Les graphes : météo et trajets. GraphCast, le…
Compte des sauts
Vous administrez un réseau maillé de relais radio. La plupart des relais ne font que retransmettre les paquets ; seuls quelques-uns, les passerelles, sont raccordés directement à la dorsale, le cœur du réseau. Un…
Maillage de l'essaim
Vous rejoignez une équipe qui pilote un essaim de drones de reconnaissance déployé au-dessus d'une zone. Chaque drone tient une position au sol et émet en permanence sur une bande de fréquence donnée. Deux drones…
Bloc-notes du réseau
Vous concevez un petit réseau contrôleur qui traite une longue série d'informations, mais il ne peut garder dans ses propres activations qu'une poignée de nombres à la fois. Impossible d'y retenir des centaines de faits…
Cent couches sans broncher
Vous poussez vos réseaux toujours plus profond. Une connexion de raccourci vous a déjà permis d'entraîner quelques dizaines de couches là où un empilement nu restait bloqué. Vous visez maintenant beaucoup plus haut…
Transcripteur hésitant
Vous développez un système de reconnaissance vocale. Un réseau récurrent parcourt un extrait sonore découpé en T instants très courts et, à chaque instant, produit une distribution de probabilité sur un petit…