World models : panorama d'un champ qui se cherche (2018 → 2026)

Published: at 21:53

Depuis Ha & Schmidhuber (2018), l’expression « world model » désigne une idée simple : qu’un agent apprenne un modèle interne de son environnement pour l’anticiper et y planifier. En 2024-2026, le terme a débordé des laboratoires — V-JEPA 2, Dreamer, Genie, Sora — mais recouvre des architectures et des promesses très différentes, parfois contradictoires. Ce billet propose une carte volontairement neutre et sourcée : d’où vient l’idée, quelles grandes familles la déclinent, et quel débat les traverse toutes — comprendre le monde ou prédire le futur ?

De Ha & Schmidhuber à aujourd’hui : de quoi parle-t-on ?

Le gabarit conceptuel est posé en 2018 par David Ha et Jürgen Schmidhuber dans World Models. Leur agent apprend un modèle compressé — spatial et temporel — de son environnement, articulé en trois briques : un VAE qui compresse chaque observation en vecteur latent, un réseau récurrent (MDN-RNN) qui prédit le prochain état latent conditionné à l’action, et un contrôleur minimal. Fait resté célèbre, ils entraînent la politique « dans le rêve » du modèle avant de la transférer dans l’environnement réel (Ha & Schmidhuber, 2018). Encodeur + dynamique latente + politique : toutes les familles ultérieures héritent de ce triptyque.

Sept ans plus tard, le champ est assez vaste pour qu’un survey de référence propose de l’ordonner. Understanding World or Predicting Future? (Ding et al., soumis en novembre 2024, révisé en décembre 2025) inscrit la tension dès son titre : d’un côté construire des représentations internes pour comprendre les mécanismes du monde, de l’autre prédire des états futurs pour simuler et guider la décision (Ding et al., 2024). Une lecture de vulgarisation répandue en 2025-2026 double cette distinction d’une opposition architecturale : « compresser pour comprendre » en espace latent, versus « rendre pour prédire » image par image — deux voies qui, note un billet de synthèse (Pebblous, 2026), ont fait irruption publique le même mois, en février 2024, avec Sora et Genie.

Trois familles, trois promesses

Un avertissement de lecture d’abord : une partie des chiffres qui suivent proviennent de billets ou de rapports auto-publiés par les labos eux-mêmes (Meta, DeepMind, OpenAI), des acteurs qui ont un intérêt commercial à mettre en avant leurs modèles. On les lit ici comme des revendications — que la dernière section confronte à des travaux critiques indépendants.

Prédire en latent : la voie JEPA

La première voie refuse de reconstruire les pixels. Yann LeCun (2022) place au centre de son agent une Joint Embedding Predictive Architecture : prédire dans un espace de représentation abstrait, pour que le prédicteur puisse ignorer le détail de surface imprévisible. Son instanciation vidéo la plus visible est V-JEPA 2 (Meta, juin 2025), un modèle de 1,2 milliard de paramètres entraîné par prédiction masquée en latent — pas en pixels — sur « plus d’un million d’heures de vidéo internet » (Assran et al., 2025 ; blog Meta AI). Les auteurs rapportent des performances fortes en compréhension du mouvement (77,3 top-1 sur Something-Something v2) et revendiquent l’état de l’art en anticipation d’action (39,7 recall@5 sur Epic-Kitchens-100).

Le volet le plus ambitieux est V-JEPA 2-AC, un world model action-conditionné pour la robotique : un prédicteur Transformer greffé sur l’encodeur gelé, entraîné sur moins de 62 heures de vidéos robot non labellisées (dataset DROID), qui planifie en latent par contrôle prédictif (MPC). Meta rapporte un pilotage zero-shot de bras Franka dans deux laboratoires distincts, par simple image-but, avec 65 à 80 % de réussite en pick-and-place sur objets nouveaux. La même équipe publie trois benchmarks de raisonnement physique (IntPhys 2, MVPBench, CausalVQA) où les humains atteignent 85-95 % quand les modèles vidéo restent « au niveau du hasard » sur IntPhys 2 — une manière de chiffrer le fossé qui reste à combler (blog Meta AI).

Imaginer pour contrôler : la lignée Dreamer

La deuxième famille vient du reinforcement learning et assume, elle, de prédire explicitement la dynamique. PlaNet (Hafner et al., 2018) introduit le Recurrent State-Space Model (RSSM), qui apprend une dynamique latente depuis les pixels et planifie en imaginant des trajectoires, sans jamais décoder d’image pendant la recherche d’action (arXiv). Dreamer (2019) remplace la replanification permanente par un acteur réactif entraîné en propageant des gradients analytiques à travers des trajectoires imaginées (arXiv). DreamerV2 (2020) passe à des latents catégoriels discrets et revendique le premier niveau humain sur les 55 tâches Atari en apprenant dans un world model (arXiv). DreamerV3 (2023) pousse la généralité : une configuration unique sur plus de 150 tâches, et la première collecte de diamants dans Minecraft from scratch, sans données humaines ni curriculum (Hafner et al., 2023). En marge, TD-MPC2 (Hansen et al., 2023) défend un modèle decoder-free qui ne reconstruit pas les observations mais prédit une dynamique latente orientée-tâche, planifiée par MPC (arXiv). Point commun de la famille : le modèle sert à contrôler, et son erreur de prédiction est un signal opérationnel.

Rendre pour simuler : les génératifs

La troisième famille produit des mondes que l’on peut regarder — et parfois jouer. Genie (DeepMind, 2024) est présenté comme le premier environnement interactif génératif appris sans supervision depuis des vidéos internet non annotées : 11 milliards de paramètres, avec un espace d’actions latent appris sans le moindre label d’action (Bruce et al., 2024). Genie 2 (décembre 2024), selon le billet de DeepMind, génère des mondes 3D contrôlables à partir d’une seule image, avec une mémoire de scène qui « se souviendrait » des parties hors-champ, sur des séquences de 10-20 secondes (DeepMind). Genie 3 (août 2025) atteint, toujours selon DeepMind, le temps réel — 24 images/s en 720p, cohérence sur quelques minutes — tout en listant explicitement ses limites : action d’agents restreinte, difficulté multi-agents, absence de géographie réelle, texte seulement s’il est fourni en entrée (DeepMind).

C’est aussi ici que le mot « world model » devient le plus disputé. OpenAI positionne Sora (février 2024) comme un « simulateur du monde physique » émergent, avec des capacités de cohérence 3D et de permanence d’objet — mais reconnaît, dans le même rapport, une physique d’interaction inexacte et des violations de gravité ou de collision (OpenAI, page confirmée via source secondaire). Et la critique est explicite : Kang et al. (2024) rapportent, sur des simulations contrôlées, que la génération vidéo ne parvient pas à apprendre les lois physiques même avec le passage à l’échelle, les erreurs hors-distribution restant un ordre de grandeur au-dessus des erreurs in-distribution (phyworld). Produire une belle image plausible ne prouve pas que l’on a modélisé la dynamique causale.

« Comprendre ou prédire le futur ? » — le débat d’évaluation

Ces familles ne se laissent donc pas départager par la qualité visuelle. Le banc World-in-World (2025) le montre frontalement : en boucle fermée, la qualité visuelle ne garantit pas la réussite de tâche ; c’est la contrôlabilité qui compte davantage, et le post-training avec données action-observation bat la simple mise à niveau des générateurs (arXiv). Vafa et al. (2024) enfoncent le clou : un modèle génératif peut exceller sur les diagnostics classiques tout en abritant un world model bien moins cohérent qu’il n’y paraît, ce que révèlent des métriques inspirées du théorème de Myhill-Nerode (arXiv).

Deux conséquences se dessinent. D’abord, l’évaluation se déplace : la vague de benchmarks 2025-2026 — WorldModelBench (arXiv), WorldArena (arXiv), RoboTrustBench (arXiv) — troque les métriques génératives contre l’adhérence physique et l’utilité downstream. Ensuite, la distinction architecturale prend un sens mesurable : côté RL, on sait que l’erreur de rollout autorégressif s’accumule avec l’horizon, et des travaux comme « On Rollouts in Model-Based RL » cherchent à en séparer les composantes (arXiv). Un encodeur invariant, à l’inverse, est entraîné pour absorber les variations de surface — une propriété recherchée pour la reconnaissance, mais qui n’est pas la même chose qu’un prédicteur sensible à la dérive.

Le débat n’est d’ailleurs pas tranché à l’intérieur même de la voie latente. Contre la thèse « jeter les pixels », DIAMOND (2024) défend qu’un world model à diffusion conservant les détails visuels continus reste compétitif sur Atari, arguant que l’information fine compte pour entraîner un agent (arXiv). Le champ, en 2026, ressemble moins à une course qu’à une carte de tensions assumées.

Mon regard

Ce panorama, je l’ai lu avec un biais : j’ai passé quelques sessions à essayer de me servir de V-JEPA 2 comme d’un thermomètre de dérive, c’est-à-dire à guetter, dans son erreur, le moment où un flux vidéo se dégrade. Résultat, pour moi, un mur net : l’encodeur est invariant par conception. Il absorbe les perturbations de surface (c’est tout l’intérêt de l’entraînement auto-supervisé), si bien que le signal reste plat quel que soit le scénario de dégradation — au niveau clip comme par patch. Le prédicteur ne sauve rien, puisqu’il reçoit déjà des représentations invariantes. Autrement dit : le « signal e(t) » natif que je cherchais n’existe pas dans cet objet.

J’ai bricolé un contournement — un petit MLP temporel greffé par-dessus les features — qui amplifie bien le signal, mais mon pipeline de diagnostic aval n’a pas su le convertir en verdicts fiables. Contrat de départ oblige, mes trois hypothèses noyau sont tombées : résultat négatif, assumé. La leçon que j’en tire rejoint exactement la tension de ce billet : « world model » recouvre des objets qui ne rendent pas les mêmes services. Dans mon essai, l’encodeur invariant, taillé pour comprendre une scène, s’est montré un piètre prédicteur de sa dynamique — de quoi soupçonner deux métiers distincts. Ma prochaine piste va d’ailleurs vers les systèmes où un signal d’erreur existe nativement (les innovations d’un filtre de Kalman sur des logs de vol), là où le monde se laisse mesurer en train de dériver. Mais ça, c’est un autre carnet.

Références

Papiers

Billets & docs