DOCTORANT-E : INDEXATION ET RECHERCHE DE CONTENUS VISUELS DANS LES NUAGES DE POINTS À LARGE ÉCHELLE

Le doctorant étudiera des solutions pour organiser les collections visuelles (photographies et films anciens) par analyse de leur contenu. Par organisation, on entend à la fois leur mise en relation selon leur proximité spatiale, afin de regrouper celles qui documentent une même zone, et leur spatialisation, dans le but de les restituer dans leur environnement 3D. Classiquement, ce problème est abordé par la recherche d’images dans un ensemble d’images géolocalisées, ce qui permet de relier les contenus visuellement similaires et de propager la localisation à travers les liens [Pion et al., 2020]. De manière plus originale ici, nous proposons d’adresser le problème en sélectionnant une référence 3D globale spatialement organisée, et en recherchant ces contenus 2D dans cette référence pour les géolocaliser. Nous faisons le choix de considérer les nuages de points 3D comme référence, principalement issus de données LiDAR, en nous fondant sur deux constats : 1/ les données 3D de cartographie de l’environnement sont de plus en plus répandues et de plus en plus précises (comme les cartes LiDAR HD de l’IGN) ; 2/ ces données géométriques offrent des représentations géolocalisées robustes face aux variations de scène, telles que les changements de point de vue ou de conditions d’éclairage (jour/nuit, saisons, etc.), qui continuent de pénaliser les approches reposant sur la photométrie des images 2D. La recherche de contenus 2D(+t) dans une base de données 3D soulève toutefois plusieurs verrous scientifiques non résolus, qui seront au cœur des travaux à mener :

• Indexation inter-domaines : cela nécessite de trouver des représentations permettant d’établir des liens entre les contenus 2D(+t) et 3D. La littérature est riche en ce qui concerne l’indexation et la recherche d’informations dans un seul domaine, que ce soit pour les images [Pion et al., 2020 ; Blettery et al., 2023] ou pour les nuages de points 3D [Uy et al., 2018 ; Komorowski, 2021 ; Hui et al., 2022 ; Vidanapathirana et al., 2022 ; Zhang et al., 2024]. Plusieurs solutions existent également pour la mise en correspondance 2D–3D [Li et al., 2021 ; Qin et al., 2022], dans le cadre du recalage, mais elles ne sont pas applicables à la recherche à grande échelle, car elles supposent connue la géolocalisation du contenu 2D pour effectuer son alignement avec la 3D. À l’instar des Vision Language Models qui alignent images et textes, nous privilégierons des méthodes fournissant un espace d'encodage commun entre 2D et 3D [Xie et al., 2023 ; Xue et al., 2023 ; Sohail et al., 2025], exploitable comme index pour la recherche. Nous concentrerons cependant notre attention sur la difficulté d’aligner ces contenus dans un contexte multi-date, où la scène a évolué au fil du temps.
• Recherche à grande échelle (au moins à l’échelle d’une ville) : notre travail s’appuiera sur les travaux déjà menés au LASTIG concernant la recherche dans les nuages de points 3D [Zede et al., 2025], inspirés du Differentiable Search Index [Zhuang et al., 2022], des GD-MAE Sparse Pyramid Transformers [Yang et al., 2023] et de la recherche par faisceau (Beam Search), qui permettent d’accélérer considérablement la recherche dans des bases de données volumineuses. Afin d’améliorer le passage à l’échelle de ces approches, l’utilisation de l’architecture Mamba [Gu et al., 2024] pourra être explorée, à la fois pour l’encodage des nuages de points via MambaPoint [Cheng et al., 2024] et pour la recherche par Differentiable Search Index. On pourra également s’intéresser aux architectures à mélange d’experts (Mixture of Experts), qui ouvrent des perspectives prometteuses, plus faciles à entraîner et à mettre à jour [Cai et al., 2025].

En tant que contributeur au consortium AGAPE, le doctorant sera également chargé d’interagir avec ses membres (chercheurs, post-doctorants, doctorants, stagiaires, archivistes, historiens et journalistes). Il participera notamment à l’intégration des contenus géolocalisés dans l’environnement 3D avec les partenaires, ainsi qu’à l’évaluation de ses propositions dans les scénarios applicatifs du projet, en collaboration avec les archivistes, historiens et journalistes. Il contribuera également à l’intégration des algorithmes développés dans les infrastructures de calcul du consortium afin d’en assurer le déploiement et le passage à l’échelle. AGAPE s’inscrit par ailleurs dans une démarche active de science ouverte : l’ensemble des résultats obtenus et des solutions développées seront publiés dans des conférences et revues de haut niveau, et mis à disposition en accès libre.

Jeux de données considérés
Grâce au consortium AGAPE, à la participation de l’IGN et aux données ouvertes disponibles dans le domaine du patrimoine culturel, le doctorant bénéficiera de jeux de données variés et de grande ampleur : des collections anciennes d’images et de vidéos représentant le territoire français, aussi bien à l’échelle aérienne que terrestre (plus de 70 000 images) ; des nuages de points 3D LiDAR de l’IGN à grande échelle, couvrant l’ensemble de Paris via une cartographie mobile terrestre, ainsi que les données issues de la campagne nationale de LiDAR HD aérien en cours d’acquisition.

Organisation 

• Date de démarrage : flexible, idéalement au dernier trimestre 2025.
• Financement : contrat doctoral de 3 ans, incluant les missions en France et à l’étranger.
• Lieu : La thèse sera réalisée en région parisienne, au sein du laboratoire LASTIG, situé sur le campus de l’Université Gustave Eiffel à Champs-sur-Marne.
• Le doctorant sera rattaché à l’École Doctorale MSTIC (ED 532).