DOCTORANT-E : INDEXATION ET RECHERCHE À GRANDE ÉCHELLE DANS LES CONTENUS MULTIMÉDIAS ET GÉOSPATIAUX

Réalisée dans le cadre du projet DALEAS, la thèse porte sur l’indexation et la recherche dans les contenus multimédias à grande échelle. Les contenus considérés, tels qu’images, textes et nuages de points 3D, documentent une zone géographique (une ville, une rue, un monument, etc.). Les travaux de recherche consisteront à concevoir des représentations et des stratégies d’indexation efficaces et flexibles, permettant une recherche rapide et précise dans ces contenus, en fonction des données disponibles dans la requête ainsi que dans la base interrogée. La recherche permettra d’identifier des documents liés à une même zone géographique, dans le but de localiser la requête si la base interrogée est géoréférencée. S’appuyant sur les travaux antérieurs sur les représentations LiDAR-vers-texte réalisés au sein du laboratoire LASTIG, ainsi que sur les modèles multimodaux de grande taille (Multimodal Large Language Models) en général, le candidat proposera des stratégies de fusion et d’alignement des modalités disponibles. Intégrés à l’infrastructure d’indexation et de recherche de DALEAS reposant sur celle d’Apache Spark™, ces travaux permettront la recherche à grande échelle dans les collections multimédias, avec une application à l’analyse géospatiale des médias des réseaux sociaux en partenariat avec France Télévisions, dans le cadre de la lutte contre la désinformation.

L’indexation et la recherche dans une collection multimédia reposent à la fois sur une étape d’indexation, c’est-à-dire sur la description du contenu de la requête et de chaque élément de la collection, et sur une étape de recherche, c’est-à-dire sur la structuration de ces descriptions afin de permettre une comparaison rapide au sein de la collection. Lorsqu’on considère plusieurs modalités dans la requête ou dans la collection interrogée, il est nécessaire d’introduire une étape de fusion de l’information, qui peut être réalisée de différentes manières : au niveau des descripteurs (dite fusion précoce, par ex. [Gadzicki et al., 2020]), au niveau de l’étape de recherche elle-même (dite fusion intermédiaire, par ex. [Valenzuela et al., 2014]), au niveau des réponses retournées (dite fusion tardive, par ex. [Neshov, 2013 ; Ye et al., 2012]), ou même de manière séquentielle lorsque les modalités sont utilisées hiérarchiquement pour filtrer et affiner les ensembles de candidats (fusion dite séquentielle, par ex. [Mai et al., 2019]). De plus, si la modalité de la requête n’est pas la même que celle des éléments de la collection, il est nécessaire d’introduire une étape d’alignement des modalités ; à noter que l’alignement peut également être utilisé pour résoudre le problème de fusion. 

La thèse se concentre sur les problèmes de fusion et d’alignement dédiés à la recherche de contenus multimédias à grande échelle. Nous nous inspirerons des avancées récentes sur les modèles multimodaux de grande taille (Multimodal Large Language Models, MLLMs [Caffagni et al., 2024 ; Zhang et al., 2024]), tels que TEAL [Yang et al., 2024], où les interactions entre toutes les modalités sont traitées comme une séquence de tokens et apprises dans un espace d’encodage commun. L’équipe encadrante a par ailleurs exploré l’indexation et la recherche dans des jeux de données LiDAR, en exploitant un modèle génératif Image-to-Text [Wang et al., 2022] afin de générer des représentations textuelles de nuages de points 3D pour la reconnaissance de lieux à grande échelle [Zede et al., 2025]. S’appuyant sur ces résultats et sur la dernière génération de MLLMs, l’objectif de ces travaux de recherche est de les généraliser à un éventail plus large et variable de modalités, incluant images, textes et/ou données 3D, à la fois dans la requête et dans la base de données interrogée, en développant une stratégie unifiée de tokenisation et des méthodes d’indexation capables de supporter la recherche à grande échelle dans des collections multimédias.

Les concepts développés seront intégrés à l’infrastructure DALEAS fondée sur Apache Spark™, et appliqués à la géolocalisation, de manière à retrouver des documents géoréférencés similaires à celui de la requête. Cette étape sera exploitée pour géolocaliser des flux de données, dans le but final de fact-checking reposant sur la vérification de la géolocalisation, en partenariat avec France Télévisions. Selon les données multimédias disponibles, il est probable que le candidat ait à étudier et à comparer différentes stratégies de fusion - fusion conjointe (c’est-à-dire précoce, intermédiaire ou tardive) ou fusion séquentielle, optimisées pour cette tâche en aval et suffisamment flexibles pour accepter diverses modalités, plutôt que de s’engager dès le départ sur une approche unique.

Jeux de données considérés

Dans le cadre du consortium DALEAS, le doctorant aura accès à une variété de jeux de données hétérogènes et à grande échelle, combinant informations multimédias et géospatiales. Cela inclut des données géospatiales ouvertes et des collections de référence fournies par les partenaires du projet, telles que le jeu de données LiDAR HD de l’IGN, issue de la campagne d’acquisition nationale de nuages de points aériens à haute densité (10 points/m²), ou des couples d’images stéréo issus du système de cartographie mobile Stereopolis de l’IGN [Paparoditis et al., 2012], ainsi que des ressources publiques définies par le cas d’usage du projet, comme les médias sociaux tels que X (anciennement Twitter).