STAGE H/F - Fusion multi-capteurs LiDAR et imageire multispectrale pour la perception robotique avancée et la caractérisation d'environnements complexes

Titre : Fusion multi-capteurs LiDAR et imagerie multispectrale pour la perception robotique avancée et la caractérisation d’environnements complexes

Domaines scientifiques : Fusion de données multi-capteurs, Vision par ordinateur et traitement d’images ; IA ; Robotique

Mots clés : LiDAR, imagerie multispectrale, fusion de données, perception 3D, apprentissage automatique et profond

Description

Ce stage s’inscrit dans le cadre du projet REISAR (Reisar - CESI LINEACT), lauréat du programme France 2030 dans le cadre du défi « Transfert Robotique », qui vise à concevoir un robot hybride amphibie, capable d’inspecter et de cartographier 3D les réseaux d’assainissement avec une précision inégalée (moins de 40 cm), tout en naviguant de manière autonome dans des environnements complexes et faiblement accessibles. Dans ce projet, CESI et son laboratoire LINEACT interviennent sur les problématiques de localisation, de navigation autonome, de compréhension d’environnement et d’interface homme-machine.

C’est dans le cadre des problématiques de compréhension d’environnement et la perception 3D que ce stage se positionne et notamment sur la conception et l’évaluation de méthodes de fusion multi-capteurs combinant données LiDAR 3D et imagerie multispectrale afin d’améliorer la perception et la caractérisation d’environnements complexes.

La perception fiable de l’environnement constitue un enjeu central pour les systèmes autonomes et les systèmes cyber-physiques déployés dans des contextes industriels et urbains. Les capteurs LiDAR fournissent une information géométrique 3D précise, robuste aux variations d’éclairage, tandis que l’imagerie multispectrale apporte une richesse informationnelle liée aux propriétés physiques et chimiques des matériaux observés.

Cependant, pris individuellement, ces capteurs présentent des limites : le LiDAR est peu discriminant sur la nature des surfaces, tandis que l’imagerie multispectrale est sensible aux conditions environnementales et manque d’information géométrique fine. La fusion multi-capteurs apparaît ainsi comme une approche pertinente pour améliorer la robustesse, la précision et la sémantisation de la perception.

L’objectif est de tirer parti de la complémentarité géométrique et spectrale des capteurs pour des applications liées à l’Industrie du Futur et aux environnements complexes. Les travaux s’appuieront sur des approches de traitement du signal, de vision par ordinateur, modèles d’apprentissage automatique et profond. Une validation expérimentale sur des données réelles ou semi-simulées sera réalisée.

Work program

• Etape 1 : revue de la littérature

Mots clés : LiDAR, imagerie multispectrale, fusion de données, perception 3D, apprentissage automatique et profond

• Etape 2 : Premières implémentations et tests sur des jeux de données et des modèles de la littérature

• Etape 3 : Proposition de nouveaux modèles et faire des tests pour l’évaluation sur les jeux de données collectés par la caméra multispectrale et le capteur de nuages de points (LiDAR) intégrés au robot hybride.

• Etape 4 : Rapport de stage et soutenance

Ecriture du rapport de stage et préparation de la soutenance

Présentation du laboratoire

CESI LINEACT (UR 7527), Laboratoire d’Innovation Numérique pour les Entreprises et l’Apprentissage au service de la compétitivité des territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l’industrie et à la construction. La proximité historique du CESI avec les entreprises constitue un élément déterminant de nos activités de recherche. Elle nous a conduits à concentrer nos efforts sur une recherche appliquée, proche des entreprises et menée en partenariat avec elles.

Une approche centrée sur l’humain, couplée à l’usage des technologies, ainsi que le maillage territorial et les liens avec la formation, ont permis de construire une recherche transversale. Celle-ci place l’humain, ses besoins et ses usages au cœur des problématiques, et aborde les enjeux technologiques à travers ces contributions.

La recherche du laboratoire est organisée autour de deux équipes scientifiques interdisciplinaires et de plusieurs domaines d’application.

• Équipe 1 « Apprendre et Innover »

Elle concerne principalement les sciences cognitives, les sciences sociales et de gestion, les sciences de l’éducation, les techniques de formation et de l’innovation. Les principaux objectifs scientifiques portent sur la compréhension des effets de l’environnement — et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs, etc.) — sur les processus d’apprentissage, de créativité et d’innovation.

• Équipe 2 « Ingénierie et Outils Numériques »

Elle concerne principalement les sciences et l’ingénierie du numérique. Les principaux objectifs scientifiques portent sur la modélisation, la simulation, l’optimisation et l’analyse de données des systèmes cyber-physiques. Les travaux de recherche s’intéressent également aux outils d’aide à la décision et à l’étude des interactions homme-système, notamment à travers les jumeaux numériques couplés à des environnements virtuels ou augmentés.

Ces deux équipes développent et croisent leurs travaux de recherche dans des domaines d’application tels que : Industrie 5.0 ; Construction 4.0 et ville durable ; Services numériques.

Ces domaines sont soutenus par des plateformes de recherche, principalement celle de Rouen dédiée à l’Industrie 5.0, ainsi que celles de Nanterre dédiées à l’Industrie 5.0 et à la Construction 4.0.

Références :

[1] Z. Li, J. Wu, Y. Zhang, and Y. Yan, "CMFNet: Cross-Mamba Fusion Network for Hyperspectral and LiDAR Data Classification," IEEE Transactions on Geoscience and Remote Sensing, vol. 63, pp. 1-14, 2025.

[2] G. Zhao, Q. Ye, L. Sun, Z. Wu, C. Pan, and B. Jeon, "Joint Classification of Hyperspectral and LiDAR Data Using a Hierarchical CNN and Transformer," IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-16, 2023.

[3] Y. Zhang, S. Xu, D. Hong, H. Gao, C. Zhang, M. Bi, C. Li, "Multimodal Transformer Network for Hyperspectral and LiDAR Classification," IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-17, 2023.

[4] B. Rasti, P. Ghamisi and R. Gloaguen, "Fusion of Multispectral LiDAR and Hyperspectral Imagery," IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium, Waikoloa, HI, USA, 2020, pp. 2659-2662, doi: 10.1109/IGARSS39084.2020.9323179.

IEEE GRSS Data Fusion Contests

[5] 2013 IEEE GRSS Data Fusion Contest – Fusion of Hyperspectral and LiDAR Data (Houston Dataset). Available: https://hyperspectral.ee.uh.edu/?page_id=459

[6] 2018 IEEE GRSS Data Fusion Contest – Fusion of Multispectral LiDAR and Hyperspectral Data. Available: https://machinelearning.ee.uh.edu/2018-ieee-grss-data-fusion-challenge-fusion-of-multispectral-lidar-and-hyperspectral-data/