Stage M 2 : Approches multimodales pour la gestion des informations manquantes dans l’analyse des états affectifs H/F

Intégrer Linéact au sein de CESI pour un stage de recherche serait une formidable opportunité de contribuer à des projets innovants, tout en approfondissant mes compétences dans un environnement à la pointe de la transformation numérique et de l’industrie 4.0.

Projet de stage

Contexte scientifique

L’analyse des états affectifs joue un rôle crucial dans la compréhension du comportement humain et l’amélioration des interactions entre les humains et les systèmes intelligents [1, 2, 3, 4, 5, 6]. Elle repose sur diverses modalités, telles que la voix, les expressions faciales, les gestes ainsi que les signaux physiologiques [7, 8, 9, 10]. Des recherches antérieures ont exploré chaque modalité séparément et ont montré leur complémentarité, soulignant l’intérêt de combiner les informations issues de chacune [11].

L’étude des états affectifs dans des contextes réels constitue un défi majeur en raison de leur nature complexe et dynamique. Les bases de données multimodales existantes contiennent souvent des états induits dans des environnements contrôlés, ce qui ne reflète pas toujours l’expression naturelle des états affectifs. Cependant, dans des conditions réelles d’interaction, certaines modalités peuvent être manquantes ou dégradées. Par exemple, il peut arriver que le locuteur n’émette pas de parole tout en manifestant des expressions faciales, ou encore qu’il tourne la tête, ce qui entraîne une occultation partielle de son visage et une altération des informations visuelles disponibles. d’où l’intérêt de la multimodalité. Nos recherches précédentes ont confirmé cette complémentarité entre modalités et ont ouvert la voie à de nouvelles pistes pour une intégration plus robuste des différentes sources d’information. Ce projet de stage s’inscrit dans la continuité de ces travaux et vise à les faire évoluer. L’objectif de ce stage est de travailler sur des données multimodales variées et de développer des approches permettant de combiner efficacement plusieurs sources d’information, même lorsque certaines modalités sont manquantes.

Objectifs du stage

Avec l’essor des techniques d’apprentissage profond, il devient possible de concevoir des archi- tectures adaptées pour l’analyse multimodale des états affectifs. Le stage consistera à :

• explorer et prétraiter des datasets multimodaux existants ;

• concevoir et entraîner des modèles d’apprentissage profond pour la détection des états affectifs, en modalité unique ou multimodale ;

• expérimenter différentes stratégies de fusion multimodale et de gestion des modalités man- quantes ;

• évaluer les performances des modèles et analyser l’impact de la présence ou de l’absence de certaines modalités.

Les travaux menés dans ce stage contribueront à l’avancement des méthodes robustes pour la reconnaissance des états affectifs à partir de données réelles et variées, avec des applications potentielles dans la santé, le bien-être et les interactions homme-machine.

Contexte

Présentation du laboratoire

CESI LINEACT (UR 7527), Laboratoire d'Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires, anticipe et accompagne les mutations technologiques des secteurs et des services liés à l’industrie et au BTP. La proximité historique de CESI avec les entreprises est un élément déterminant pour nos activités de recherche, et a conduit à concentrer les efforts sur une recherche appliquée proche de l’entreprise et en partenariat avec elles. Une approche centrée sur l’humain et couplée à l’utilisation des technologies, ainsi que le maillage territorial et les liens avec la formation, ont permis de construire une recherche transversale ; elle met l’humain, ses besoins et ses usages, au centre de ses problématiques et aborde l’angle technologique au travers de ces apports.

Sa recherche est organisée selon deux équipes scientifiques interdisciplinaires et plusieurs domaines applicatifs.

L’équipe 1 "Apprendre et Innover" relève principalement des Sciences cognitives, Sciences sociales et Sciences de gestion, Sciences et techniques de la formation et celles de l’innovation. Les principaux objectifs scientifiques visés sont la compréhension des effets de l'environnement, et plus particulièrement des situations instrumentées par des objets techniques (plateformes, ateliers de prototypage, systèmes immersifs...) sur les processus d'apprentissage, de créativité et d’innovation.

L’équipe 2 "Ingénierie et Outils Numériques" relève principalement des Sciences du Numérique et de l'Ingénierie. Les principaux objectifs scientifiques portent sur la modélisation, la simulation, l’optimisation et le pilotage de composants, systèmes et processus complexes et des interactions Humains-systèmes dans des systèmes cyber-physiques et jumeaux numériques.

Ces deux équipes développent et croisent leurs recherches dans les domaines applicatifs de l'Industrie du Futur, de la Ville du Futur et des services numériques, soutenues par des plateformes de recherche, principalement celle de Rouen dédiée à l’Usine du Futur et celles de Nanterre dédiée à l’Usine et au Bâtiment du Futur.