Kéréon
Le phare de Kéréon est un enfer, malgré un intérêt patrimonial évident, une problématique se pose : comment rendre le phare accessible aux visiteurs.
JUMANGI : Jumeaux nUMériques d’une situation d’Assistance médicale en milieux isolés par l’usage de la réalité mixte et des interactions taNGIbles augmentées
Mots-Clés : IHM, Jumeaux Numériques, Réalité Mixte, Interface Tangible, Médical
Période du projet : 12/10/2023 – 12/10/2024 (12 mois)
Liste des membres/partenaires :
Cout total : 100K€
Aide financière : 100% CNES – Challenge R&T « Jumeau Numérique Santé du Spationaute »
Description du projet :
Le projet JUMANGI repose sur le principe de collaboration entre 2 utilisateurs potentiellement distants l’un de l’autre (ex. l’un sur Terre, l’autre dans l’ISS ou sur Mars) ou d’une équipe en milieu isolé devant solliciter une expertise distante (ex. sur Mars, station Concordia, désert, pleine mer, …).
Dans de telles situations, l’isolement peut être géographique mais aussi temporel (ex. latence, rupture de communication).
Nous visons avec JUMANGI à étudier l’utilisabilité de la Réalité Mixte (RM) et le renforcement de l’autonomie des opérateurs et à aborder ces problématiques sous plusieurs angles.
Premièrement, En nous appuyant sur les concepts du jumeau numérique (JN) / physique (JP), nous proposons qu’un opérateur distant soit assisté par un Agent Conversationnel Animé (ACA) visualisé en Réalité Augmentée (RA). Sur Terre un expert métier serait immergé dans une reconstitution de la situation distante à l’aide d’un dispositif de Réalité Virtuelle (ex. Casque ou CAVE). Concrètement, prenons l’exemple d’un équipier (JP1) en situation médicale critique et un astronaute dans la Station Spatiale Internationale (ISS). Bien que potentiellement formé à la médecine mais ne la pratiquant pas au quotidien dans tous les cas, l’astronaute pourrait avoir besoin d’assistance. Pour cela, un médecin (JP2) sur Terre serait, dans un CAVE, immergé dans une reconstitution de l’ISS face au patient virtuel (JN1). Le médecin (JP2) suivrait et assisterait l’astronaute en lui envoyant des mises à jour d’instructions « en temps réel » via un médecin virtuel (JN2) représenté par l’ACA.
Ensuite, pour permettre ces situations immersives et liens entre JN et JP, nous visons à proposer le développement d’une architecture logicielle permettant la connexion de plusieurs sites intégrant des dispositifs de RM.
Dans un troisième temps, afin de contribuer à la résolution des problèmes liés à l’isolement temporel et/ou latence, nous proposons d’utiliser un formalisme de représentation des situations mais aussi de base de connaissances (indispensable si une latence existe entre la Terre et le lieu isolé) de manière à tendre vers une télémédecine / assistant médical personnalisé potentiellement autonome.
Enfin, afin d’améliorer l’expérience utilisateur (UX) des protagonistes, nous visons à nous appuyer sur la notion des interfaces tangibles augmentées (i.e., usage d’objets pour contrôler des données numériques). Exit ici l’idée de manipuler une manette/contrôleur pour interagir avec le/les systèmes. Nous visons à ce que les experts (métiers) manipulent/soient faces aux véritables objets liés à leur expertise ou à la situation. Par exemple, le médecin sur Terre pourrait être face à un mannequin connecté (qui serait le Jumeau Numérique Tangible du patient distant) ou encore utiliser une mallette de télémédecine (elle aussi connectée) pour laquelle les échanges pourraient être, supposons, bidirectionnels (Terre <=> Situation Isolée) avec actions de l’un sur l’autre et réciproquement.
Faits marquants du déroulement du projet :
Le phare de Kéréon est un enfer, malgré un intérêt patrimonial évident, une problématique se pose : comment rendre le phare accessible aux visiteurs.
Le projet SISTER (Surface Imaging Solution for TEmperate Reefs) vise à fournir aux gestionnaires des outils efficaces pour surveiller de manière détaillée les récifs d’hermelles.
Le projet JUMANGI s’intéresse à la collaboration entre 2 utilisateurs (ou deux équipes) géographiquement et/ou temporellement distants, dans le cadre du Challenge R&T « Jumeau Numérique Santé du Spationaute ». Ce projet propose d’utiliser la réalité mixte pour mettre en relation une personne isolée et une équipe d’expert afin de l’assister lors d’une opération médicale.
Le but de ce projet est d’étudier l’utilisabilité de la Réalité Mixte pour renforcer l’autonomie de l’utilisateur.
Thales conçoit et développe des équipements et systèmes de mission électronique notamment pour le domaine de la Défense. Les cycles de vie de ces équipements chez les clients peuvent durer jusque 40 ans. Thales assure donc leur support technique pendant des périodes très longues, entre autres, en proposant des services de type formation et moyens d’entrainement.
Les C2 (Command & Control) ont pour but d’aider un poste de commandement militaire à gérer ses ressources, à donner ses ordres et surtout à comprendre la situation tactique en réalisant une synthèse des informations connues.