CERV logo
RECHERCHE

JUMANGI

JUMANGI : Jumeaux nUMériques d’une situation d’Assistance médicale en milieux isolés par l’usage de la réalité mixte et des interactions taNGIbles augmentées

Mots-Clés : IHM, Jumeaux Numériques, Réalité Mixte, Interface Tangible, Médical

Période du projet : 12/10/2023 – 12/10/2024 (12 mois)

Liste des membres/partenaires :

  • BRAND Lucas, doctorant en informatique, ENIB / Lab-STICC
  • DUVAL Aurélien, ingénieur de recherches, ENIB / Lab-STICC
  • HOAREAU Charlotte, psychologue cognitiviste, spécialiste de l’expérience utilisateur / Lab-STICC
  • KUBICKI Sébastien, coordinateur du projet et maître de conférences en informatique, ENIB / Lab-STICC
  • QUERREC Ronan, professeur des universités en informatique, ENIB / Lab-STICC
  • THIERRY Seamus, médecin anesthésiste-réanimateur, Groupe hospitalier de Bretagne Sud
  • VICKERY Frederick, Étudiant ENIB / Stagiaire de Master 2

 

Cout total : 100K€
Aide financière : 100% CNES – Challenge R&T « Jumeau Numérique Santé du Spationaute »

Description du projet :
Le projet JUMANGI repose sur le principe de collaboration entre 2 utilisateurs potentiellement distants l’un de l’autre (ex. l’un sur Terre, l’autre dans l’ISS ou sur Mars) ou d’une équipe en milieu isolé devant solliciter une expertise distante (ex. sur Mars, station Concordia, désert, pleine mer, …).
Dans de telles situations, l’isolement peut être géographique mais aussi temporel (ex. latence, rupture de communication).
Nous visons avec JUMANGI à étudier l’utilisabilité de la Réalité Mixte (RM) et le renforcement de l’autonomie des opérateurs et à aborder ces problématiques sous plusieurs angles.

Premièrement, En nous appuyant sur les concepts du jumeau numérique (JN) / physique (JP), nous proposons qu’un opérateur distant soit assisté par un Agent Conversationnel Animé (ACA) visualisé en Réalité Augmentée (RA). Sur Terre un expert métier serait immergé dans une reconstitution de la situation distante à l’aide d’un dispositif de Réalité Virtuelle (ex. Casque ou CAVE). Concrètement, prenons l’exemple d’un équipier (JP1) en situation médicale critique et un astronaute dans la Station Spatiale Internationale (ISS). Bien que potentiellement formé à la médecine mais ne la pratiquant pas au quotidien dans tous les cas, l’astronaute pourrait avoir besoin d’assistance. Pour cela, un médecin (JP2) sur Terre serait, dans un CAVE, immergé dans une reconstitution de l’ISS face au patient virtuel (JN1). Le médecin (JP2) suivrait et assisterait l’astronaute en lui envoyant des mises à jour d’instructions « en temps réel » via un médecin virtuel (JN2) représenté par l’ACA.
Ensuite, pour permettre ces situations immersives et liens entre JN et JP, nous visons à proposer le développement d’une architecture logicielle permettant la connexion de plusieurs sites intégrant des dispositifs de RM.
Dans un troisième temps, afin de contribuer à la résolution des problèmes liés à l’isolement temporel et/ou latence, nous proposons d’utiliser un formalisme de représentation des situations mais aussi de base de connaissances (indispensable si une latence existe entre la Terre et le lieu isolé) de manière à tendre vers une télémédecine / assistant médical personnalisé potentiellement autonome.
Enfin, afin d’améliorer l’expérience utilisateur (UX) des protagonistes, nous visons à nous appuyer sur la notion des interfaces tangibles augmentées (i.e., usage d’objets pour contrôler des données numériques). Exit ici l’idée de manipuler une manette/contrôleur pour interagir avec le/les systèmes. Nous visons à ce que les experts (métiers) manipulent/soient faces aux véritables objets liés à leur expertise ou à la situation. Par exemple, le médecin sur Terre pourrait être face à un mannequin connecté (qui serait le Jumeau Numérique Tangible du patient distant) ou encore utiliser une mallette de télémédecine (elle aussi connectée) pour laquelle les échanges pourraient être, supposons, bidirectionnels (Terre <=> Situation Isolée) avec actions de l’un sur l’autre et réciproquement.

Faits marquants du déroulement du projet :

  • 09 Octobre 2023 : Recrutement d’Aurélien DUVAL (ingénieur de recherches)
  •  11 Octobre 2023 : Kick-off officiel du projet
  •  04 Décembre 2023 : Démarrage d’un partenariat avec Laerdal Médical
  •  08 Décembre 2023 : Présentation du projet JUMANGI lors de la techno-conférence « Up & Space » à INRIA Rennes
    https://www.images-et-reseaux.com/retour-sur-up-space-x-techno-conference-2023-decouvrez-le-replay/
  •  05 Février 2024 : Recrutement de Frederick VICKERY (Stagiaire Master 2)
  • du 19 au 29 au Mars 2024 : Participation à la 66ième campagne de vols paraboliques du CNES (VP177_66CNES)
    Notre expérimentation au sein de cette campagne de vols est une expérience de simulation médicale. Le protocole a pour objectif de tester la faisabilite technique et ergonomique d’un dispositif de realité mixte en apesanteur pour guider un utilisateur dans la réalisation d’un examen médical simple.
Facebook
Twitter
LinkedIn

Related Posts

Kéréon

Le phare de Kéréon est un enfer, malgré un intérêt patrimonial évident, une problématique se pose : comment rendre le phare accessible aux visiteurs.

Read More »

JUMANGI

Le projet JUMANGI (Jumeaux nUMériques d’une situation d’Assistance médicale en milieux isolés par l’usage de la réalité mixte et des interactions taNGIbles augmentées) repose sur le principe de collaboration entre 2 utilisateurs potentiellement distants l’un de l’autre (ex. l’un sur Terre, l’autre dans l’ISS ou sur Mars) ou d’une équipe en milieu isolé devant solliciter une expertise distante (ex. sur Mars, station Concordia, désert, pleine mer, …).

Read More »