GT Réalité Virtuelle : Immersion, Interaction et Usages en RV/RA

De
Sauter à la navigation Sauter à la recherche

Responsables : Pierre Chevaillier (Lab-STICC/CERV, ENIB, Brest), Laure Leroy (Paris 8)

Anciens responsables : Daniel Mestre (ISM/CRVM, CNRS, Marseille), Indira Thouvenin (HEUDIASYC, UTC, Compiègne)

Mots-clés : réalité virtuelle, réalité augmentée, interaction 3D, métaphores, interfaces, multimodalité, perception, cognition, motricité, comportement, immersion, présence, usages, acceptabilité

Préambule

A la création du GDR IG-RV, deux groupes de travail, GTRV Interaction 1 : Métaphores et Interfaces, et GTRV Interaction 2 : Perception et Usages, avaient été initiés. Ces deux GT ont en pratique travaillé ensemble car ces deux volets de l'interaction sont complémentaires, et il a été décidé de les restructurer pour créer un seul GTRV intitulé Immersion, Interaction et usages en réalité virtuelle afin de le renommer en GT Réalités Virtuelles.

Journées du groupe de travail

Toutes ces journées ont été organisées conjointement par les GTRV Interaction 1 et GTRV Internaction 2.

  • Journée GTRV le vendredi 19 mars 2021 à distance : J-GTRV_2021.
  • Journée GTRV le mercredi 29 avril 2020 => reportée au 29 juin 2020 (à distance, 31 participants).
  • 29 au 31 Octobre 2018 à Evry[1].
  • 28 au 30 octobre 2015 : journées AFRV 2015, organisées sur l’Aérocampus Aquitaine (Bordeaux), conjointement avec l’événement it3d.
  • 25-28 novembre 2014 : journées AFRV 2014, organisées dans le cadre de Reims Image 2014. Ces journées ont été organisées dans le cadre du GDR IG-RV, conjointement avec l’AFIG (27es journées de l’Association Française d’Informatique Graphique), CORESA (17e colloque Compression et représentation des signaux audiovisuels) et le GTGeodis (9es journées du Groupe de travail géométrie discrète).

Objectifs

Les objectifs du nouveau GTRV ont été définis à partir d’une réflexion commune aux deux anciens GTRV Interaction 1 & 2. Ils portent sur les thématiques de l’immersion, de l’interaction et des usages, dans le contexte de la réalité virtuelle, la réalité augmentée ou mixte. Une partie des objectifs initiaux du GTRV Interaction 1 seront abordés par le réseau des compétences métier en RV-RA que le GTRV mettra en place et animera.

Le thème générique des modèles et techniques d’interaction en environnement virtuel, que ce soit dans un contexte de réalité virtuelle ou dans un contexte de réalité augmentée est central pour ce groupe de travail. La problématique de l’immersion et de l’interaction est abordée à la fois sous un angle technologique, essentiellement informatique, et d’un point de vue humano-centré. Malgré les très nombreux travaux scientifiques et les améliorations constantes des dispositifs techniques, l’interaction en environnement 3D reste un sujet d’actualité qui est très loin d’être clos, car il reste encore aujourd’hui difficile pour un sujet humain d’interagir avec un tel environnement. Le cœur scientifique de ce groupe de travail est la prise en compte des situations d'interaction d'un sujet humain avec un environnement de synthèse dans lequel il se trouve immergé, que ce soit dans un contexte de réalité virtuelle ou dans un contexte de réalité augmentée. L'objet d'étude est le couplage perceptivo-moteur et cognitif entre l'utilisateur et l'environnement. La question est donc abordée selon le triptyque : (1) tâche (action à réaliser dans l’environnement), (2) dispositif, à la fois logiciel (mise en évidence d’une métaphore d’interaction) et matériel (dispositif d’interaction) et (3) expérience vécue par le sujet humain.

Les nouvelles générations de dispositifs immersifs, visiocasques, lunettes de réalité augmentée, ou l’extension de leurs usages, soulèvent des questions sur leur acceptabilité, la nécessité d’une conception spécifique des environnements virtuels et des interfaces 3D, ou les limites des capacités d’adaptation des sujets humains à leur utilisation. Ces questions sont d’autant plus pertinentes que la réalité virtuelle ou augmentée est peut-être en passe de sortir d’un usage limité dans le temps, la nature des tâches et le profil des utilisateurs, pour investir des usages destinés à un public plus vaste (enfants, adultes, personnes âgées), pour des usages variés (ludiques, éducatifs, médicaux, etc). Ce nouveau contexte motive que la communauté scientifique dresse un état des connaissances sur le domaine et s’interroge sur les nouvelles études à mener. Par exemple, on peut s’interroger sur l’impact du type de dispositif sur la perception des distances, du mouvement, la précision des gestes, la locomotion, la perception de soi… Est-ce que les avancées technologiques font que les dispositifs ont des caractéristiques techniques garantissant une immersion de qualité (selon quels critères) ? Est-ce que les valeurs critiques des différents critères d’acceptabilité sont les mêmes ? Que sait-on de l’impact de leurs caractéristiques sur les processus physiologiques et cognitifs ? Existe-t-il des risques connus, potentiels, en matière de santé publique ? Est-il envisageable de définir des guides de conception des environnements virtuels adaptés à ces nouveaux contextes ?

Historique

La création du GDR IG-RV a vu la constitution de deux groupes de travail s’intéressant aux problématiques scientifiques liées à l’interaction d’un sujet humain avec des dispositifs de réalité virtuelle (RV) de ou réalité augmentée (RA). Pour autant, de nombreuses actions d’animation et de structuration de la communauté scientifique et des acteurs économiques ont été entreprises bien avant, hors du cadre d’un GDR. Depuis leur création en 2014, les deux GT, le GTRV Interaction 1 et le GT Interaction 2, ont travaillé ensemble à l’animation de la communauté scientifique et à l’implication des acteurs du monde de l’entreprise. L’historique des activités d’animation de la communauté est présentée ici en distinguant ce qui s’est passé avant la création du GDR IG-RV et ce qui s’est passé depuis.

Avant la création du GDR IG-RV

GTRV 1994-2000 : le Groupe de Travail Réalité Virtuelle a été créé mi-janvier 1994 dans le cadre du PRC (Programmes de Recherche Concertée) Communication Homme-Machine, placé sous la double tutelle du CNRS et du Ministère de l'Éducation Nationale, de l'Enseignement Supérieur et de la Recherche, sur proposition de Gérard Subsol. En 1997, le Groupe de Travail Réalité Virtuelle était co-animé par Jean-Luc Dugelay et Gérard Subsol. Lors de la réorganisation en 1998 des PRC, afin de promouvoir l’interdisciplinarité intrinsèque du sujet, le GTRV avait demandé un rattachement transversal aux trois PRC-GDR ALP (incluant l’AFIG), I3 et ISIS. Des correspondants de ces trois PRC, Christophe Chaillou pour l’AFIG (ALP), Alain Grumbach pour I3 et Patrick Horain pour ISIS, étaient alors venus renforcer l'équipe d'animation.
Plate-forme RNTL PERF-RV 2001-2004 : ce projet collaboratif, porté par Bruno Arnaldi, a contribué à la structuration des relations partenariales entre les acteurs académiques et les industriels du domaine avec comme thème central l'usage de la réalité virtuelle dans le bureau d’étude du futur. Les partenaires de ce projet étaient : INRIA Rennes et Rocquencourt, CEA-LIST, Ecole des Mines de Paris, Institut de l’Image de Chalon sur Saône, LABRI, LRP (Laboratoire de Robotique de Paris), LIMSI –CNRS, Le Centre Commun de Recherche AEROSPATIALE MATRA, IFP, ADEPA, EADS, Dassault Aviation, Clarté, Giat-Industrie (devenu Nexter Systems), PSA, Renault et EDF.
Réseau Thématique Pluridisciplinaire du CNRS 2002-2004 :
  • RTP 7 porté par Bernard Peroche : Réalité virtuelle, synthèse d'images et visualisation, qui était directement sur le périmètre élargi du GDR IG-RV,
  • RTP 15 porté par Jacques Droulez : Interfaces médiatisées & réalité virtuelle.
Action Spécifique du CNRS 2002-2004 : Réalité Virtuelle et Cognition, porté par Patrick Bourdot et Philippe Fuchs, avec les partenaires suivants : Action transversale VENISE du LIMSI-CNRS, Orsay ; Equipe RV&A de l'Ecole des Mines de Paris ; UMR "Mouvement et Perception" de Marseille ; Equipe SIAMES-IRISA de Rennes ; LPPA du Collège de France, Paris ; INPC-CNRS de Marseille ; LEI de l'Université Paris V ; LPCE de l'Université Paris VIII ; CRESS de l'Université Paris- Sud, Orsay ; Equipe I3D, Grenoble ; LIFL, Université Lille ; Hopital Salpétrière, Paris.

Depuis sa création en 2005, l’Association Française de Réalité Virtuelle (AFRV http://www.af-rv.fr/) organise annuellement “Les Journées de l’AFRV”, à l’occasion desquelles la communauté nationale se retrouve autour de conférences (alliant présentations de résultats scientifiques, présentations de de retours d’expérience, de solutions et de projets industriels, présentations de laboratoire), d’ateliers thématiques et de stands d’exposants (industriels et académiques). Les différentes éditions de ces journées jusqu’à 2013 ont été : novembre 2006 à Rocquencourt, octobre 2007 à Marseille, octobre 2008 à Bordeaux, décembre 2009 à Lyon, décembre 2010 à Orsay, octobre 2011 à Biarritz, octobre 2012 à Strasbourg, octobre 2013 à Laval.

Depuis la création du GDR IG-RV

Dans le prolongement des actions de l’AFRV, la constitution du GDR IG-RV a renforcé l’animation de la communauté scientifique dans le domaine de la RV-RA, avec, notamment, des actions de formation des étudiants et jeunes chercheurs et l’animation d’ateliers scientifiques. Les questions abordées ont eu trait aux récentes évolutions des technologies et des usages des dispositifs de RV-RA, notamment les visiocasques. Ces actions ont été menées conjointement par l’AFRV et les deux GTRV Interaction 1 & 2 . Au cours de cette période, les journées de l’AFRV ont été organisées en novembre 2014 à Reims, octobre 2015 à Bordeaux et octobre 2016 à Brest. Lors de chacune d’elles, les GTRV Interactions 1 & 2 ont organisé des événements spécifiques du GDR. De plus les GT ont contribué à l’organisation d’une école d’été à Biarritz en 2014.

Activités scientifiques

Les activités scientifiques de la communauté scientifique représentée par le GTRV sont les suivantes.

La réalité virtuelle et la réalité augmentée pour l’éducation et la formation.

Il s'agit d’un domaine de valorisation historique de la réalité virtuelle. Les techniques de réalité virtuelle et augmentée (RV/RA) peuvent apporter beaucoup à l’éducation des jeunes et à la formation des adultes. Le caractère ludique des applications motive les apprenants (notion de serious game). Le caractère virtuel permet de créer des situations pédagogiques "impossibles", visant à faciliter la compréhension d'un phénomène, d'un système ou d'un procédé. Le caractère virtuel permet aussi de créer des situations potentiellement dangereuses, sans mettre ni l'apprenant ni l'instructeur en danger réel. Il permet aussi de faire disparaître certaines contraintes et modifie la mobilisation de l’apprenant dans ses apprentissages. Néanmoins le recours à la RV et à la RA soulève aussi bien des questions relatives aux systèmes à mettre en œuvre, à leur évaluation, à la création des contenus, aux rôles des enseignants ou à l’organisation des classes. En d'autres termes, la réalité virtuelle doit s’accompagner d’une démarche de réflexion didactique et pédagogique.

Interactions collaboratives immersives

Les interactions collaboratives immersives sont possibles grâce à de nombreux systèmes technologiques. Les systèmes de type CAVE, même s'ils ne fournissent généralement pas de stéréoscopie pour plusieurs utilisateurs, ont très tôt été populaires pour des activités de collaboration immersive, car les utilisateurs n'étant pas virtualisés, les interactions collaboratives y sont plus naturelles. A l'inverse, avec des HMD ou des CAVE interconnectés, chaque utilisateur a une perception 3D exacte de la profondeur, au détriment de la coexistence physique et de la dimension sociale de la collaboration. Au cours des dix dernières années, la technologie multi-stéréoscopique a réalisé des progrès importants, ce qui a permis l'émergence d'une nouvelle génération de systèmes de type CAVE où les collaborateurs peuvent partager un même espace physique tout en ayant chacun une stéréoscopie exacte sur le monde virtuel partagé. Ainsi, il est maintenant possible de préserver un dialogue naturel avec d'autres collaborateurs dans une CAVE, tout en fournissant en même temps une meilleure expérience immersive pour chacun d'eux.

Interactions avec des visiocasques ou des lunettes de réalité augmentée

Les nouvelles générations de dispositifs immersifs, visiocasques, lunettes de réalité augmentée, ou l’extension de leurs usages, soulèvent des questions sur leur acceptabilité, la nécessité d’une conception spécifique des environnements virtuels et des interfaces 3D, ou les limites des capacités d’adaptation des sujets humains à leur utilisation. Ces questions sont d’autant plus pertinentes que la réalité virtuelle ou augmentée est peut-être en passe de sortir d’un usage limité dans le temps, la nature des tâches et le profil des utilisateurs, pour investir des usages destinés à un public plus vaste (enfants, adultes, personnes âgées), pour des usages variés (ludiques, éducatifs, médicaux…). Ce nouveau contexte motive que la communauté scientifique dresse un état des connaissances sur le domaine et s’interroge sur les nouvelles études à mener. Par exemple, on peut s’interroger sur l’impact du type de dispositif sur la perception des distances, du mouvement, la précision des gestes, la locomotion, la perception de soi… Est-ce que les avancées technologiques font que les dispositifs ont des caractéristiques techniques garantissant une immersion de qualité (selon quels critères) ? Est-ce que les valeurs critiques des différents critères d’acceptabilité sont les mêmes ? Que sait-on de l’impact de leurs caractéristiques sur les processus physiologiques et cognitifs ? Existe-t-il des risques connus, potentiels, en matière de santé publique ? Est-il envisageable de définir des guides de conception des environnements virtuels adaptés à ces nouveaux contextes ?

Validation des systèmes de réalité virtuelle

C’est une question centrale qui se pose dès lors que la réalité virtuelle se veut une simulation du réel. Les comportements, jugements exprimés en situation virtuelle sont-ils transposables au réel. Par exemple, le comportement observé en présence d’une future aide à la conduite (ADAS) mesuré sur un simulateur de conduite (sans danger réel lié à un dysfonctionnement ou à une utilisation inappropriée par le conducteur) est-il transposable à une situation réelle? Derrière cette question se cachent des déterminants physiques (qualité du rendu, latences, interfaces…) et des déterminants psychologiques (attitudes des participants vis-à-vis d’une situation virtuelle, enjeux de la situation..) et la question renvoie donc à une collaboration pluridisciplinaire nécessaire.

Humains virtuels et présence sociale

Au-delà des questions relatives à la présence spatiale, l'attention doit être portée sur la présence sociale, et en particulier sur la question techniquement et conceptuellement (interdisciplinaire) complexes des agents conversationnels animés, c’est-à-dire de personnages virtuels, réalistes ou imaginaires qui peuvent être contrôlés par un utilisateur ou par un agent autonome. L’introduction d’humains virtuels dans ces environnements soulève bon nombre de questions et nous n’en sommes aujourd’hui qu’aux premiers développements d’humains virtuels capables de soutenir une interaction multimodale naturelle avec un utilisateur. Les applications sont dans les domaines de la formation professionnelle, de la collaboration locale ou distante, de la santé, du patrimoine, de l'art (interactions d'agents réels et virtuels par exemple). Il s'agit d'une question transverse à différents GT du GDR.

La réalité virtuelle dans l‘Art

Une fertilisation croisée est à l'œuvre entre la Réalité Virtuelle "scientifique" et le domaine artistique. Il s'agit en particulier de considérer comment la réalité virtuelle peut enrichir la création artistique et en retour comment une démarche artistique pour ouvrir de nouveaux horizons à une réalité virtuelle trop centrée sur le réel et les applications réelles. Il s'agit d'aborder la question des interactions art-réalité virtuelle à travers celle des collaborations fructueuses entre artistes et techniciens et/ou chercheurs de la réalité virtuelle. Il s'agit en particulier de définir un domaine commun de collaboration au sein duquel le désirable rejoint le faisable.

Laboratoires participants

Laboratoire Type Etablissement Equipe Correspondant GT Titulaires participants Doctorants participants
AAU UMR 1563 CRENAU Ecole Centrale de Nantes, ENSA Nantes, ENSA Grenoble, CNRS Guillaume Moreau 5 6
AIAC EA 4010 INRév Université Paris 8 Cédric Plessiet 6 7
CRC Mines ParisTech, PSL Franck Guarnieri, Aldo Napoli 2 0
CReSTIC EA 3804 RVM Université de Reims Champagne-Ardenne Céline Loscos 7 2
CRIStAL UMR 9189 PIRVI Université de Lille, Centrale Lille Institut, CNRS Samuel Degrande 3 0
CRIStAL UMR 9189 MINT Université de Lille, Centrale Lille Institut, CNRS Laurent Grisoni 8 0
G-SCOP UMR 5272 Conception collaborative Grenoble-INP, Université Grenoble Alpes, CNRS Frédéric Noël 4 8
GREYC UMR 6072 IMAGE Université de Caen, ENSICAEN, CNRS Sébastien Fourey 5 0
HEUDIASYC UMR 7253 SyRI Université Technilogique de Compiègne, CNRS Indira Thouvenin 1 4
HEUDIASYC UMR 7253 CID Université Technilogique de Compiègne, CNRS Domitile Lourdeaux 1 5
I3S UMR 7271 Mediacoding / SIS Université Côte d'Azur, CNRS Frédéric Payan 5 5
IBISC EA 4526 IRA2 Université d'Evry Paris-Saclay Samir Otmane 17 15
Icube UMR 7357 IGG Université de Strasbourg, CNRS Dominique Bechmann 17 10
IRISA UMR 6074 HYBRID Université de Rennes, CNRS Bruno Arnaldi 4 4
IRIT UMR 5505 STORM Université de Toulouse, CNRS Mathias Paulin 4 6
IRIT UMR 5505 ELIPSE Université de Toulouse, CNRS Marcos Serrano 11 7
IRIT UMR 5505 REVA Université de Toulouse, CNRS Jean-Pierre Jessel 18 22
ISIR UMR 7222 PIRoS Sorbonne Université, CNRS Catherine Pelachaud 1 7
ISM UMR 7287 DCI Aix-Marseille Université, CNRS Daniel Mestre 3 4
ISM UMR 7287 ICS Aix-Marseille Université, CNRS Lionel Bringoux 7 7
ISM UMR 7287 P3M Aix-Marseille Université, CNRS Guillaume Rao 8 6
Lab-STICC UMR 6285 COMMEDIA IMT Atlantique, Université de Bretagne Occidentale, Université de Bretagne Sud, ENSTA Bretagne, ENIB, CNRS Pierre de Loor 9 8
Lab-STICC UMR 6285 INUIT IMT Atlantique, Université de Bretagne Occidentale, Université de Bretagne Sud, ENSTA Bretagne, ENIB, CNRS Thierry Duval 12 10
Laboratoire Biochimie Théorique UPR 9080 CNRS Marc Baaden 12 6
LABRI UMR 5800 Potioc Université de Bordeaux, CNRS Martin Hachet 4 5
LAMPA EA 1427 Présence & Innovation Arts et Métier Simon Richir 9 6
LARIS EA 7315 ISISV Université d’Angers Paul Richard 2 3
LIG UMR 5217 IIHM Université Grenoble Alpes, CNRS Renaud Blanch 4 3
LIG UMR 5217 Steamer Université Grenoble Alpes, CNRS Marlène Villanova-Olivier 4 1
LIRIS UMR 5205 Origami Univ Lyon1, Univ Lyon2, INSA Lyon, Ecole Centrale Lyon, CNRS Adrien Peytavie 24 19
LIS UMR 7296 G-Mod Aix-Marseille Université, CNRS Romain Raffin 11 7
LISN UMR 9015 VENISE Université Paris-Saclay, CNRS Patrick Bourdot 4 5
LISPEN EA 7515 Institut Image Ecole Nationale Supérieure d’Arts et Métiers Frédéric Merienne 1 0
LJK UMR 5224 ANIMA Université Grenoble Alpes, CNRS Rémi Ronfard 4 6
LORIA UMR 7503 ADAGIo Université de Lorraine, CNRS Isabelle Debled-Rennesson 4 2
LS2N UMR 6004 DUKe Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS Christine Sinoquet 3 0
LS2N UMR 6004 IPI Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS Nicolas Normand 4 1
LS2N UMR 6004 PACCE Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS Franck Mars 7 0
LTDS DySCo ENISE Patrick Baert 2 0
MEDyC UMR 73694 MIME Université de Reims Champagne-Ardenne, CNRS Jessica Jonquet 2 1
OPGP UAR 833 Université Clermont Auvergne, CNRS Emmanuel Delage 1 1
Paragraphe EA 349 DiNuPUMoC Université Paris 8 Laure Leroy 1 1
PICS-L IFSTTAR/COSYS Jean-Michel Auberlet 7 2
XLIM UMR 7252 IG Université de Limoges et Poitiers, CNRS Philippe Meseure 20 7

Entreprises participantes et instituts

Fondations B-Com (IRT), BASF, Dassault Systèmes/LiVE Lab, Diccan, Diotasoft, HOLO3, Middle VR, Immersion, Orange.

Quelques conférences du domaine

  • ISMAR  : International Symposium on Mixed and Augmented Reality
  • IVA : Intelligent Virtual Agents