GT Réalité Virtuelle : Immersion, Interaction et Usages en RV/RA

Responsables : Pierre Chevaillier (Lab-STICC/CERV, ENIB, Brest), Laure Leroy (Paris 8) et Jean-Marie Normand (AAU, Nantes) à partir du 1er janvier 2022 en remplacement de Pierre.

Anciens responsables : Daniel Mestre (ISM/CRVM, CNRS, Marseille), Indira Thouvenin (HEUDIASYC, UTC, Compiègne)

Mots-clés : réalité virtuelle, réalité augmentée, interaction 3D, métaphores, interfaces, multimodalité, perception, cognition, motricité, comportement, immersion, présence, usages, acceptabilité

Préambule

A la création du GDR IG-RV, deux groupes de travail, GTRV Interaction 1 : Métaphores et Interfaces, et GTRV Interaction 2 : Perception et Usages, avaient été initiés. Ces deux GT ont en pratique travaillé ensemble car ces deux volets de l'interaction sont complémentaires, et il a été décidé de les restructurer pour créer un seul GTRV intitulé Immersion, Interaction et usages en réalité virtuelle afin de le renommer en GT Réalités Virtuelles.

Journées du groupe de travail

Toutes ces journées ont été organisées conjointement par les GTRV Interaction 1 et GTRV Internaction 2.

• Journée GTRV le vendredi 19 mars 2021 à distance : J-GTRV_2021 (à distance, 60 participants).

• Journée GTRV le mercredi 29 avril 2020 => reportée au 29 juin 2020 (à distance, 31 participants).

• 13 au 15 Novembre 2019 à Marseille dans le cadre des Journées Françaises d'Informatique Graphique et Réalité Virtuelle IGRV2019

• 29 au 31 Octobre 2018 à Evry[1].

• 24-26 octobre 2017 à Rennes : Journées Réalité Virtuelle de la Semaine de l'Informatique graphique et de la réalité virtuelle.

• 10 octobre 2016 à Brest : Journée Jeunes Chercheuses - Jeunes Chercheurs sur le thème de la réalité virtuelle en conjonction avec les journées de l'AFRV 2016 (20 participants).

• 16 mars 2016 à l'Ecole des Mines de Paris sur le thème Nouvelles générations de dispositifs immersifs et nouveaux usages : nouvelles questions scientifiques ? (32 participants).

• 5 février 2016 : journée commune des GTRV, organisée conjointement avec IndustriLAB à Méaulte sur le thème de la formation en réalité virtuelle (29 participants).

• 28 au 30 octobre 2015 : journées AFRV 2015, organisées sur l’Aérocampus Aquitaine (Bordeaux), conjointement avec l’événement it3d.

• 25-28 novembre 2014 : journées AFRV 2014, organisées dans le cadre de Reims Image 2014. Ces journées ont été organisées dans le cadre du GDR IG-RV, conjointement avec l’AFIG (27es journées de l’Association Française d’Informatique Graphique), CORESA (17e colloque Compression et représentation des signaux audiovisuels) et le GTGeodis (9es journées du Groupe de travail géométrie discrète).

Objectifs

Les objectifs du nouveau GTRV ont été définis à partir d’une réflexion commune aux deux anciens GTRV Interaction 1 & 2. Ils portent sur les thématiques de l’immersion, de l’interaction et des usages, dans le contexte de la réalité virtuelle, la réalité augmentée ou mixte. Une partie des objectifs initiaux du GTRV Interaction 1 seront abordés par le réseau des compétences métier en RV-RA que le GTRV mettra en place et animera.

Le thème générique des modèles et techniques d’interaction en environnement virtuel, que ce soit dans un contexte de réalité virtuelle ou dans un contexte de réalité augmentée est central pour ce groupe de travail. La problématique de l’immersion et de l’interaction est abordée à la fois sous un angle technologique, essentiellement informatique, et d’un point de vue humano-centré. Malgré les très nombreux travaux scientifiques et les améliorations constantes des dispositifs techniques, l’interaction en environnement 3D reste un sujet d’actualité qui est très loin d’être clos, car il reste encore aujourd’hui difficile pour un sujet humain d’interagir avec un tel environnement. Le cœur scientifique de ce groupe de travail est la prise en compte des situations d'interaction d'un sujet humain avec un environnement de synthèse dans lequel il se trouve immergé, que ce soit dans un contexte de réalité virtuelle ou dans un contexte de réalité augmentée. L'objet d'étude est le couplage perceptivo-moteur et cognitif entre l'utilisateur et l'environnement. La question est donc abordée selon le triptyque : (1) tâche (action à réaliser dans l’environnement), (2) dispositif, à la fois logiciel (mise en évidence d’une métaphore d’interaction) et matériel (dispositif d’interaction) et (3) expérience vécue par le sujet humain.

Les nouvelles générations de dispositifs immersifs, visiocasques, lunettes de réalité augmentée, ou l’extension de leurs usages, soulèvent des questions sur leur acceptabilité, la nécessité d’une conception spécifique des environnements virtuels et des interfaces 3D, ou les limites des capacités d’adaptation des sujets humains à leur utilisation. Ces questions sont d’autant plus pertinentes que la réalité virtuelle ou augmentée est peut-être en passe de sortir d’un usage limité dans le temps, la nature des tâches et le profil des utilisateurs, pour investir des usages destinés à un public plus vaste (enfants, adultes, personnes âgées), pour des usages variés (ludiques, éducatifs, médicaux, etc). Ce nouveau contexte motive que la communauté scientifique dresse un état des connaissances sur le domaine et s’interroge sur les nouvelles études à mener. Par exemple, on peut s’interroger sur l’impact du type de dispositif sur la perception des distances, du mouvement, la précision des gestes, la locomotion, la perception de soi… Est-ce que les avancées technologiques font que les dispositifs ont des caractéristiques techniques garantissant une immersion de qualité (selon quels critères) ? Est-ce que les valeurs critiques des différents critères d’acceptabilité sont les mêmes ? Que sait-on de l’impact de leurs caractéristiques sur les processus physiologiques et cognitifs ? Existe-t-il des risques connus, potentiels, en matière de santé publique ? Est-il envisageable de définir des guides de conception des environnements virtuels adaptés à ces nouveaux contextes ?

Historique

La création du GDR IG-RV a vu la constitution de deux groupes de travail s’intéressant aux problématiques scientifiques liées à l’interaction d’un sujet humain avec des dispositifs de réalité virtuelle (RV) de ou réalité augmentée (RA). Pour autant, de nombreuses actions d’animation et de structuration de la communauté scientifique et des acteurs économiques ont été entreprises bien avant, hors du cadre d’un GDR. Depuis leur création en 2014, les deux GT, le GTRV Interaction 1 et le GT Interaction 2, ont travaillé ensemble à l’animation de la communauté scientifique et à l’implication des acteurs du monde de l’entreprise. L’historique des activités d’animation de la communauté est présentée ici en distinguant ce qui s’est passé avant la création du GDR IG-RV et ce qui s’est passé depuis.

Avant la création du GDR IG-RV

GTRV 1994-2000 : le Groupe de Travail Réalité Virtuelle a été créé mi-janvier 1994 dans le cadre du PRC (Programmes de Recherche Concertée) Communication Homme-Machine, placé sous la double tutelle du CNRS et du Ministère de l'Éducation Nationale, de l'Enseignement Supérieur et de la Recherche, sur proposition de Gérard Subsol. En 1997, le Groupe de Travail Réalité Virtuelle était co-animé par Jean-Luc Dugelay et Gérard Subsol. Lors de la réorganisation en 1998 des PRC, afin de promouvoir l’interdisciplinarité intrinsèque du sujet, le GTRV avait demandé un rattachement transversal aux trois PRC-GDR ALP (incluant l’AFIG), I3 et ISIS. Des correspondants de ces trois PRC, Christophe Chaillou pour l’AFIG (ALP), Alain Grumbach pour I3 et Patrick Horain pour ISIS, étaient alors venus renforcer l'équipe d'animation.

Plate-forme RNTL PERF-RV 2001-2004 : ce projet collaboratif, porté par Bruno Arnaldi, a contribué à la structuration des relations partenariales entre les acteurs académiques et les industriels du domaine avec comme thème central l'usage de la réalité virtuelle dans le bureau d’étude du futur. Les partenaires de ce projet étaient : INRIA Rennes et Rocquencourt, CEA-LIST, Ecole des Mines de Paris, Institut de l’Image de Chalon sur Saône, LABRI, LRP (Laboratoire de Robotique de Paris), LIMSI –CNRS, Le Centre Commun de Recherche AEROSPATIALE MATRA, IFP, ADEPA, EADS, Dassault Aviation, Clarté, Giat-Industrie (devenu Nexter Systems), PSA, Renault et EDF.

Réseau Thématique Pluridisciplinaire du CNRS 2002-2004 :

• RTP 7 porté par Bernard Peroche : Réalité virtuelle, synthèse d'images et visualisation, qui était directement sur le périmètre élargi du GDR IG-RV,
• RTP 15 porté par Jacques Droulez : Interfaces médiatisées & réalité virtuelle.

Action Spécifique du CNRS 2002-2004 : Réalité Virtuelle et Cognition, porté par Patrick Bourdot et Philippe Fuchs, avec les partenaires suivants : Action transversale VENISE du LIMSI-CNRS, Orsay ; Equipe RV&A de l'Ecole des Mines de Paris ; UMR "Mouvement et Perception" de Marseille ; Equipe SIAMES-IRISA de Rennes ; LPPA du Collège de France, Paris ; INPC-CNRS de Marseille ; LEI de l'Université Paris V ; LPCE de l'Université Paris VIII ; CRESS de l'Université Paris- Sud, Orsay ; Equipe I3D, Grenoble ; LIFL, Université Lille ; Hopital Salpétrière, Paris.

Depuis sa création en 2005, l’Association Française de Réalité Virtuelle (AFRV http://www.af-rv.fr/) organise annuellement “Les Journées de l’AFRV”, à l’occasion desquelles la communauté nationale se retrouve autour de conférences (alliant présentations de résultats scientifiques, présentations de de retours d’expérience, de solutions et de projets industriels, présentations de laboratoire), d’ateliers thématiques et de stands d’exposants (industriels et académiques). Les différentes éditions de ces journées jusqu’à 2013 ont été : novembre 2006 à Rocquencourt, octobre 2007 à Marseille, octobre 2008 à Bordeaux, décembre 2009 à Lyon, décembre 2010 à Orsay, octobre 2011 à Biarritz, octobre 2012 à Strasbourg, octobre 2013 à Laval.

Depuis la création du GDR IG-RV

Dans le prolongement des actions de l’AFRV, la constitution du GDR IG-RV a renforcé l’animation de la communauté scientifique dans le domaine de la RV-RA, avec, notamment, des actions de formation des étudiants et jeunes chercheurs et l’animation d’ateliers scientifiques. Les questions abordées ont eu trait aux récentes évolutions des technologies et des usages des dispositifs de RV-RA, notamment les visiocasques. Ces actions ont été menées conjointement par l’AFRV et les deux GTRV Interaction 1 & 2 . Au cours de cette période, les journées de l’AFRV ont été organisées en novembre 2014 à Reims, octobre 2015 à Bordeaux et octobre 2016 à Brest. Lors de chacune d’elles, les GTRV Interactions 1 & 2 ont organisé des événements spécifiques du GDR. De plus les GT ont contribué à l’organisation d’une école d’été à Biarritz en 2014.

Activités scientifiques

Les activités scientifiques de la communauté scientifique représentée par le GTRV sont les suivantes.

La réalité virtuelle et la réalité augmentée pour l’éducation et la formation.

Il s'agit d’un domaine de valorisation historique de la réalité virtuelle. Les techniques de réalité virtuelle et augmentée (RV/RA) peuvent apporter beaucoup à l’éducation des jeunes et à la formation des adultes. Le caractère ludique des applications motive les apprenants (notion de serious game). Le caractère virtuel permet de créer des situations pédagogiques "impossibles", visant à faciliter la compréhension d'un phénomène, d'un système ou d'un procédé. Le caractère virtuel permet aussi de créer des situations potentiellement dangereuses, sans mettre ni l'apprenant ni l'instructeur en danger réel. Il permet aussi de faire disparaître certaines contraintes et modifie la mobilisation de l’apprenant dans ses apprentissages. Néanmoins le recours à la RV et à la RA soulève aussi bien des questions relatives aux systèmes à mettre en œuvre, à leur évaluation, à la création des contenus, aux rôles des enseignants ou à l’organisation des classes. En d'autres termes, la réalité virtuelle doit s’accompagner d’une démarche de réflexion didactique et pédagogique.

Interactions collaboratives immersives

Les interactions collaboratives immersives sont possibles grâce à de nombreux systèmes technologiques. Les systèmes de type CAVE, même s'ils ne fournissent généralement pas de stéréoscopie pour plusieurs utilisateurs, ont très tôt été populaires pour des activités de collaboration immersive, car les utilisateurs n'étant pas virtualisés, les interactions collaboratives y sont plus naturelles. A l'inverse, avec des HMD ou des CAVE interconnectés, chaque utilisateur a une perception 3D exacte de la profondeur, au détriment de la coexistence physique et de la dimension sociale de la collaboration. Au cours des dix dernières années, la technologie multi-stéréoscopique a réalisé des progrès importants, ce qui a permis l'émergence d'une nouvelle génération de systèmes de type CAVE où les collaborateurs peuvent partager un même espace physique tout en ayant chacun une stéréoscopie exacte sur le monde virtuel partagé. Ainsi, il est maintenant possible de préserver un dialogue naturel avec d'autres collaborateurs dans une CAVE, tout en fournissant en même temps une meilleure expérience immersive pour chacun d'eux.

Interactions avec des visiocasques ou des lunettes de réalité augmentée

Les nouvelles générations de dispositifs immersifs, visiocasques, lunettes de réalité augmentée, ou l’extension de leurs usages, soulèvent des questions sur leur acceptabilité, la nécessité d’une conception spécifique des environnements virtuels et des interfaces 3D, ou les limites des capacités d’adaptation des sujets humains à leur utilisation. Ces questions sont d’autant plus pertinentes que la réalité virtuelle ou augmentée est peut-être en passe de sortir d’un usage limité dans le temps, la nature des tâches et le profil des utilisateurs, pour investir des usages destinés à un public plus vaste (enfants, adultes, personnes âgées), pour des usages variés (ludiques, éducatifs, médicaux…). Ce nouveau contexte motive que la communauté scientifique dresse un état des connaissances sur le domaine et s’interroge sur les nouvelles études à mener. Par exemple, on peut s’interroger sur l’impact du type de dispositif sur la perception des distances, du mouvement, la précision des gestes, la locomotion, la perception de soi… Est-ce que les avancées technologiques font que les dispositifs ont des caractéristiques techniques garantissant une immersion de qualité (selon quels critères) ? Est-ce que les valeurs critiques des différents critères d’acceptabilité sont les mêmes ? Que sait-on de l’impact de leurs caractéristiques sur les processus physiologiques et cognitifs ? Existe-t-il des risques connus, potentiels, en matière de santé publique ? Est-il envisageable de définir des guides de conception des environnements virtuels adaptés à ces nouveaux contextes ?

Validation des systèmes de réalité virtuelle

C’est une question centrale qui se pose dès lors que la réalité virtuelle se veut une simulation du réel. Les comportements, jugements exprimés en situation virtuelle sont-ils transposables au réel. Par exemple, le comportement observé en présence d’une future aide à la conduite (ADAS) mesuré sur un simulateur de conduite (sans danger réel lié à un dysfonctionnement ou à une utilisation inappropriée par le conducteur) est-il transposable à une situation réelle? Derrière cette question se cachent des déterminants physiques (qualité du rendu, latences, interfaces…) et des déterminants psychologiques (attitudes des participants vis-à-vis d’une situation virtuelle, enjeux de la situation..) et la question renvoie donc à une collaboration pluridisciplinaire nécessaire.

Humains virtuels et présence sociale

Au-delà des questions relatives à la présence spatiale, l'attention doit être portée sur la présence sociale, et en particulier sur la question techniquement et conceptuellement (interdisciplinaire) complexes des agents conversationnels animés, c’est-à-dire de personnages virtuels, réalistes ou imaginaires qui peuvent être contrôlés par un utilisateur ou par un agent autonome. L’introduction d’humains virtuels dans ces environnements soulève bon nombre de questions et nous n’en sommes aujourd’hui qu’aux premiers développements d’humains virtuels capables de soutenir une interaction multimodale naturelle avec un utilisateur. Les applications sont dans les domaines de la formation professionnelle, de la collaboration locale ou distante, de la santé, du patrimoine, de l'art (interactions d'agents réels et virtuels par exemple). Il s'agit d'une question transverse à différents GT du GDR.

La réalité virtuelle dans l‘Art

Une fertilisation croisée est à l'œuvre entre la Réalité Virtuelle "scientifique" et le domaine artistique. Il s'agit en particulier de considérer comment la réalité virtuelle peut enrichir la création artistique et en retour comment une démarche artistique pour ouvrir de nouveaux horizons à une réalité virtuelle trop centrée sur le réel et les applications réelles. Il s'agit d'aborder la question des interactions art-réalité virtuelle à travers celle des collaborations fructueuses entre artistes et techniciens et/ou chercheurs de la réalité virtuelle. Il s'agit en particulier de définir un domaine commun de collaboration au sein duquel le désirable rejoint le faisable.

Laboratoires participants

Laboratoire	Type	Etablissement	Equipe	Correspondant GT	Titulaires participants	Doctorants participants
AAU	UMR 1563	CRENAU	Ecole Centrale de Nantes, ENSA Nantes, ENSA Grenoble, CNRS	Guillaume Moreau	5	6
AIAC	EA 4010	INRév	Université Paris 8	Cédric Plessiet	6	7
CRC			Mines ParisTech, PSL	Franck Guarnieri, Aldo Napoli	2	0
CReSTIC	EA 3804	RVM	Université de Reims Champagne-Ardenne	Céline Loscos	7	2
CRIStAL	UMR 9189	PIRVI	Université de Lille, Centrale Lille Institut, CNRS	Samuel Degrande	3	0
CRIStAL	UMR 9189	MINT	Université de Lille, Centrale Lille Institut, CNRS	Laurent Grisoni	8	0
G-SCOP	UMR 5272	Conception collaborative	Grenoble-INP, Université Grenoble Alpes, CNRS	Frédéric Noël	4	8
GREYC	UMR 6072	IMAGE	Université de Caen, ENSICAEN, CNRS	Sébastien Fourey	5	0
HEUDIASYC	UMR 7253	SyRI	Université Technilogique de Compiègne, CNRS	Indira Thouvenin	1	4
HEUDIASYC	UMR 7253	CID	Université Technilogique de Compiègne, CNRS	Domitile Lourdeaux	1	5
I3S	UMR 7271	Mediacoding / SIS	Université Côte d'Azur, CNRS	Frédéric Payan	5	5
IBISC	EA 4526	IRA2	Université d'Evry Paris-Saclay	Samir Otmane	17	15
Icube	UMR 7357	IGG	Université de Strasbourg, CNRS	Dominique Bechmann	17	10
IRISA	UMR 6074	HYBRID	Université de Rennes, CNRS	Bruno Arnaldi	4	4
IRIT	UMR 5505	STORM	Université de Toulouse, CNRS	Mathias Paulin	4	6
IRIT	UMR 5505	ELIPSE	Université de Toulouse, CNRS	Marcos Serrano	11	7
IRIT	UMR 5505	REVA	Université de Toulouse, CNRS	Jean-Pierre Jessel	18	22
ISIR	UMR 7222	PIRoS	Sorbonne Université, CNRS	Catherine Pelachaud	1	7
ISM	UMR 7287	DCI	Aix-Marseille Université, CNRS	Daniel Mestre	3	4
ISM	UMR 7287	ICS	Aix-Marseille Université, CNRS	Lionel Bringoux	7	7
ISM	UMR 7287	P3M	Aix-Marseille Université, CNRS	Guillaume Rao	8	6
Lab-STICC	UMR 6285	COMMEDIA	IMT Atlantique, Université de Bretagne Occidentale, Université de Bretagne Sud, ENSTA Bretagne, ENIB, CNRS	Pierre de Loor	9	8
Lab-STICC	UMR 6285	INUIT	IMT Atlantique, Université de Bretagne Occidentale, Université de Bretagne Sud, ENSTA Bretagne, ENIB, CNRS	Thierry Duval	12	10
Laboratoire Biochimie Théorique	UPR 9080		CNRS	Marc Baaden	12	6
LABRI	UMR 5800	Potioc	Université de Bordeaux, CNRS	Martin Hachet	4	5
LAMPA	EA 1427	Présence & Innovation	Arts et Métier	Simon Richir	9	6
LARIS	EA 7315	ISISV	Université d’Angers	Paul Richard	2	3
LIG	UMR 5217	IIHM	Université Grenoble Alpes, CNRS	Renaud Blanch	4	3
LIG	UMR 5217	Steamer	Université Grenoble Alpes, CNRS	Marlène Villanova-Olivier	4	1
LIRIS	UMR 5205	Origami	Univ Lyon1, Univ Lyon2, INSA Lyon, Ecole Centrale Lyon, CNRS	Adrien Peytavie	24	19
LIS	UMR 7296	G-Mod	Aix-Marseille Université, CNRS	Romain Raffin	11	7
LISN	UMR 9015	VENISE	Université Paris-Saclay, CNRS	Patrick Bourdot	4	5
LISPEN	EA 7515	Institut Image	Ecole Nationale Supérieure d’Arts et Métiers	Frédéric Merienne	1	0
LJK	UMR 5224	ANIMA	Université Grenoble Alpes, CNRS	Rémi Ronfard	4	6
LORIA	UMR 7503	ADAGIo	Université de Lorraine, CNRS	Isabelle Debled-Rennesson	4	2
LS2N	UMR 6004	DUKe	Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS	Christine Sinoquet	3	0
LS2N	UMR 6004	IPI	Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS	Nicolas Normand	4	1
LS2N	UMR 6004	PACCE	Université de Nantes, École Centrale de Nantes, Institut Mines-Télécom Atlantique, INRIA, CNRS	Franck Mars	7	0
LTDS		DySCo	ENISE	Patrick Baert	2	0
MEDyC	UMR 73694	MIME	Université de Reims Champagne-Ardenne, CNRS	Jessica Jonquet	2	1
OPGP	UAR 833		Université Clermont Auvergne, CNRS	Emmanuel Delage	1	1
Paragraphe	EA 349	DiNuPUMoC	Université Paris 8	Laure Leroy	1	1
PICS-L			IFSTTAR/COSYS	Jean-Michel Auberlet	7	2
XLIM	UMR 7252	IG	Université de Limoges et Poitiers, CNRS	Philippe Meseure	20	7

Entreprises participantes et instituts

Fondations B-Com (IRT), BASF, Dassault Systèmes/LiVE Lab, Diccan, Diotasoft, HOLO3, Middle VR, Immersion, Orange.

Quelques conférences du domaine

• EuroVR - EuroXR

• ICAT-EGVE

• IEEE VR

• ISMAR  : International Symposium on Mixed and Augmented Reality

• IVA : Intelligent Virtual Agents