J-GTRV 2021

Journée 2021 du GTRV « Réalités virtuelles »

Cette journée deuxième journée du GTRV, nouvelle formule, fait suite à celle qui s’est tenue le 29 juin 2020. En raison de la situation pandémique, cette journée se tient sous forme de visioconférence.

Pour y participer, SE CONNECTER à https://bbb.unistra.fr/b/dom-nx2-4ac en mettant votre Prénom NOM (LABORATOIRE ou ENTREPRISE, Ville)

La journée s’orga­nise autour de présentations scientifiques le matin et une partie de l’après-midi, suivi d’un atelier sur la prospective scientifique dans les domaines adressés par le GTRV. Une présentation rapide de la prospective aura été faite lors de la journée plénière du GDR, le 17 mars 2021. L’objectif de l’atelier de la journée du 19 est d’approfondir collégialement le travail afin d’en produire une version qui puisse ensuite être diffusée à la communauté.

Il est possible d’échanger en marge de cette journée sur https://discord.gg/ru5XB5Qy

Programme de la journée

8h50 Ouverture de la journée

9h00 Présentation GTRV

Laure Leroy et Pierre Chevaillier, co-animateurs du GT.

9h15 Session 1 - être dans un environnement virtuel

• Yann Glémarec, « Simulation and Evaluation of Audiences behaviors in Virtual Reality »
• Nawel Khenak, « Telepresence: research and perspectives »
• Yana Nehmé, « Visual Quality of 3D Meshes with Diffuse Colors in Virtual Reality: Subjective and Objective Evaluation »

10h45 Pause

11h00 Session 2 - RV/RA et contrôle de véhicule

• Baptiste Wotjowski, « Reprise de conduite dans le véhicule autonome »
• Mathieu Thomas, « Benefits of ecologically designed visual interfaces for the perception of deck landing opportunities with helicopter »

12h00 Pause midi

13h30 Session 3 - recherches en réalité virtuelle

• Clémentine Didier, « Le multisensoriel au sein des activités de l’équipe RV de l’ENISE »
• Frédéric Noel, « Recherches en réalité virtuelle pour l'industrie du futur »

14h30 Atelier prospective scientifique

15h50 Clôture de journée

Résumés des présentations

Session 1 : être dans un environnement virtuel

Simulation and Evaluation of Audiences behaviors in Virtual Reality

Yann Glémarec(a,b), Anne-Gwenn Bosser(a), Jean-Luc Lugrin(b), Cédric Buche(c) et Marc Erich Latoschik(b)

(a) Lab-STICC, France - (b) Würzburg University, Germany - (c) IRL CROSSING, Australia

We present the design and preliminary evaluations of a virtual audience simulation system for Virtual Reality (VR). The system is implementing an audience attitude perception model controlling the nonverbal behaviors of virtual spectators, such as facial expressions or postures. Groups of virtual spectators are controlled by a set of nonverbal behavior rules. The system is a plugin for the Unreal Engine™ 4 we plan to make open source, its architecture is introduced as well as its workflow, its performances and limitations.

We target applications such as VR training systems and therapeutic systems, with regards to the trade-off between a fully autonomous simulation and a Wizard of Oz system where each spectator would be individually controlled. Finally, we give an overview of the next challenges to take on for VR training and therapeutic systems which emmerge from our studies besides the limitations from our system in terms of performances, scalability, behaviours believability and authoring.

Telepresence: research and perspectives

Nawel Khenac et Jeanne Vézien

LISN, CNRS, équipe VENISE

Mots-clés: téléopération, téléprésence, télé-immersion, facteurs de présence

La « présence spatiale » est le phénomène psycho-cognitif faisant référence à la sensation qui est éprouvée par une personne lorsqu’elle a l’impression de se trouver physiquement dans un espace donné : on dit alors qu’elle « se sent là ». Cette sensation de présence a été largement étudiée en environnements virtuels (i.e. générés par ordinateur). Les études sont moins nombreuses quand il s’agit de la présence spatiale en environnements « distants » (ex., pilotage de drones), plus communément appelée « Téléprésence ». Or, l’intérêt des environnements distants est que les actions entreprises en leur sein ont des conséquences réelles dans notre monde, ce qui n’est pas le cas des environnements purement générés par ordinateur dans lesquels les actions restent confinées. De ce fait, les utilisateurs ont conscience de l’impact de leurs actions dans le monde réel, ce qui influence leur comportement et peut donc affecter la présence spatiale ressentie. Par conséquent, l’étude de la téléprésence peut mettre en évidence des résultats différents de la présence engendrée en environnements virtuels.

Visual Quality of 3D Meshes with Diffuse Colors in Virtual Reality: Subjective and Objective Evaluation

Yana Nehmé

LIRIS, CNRS, équipe Origami

Mots clés: Computer Graphics, Perception, Virtual reality, Diffuse Color, 3D Mesh, Visual Quality Assessment, Subjective Quality Evaluation, Objective Quality Evaluation, Dataset, Perceptual Metric.

Surface meshes associated with diffuse texture or color attributes are becoming popular multimedia contents. They provide a high degree of realism and allow six degrees of freedom (6DoF) interactions in immersive virtual reality environments. Just like other types of multimedia, 3D meshes are subject to a wide range of processing, e.g., simplification and compression, which result in a loss of quality of the final rendered scene. Thus, both subjective studies and objective metrics are needed to understand and predict this visual loss. In this work, we introduce a large dataset of 480 animated meshes with diffuse color information, and associated with perceived quality judgments. The stimuli were generated from 5 source models subjected to geometry and color distortions. Each stimulus was associated with 6 hypothetical rendering trajectories (HRTs): combinations of 3 viewpoints and 2 animations. A total of 11520 quality judgments (24 per stimulus) were acquired in a subjective experiment conducted in virtual reality. The results allowed us to explore the influence of source models, animations and viewpoints on both the quality scores and their confidence intervals. Based on these findings, we propose the first metric for quality assessment of 3D meshes with diffuse colors, which works entirely on the mesh domain. This metric incorporates perceptually-relevant curvature-based and color-based features. We evaluate its performance, as well as a number of Image Quality Metrics (IQMs), on two datasets: ours and a dataset of distorted textured meshes. Our metric demonstrates good results and a better stability than IQMs. Finally, we investigated how the knowledge of the viewpoint (i.e., the visible parts of the 3D model) may improve the results of objective metrics.

Session 2 : RV/RA et contrôle de véhicule

RA adaptative pour la reprise de conduite dans le véhicule autonome

Baptiste Wojtkowski et Indira Thouvenin

Eudiasyc, Université de Technologie de Compiègne

Présentation des travaux de thèse sur la RA adaptative pour la reprise de conduite dans le véhicule autonome.

Benefits of ecologically designed visual interfaces for the perception of deck landing opportunities with helicopter

Mathieu Thomas(a, b), Julien R. Serres(b), Thomas Rakotomamonjy(a), Franck Ruffier(b) et Antoine HP Morice(b)

(a) Département Traitement de l'Information et Systèmes (DTIS), Office national d'étude et de recherche en aérospatial (ONERA), Salon-de-Provence, France - (b) Aix Marseille Univ, CNRS, Institut des Sciences du Mouvement (ISM), Marseille, France

Les études menées dans le cadre de mon doctorat à l'ONERA en collaboration avec l'ISM portent sur la conception d'aides visuelles au pilotage d'hélicoptères basées sur la modélisation du couplage perceptivo-moteur des pilotes lors de l'appontage (atterrissage d'hélicoptères sur navire). Dans ce cadre, nous utilisons la réalité virtuelle non seulement pour simuler l’environnement d'appontage mais aussi pour prototyper les assistances visuelles (i.e., virtualité augmentée). Nous avons ainsi mis en évidence la sensibilité des participants aux possibilités d'appontage, exprimées comme des affordances. Nous avons également mis en évidence le bénéfice d'une assistance visuelle basée sur la prédiction de ces possibilités d'appontage sur les performances des pilotes.

Session 3 : Recherches en réalité virtuelle

Le multisensoriel au sein des activités de l’équipe RV de l’ENISE

Clémentine Didier(a), Patrick Baer(b), Guillaume Lavoué(b)

(a) LTDS, ENISE - (b) LIRIS, ENISE

L’équipe Réalité Virtuelle de l’ENISE s’attache à stimuler divers sens, complémentaires à celui de la vue, en réalité virtuelle et à évaluer l’impact de ces stimulations sur les utilisateurs, notamment la présence et l’ immersion. Au travers du paysage des moyens, axes thématiques et d’une expérimentation, la proposition invitera à une réflexion sur les approches multisensorielles dans les domaines des X réalités.

VISION-R : Recherches en Réalité Virtuelle et Augmentée pour l'Industrie du Futur

Frédéric Noel et Romain Pinquié

Univ. Grenoble Alpes, CNRS, Grenoble INP

VISION-R est la plateforme technologique de visualisations et d’interactions avancées en sciences de la conception du G-SCOP UMR CNRS. Depuis sa création lors du projet européen, les recherches menées sur la plateforme visent à inventer, prototyper et tester de nouvelles méthodes, outils, et usages de réalité virtuelle et augmentée pour l’industrie du futur. Nous profiterons de ce moment de partage pour vous présenter l’infrastructure VISION-R, nos recherches, et notre vision concernant la place de la réalité virtuelle et augmentée dans l’industrie du futur.