Réalité virtuelle, augmentée et mixte
Partie 2 sur 4
3Comment un casque trompe vos sens
Un casque de réalité virtuelle réussit son effet quand il parvient à faire oublier qu’il est là. Pour y arriver, il doit répéter sans relâche quatre étapes, très vite, de 72 à 120 fois par seconde selon les modèles. La figure 2 les montre.
3.1Capter et suivre : où est votre tête ?
Un casque contient de petits capteurs de mouvement, semblables à ceux d’un téléphone. Le gyroscope mesure les rotations, l’accéléromètre les accélérations. Seuls, ils donnent l’orientation de la tête avec précision, mais ils dérivent peu à peu et ne savent pas dire si vous avez fait un pas. C’est pourquoi les casques actuels ajoutent plusieurs caméras tournées vers l’extérieur, qui repèrent des points fixes dans la pièce (un coin de table, un cadre de porte) et en déduisent la position du casque. Cette technique s’appelle le suivi depuis l’intérieur (en anglais inside-out tracking) et repose sur un calcul appelé SLAM (simultaneous localization and mapping, « localisation et cartographie simultanées ») : l’appareil dessine une carte de la pièce en même temps qu’il s’y repère. Les premiers casques grand public faisaient l’inverse : des capteurs fixés dans la pièce suivaient le casque (suivi depuis l’extérieur), ce qui demandait de les installer.
Le suivi complet se décrit en degrés de liberté. Un suivi à 3 degrés (3DoF) ne connaît que les trois rotations de la tête (tourner à gauche ou à droite, lever ou baisser, pencher) ; il convient à une vidéo à 360 degrés, où vous regardez autour de vous sans bouger. Un suivi à 6 degrés (6DoF) ajoute les trois déplacements (avancer ou reculer, aller de côté, monter ou descendre) : vous pouvez vous pencher pour regarder sous une table virtuelle. C’est la condition d’une vraie sensation de présence.
Les mains sont suivies de deux manières : des manettes tenues en main, dont la position est suivie par les caméras du casque, ou directement les mains nues, que les caméras reconnaissent grâce à des programmes d’apprentissage automatique. Certains casques suivent aussi le regard avec de petites caméras infrarouges tournées vers les yeux, ce qui permet de viser en regardant et d’améliorer l’affichage (voir la partie 4).
3.2Calculer deux images par œil et par instant
Pour donner l’impression de relief, le casque calcule deux images, une pour chaque œil, prises de deux points de vue distants d’environ six centimètres, comme nos deux yeux. Cela double presque le travail de la carte graphique (voir le processeur graphique). Un exemple chiffré : un casque de définition 2 064 x 2 208 points par œil, qui affiche 90 images par seconde, demande de calculer environ 820 millions de points par seconde, soit près de sept fois plus qu’un écran de télévision Full HD à 60 images par seconde (environ 124 millions de points par seconde). C’est la raison pour laquelle les casques autonomes ont des graphismes plus simples que ceux d’un jeu sur ordinateur puissant.
3.3Afficher : le retard à ne pas dépasser
Le cerveau compare sans cesse ce que voient les yeux et ce que ressent l’oreille interne, qui détecte les rotations et les accélérations de la tête. Si vous tournez la tête et que l’image tarde à suivre, les deux informations se contredisent. Le retard entre le mouvement et l’image affichée s’appelle la latence (on dit parfois « latence mouvement-photon »). On cite souvent un seuil d’environ 20 millisecondes (une milliseconde vaut un millième de seconde) : au-delà, beaucoup de personnes perçoivent un décalage ou se sentent mal. Pour y arriver, tout le casque est conçu pour aller vite : capteurs rapides, calcul qui anticipe où sera la tête au moment de l’affichage, et écrans qui se rafraîchissent très souvent (voir la partie 6).
Pour s’exercer
Exercice 2 : l’effet du retard
Vous tournez la tête à 100 degrés par seconde. Le casque a un retard de 20 millisecondes. De combien de degrés l’image est-elle en retard ? Si la netteté est de 20 points par degré, cela fait combien de points d’écart ?
Voir la réponse
En 20 millisecondes (0,02 seconde), la tête tourne de 100 x 0,02 = 2 degrés. À 20 points par degré, l’écart est de 2 x 20 = 40 points. Les objets virtuels « glissent » donc de 40 points par rapport au monde réel pendant un mouvement : visible, surtout en réalité mixte, où les repères réels permettent de comparer. Voilà pourquoi un retard de quelques millisecondes compte et pourquoi les casques anticipent le mouvement.
Exercice 3 : la puissance de calcul
Un casque a 2 064 x 2 208 points par œil et affiche 90 images par seconde. Combien de points faut-il calculer par seconde ? Combien de fois cela représente-t-il une télévision Full HD (1 920 x 1 080) à 60 images par seconde ?
Voir la réponse
Par image et par œil : 2 064 x 2 208 = 4 557 312 points. Pour deux yeux : 9 114 624. À 90 images par seconde : environ 820 millions de points par seconde. La télévision : 1 920 x 1 080 x 60 = environ 124 millions. Le rapport est d’environ 820 / 124 = 6,6 : le casque demande à peu près 6,6 fois plus de calcul de points. Le rendu fovéal sert précisément à réduire cet écart.
Exercice 4 : trois ou six degrés de liberté
Pour chacun des mouvements suivants, dites si un suivi à 3 degrés suffit : (a) tourner la tête pour regarder autour de soi ; (b) se pencher pour regarder sous une table virtuelle ; (c) faire un pas de côté ; (d) hocher la tête.
Voir la réponse
Un suivi à 3 degrés ne mesure que les rotations (tourner, lever ou baisser, pencher). (a) oui ; (d) oui, c’est une rotation. (b) non : se pencher déplace la tête dans l’espace. (c) non : c’est un déplacement. Sans 6 degrés, l’image ne réagit pas à ces déplacements, ce qui casse la sensation de présence et favorise le malaise.
Exercice 5 : téléporter ou marcher ?
Dans un jeu, on se déplace soit avec le joystick de la manette (on glisse), soit par téléportation. Expliquez pourquoi le premier provoque plus souvent la nausée.
Voir la réponse
Avec le joystick, les yeux voient un mouvement continu alors que le corps reste immobile et que l’oreille interne ne sent aucune accélération : c’est le conflit sensoriel. Avec la téléportation, on passe d’un point à un autre sans mouvement continu perçu, ce qui ne produit pas ce désaccord. Les rotations par petits crans, le cadre fixe et les séances courtes agissent dans le même sens.
Exercice 6 : les données d’un casque
Vous recevez un casque à caméras avec suivi des mains et du regard. Listez cinq types de données qu’il peut produire, et trois réglages à vérifier avant le premier usage.
Voir la réponse
Données : image des caméras (votre pièce et vos proches), plan en 3D de la pièce, mouvements de la tête et des mains, direction du regard, voix (microphones), et informations de compte (achats, amis). Réglages : (1) les autorisations de chaque application (caméra, micro, suivi du regard) ; (2) les paramètres de confidentialité du compte (qui voit votre profil, votre statut, vos amis) ; (3) la protection du compte par un mot de passe solide et une double vérification, ainsi que la conservation ou la suppression des enregistrements. À l’achat, lire aussi ce que le fabricant déclare faire de ces données.
4L’affichage : lentilles, définition et champ de vision
L’écran d’un casque est minuscule et placé à quelques centimètres des yeux. Entre les deux se trouvent des lentilles, qui agrandissent l’image et la font paraître située à quelques mètres. Ces lentilles déforment l’image ; le casque la déforme à l’avance en sens inverse, pour que l’œil la voie droite. Les lentilles dites à Fresnel (des cercles concentriques) sont légères et bon marché mais laissent voir des halos ; les lentilles dites pancake, plus récentes, replient le trajet de la lumière et permettent des casques plus fins.
4.1La netteté : des points par degré
La netteté d’un casque ne dépend pas seulement du nombre de points de l’écran, mais du nombre de points par degré de champ de vision. L’œil humain en bonne santé distingue environ 60 points par degré au centre du regard (c’est le sens de la « vision 10 sur 10 »). Un casque grand public affiche aujourd’hui de l’ordre de 20 à 30 points par degré : l’image reste visiblement pixelisée si l’on y regarde de près, et le texte fin est difficile à lire. Les casques les plus chers, avec des écrans de très haute densité, s’en approchent davantage.
Un exemple pour fixer les idées : un casque affichant 2 064 points de large par œil sur un champ de vision d’environ 110 degrés donne en moyenne environ 19 points par degré (un peu plus au centre, un peu moins sur les bords, à cause des lentilles). Pour doubler la netteté, il faudrait quatre fois plus de points : d’où le coût et la puissance de calcul des modèles haut de gamme.
4.2Le champ de vision et l’écart entre les yeux
Le champ de vision est l’angle que l’on voit sans bouger les yeux. L’œil humain couvre environ 200 degrés en largeur avec les deux yeux ; un casque grand public en offre autour de 100 à 110 degrés, ce qui donne l’impression de regarder à travers une paire de jumelles très larges. Les lunettes de réalité augmentée ont, en général, un champ bien plus étroit, souvent de l’ordre de 30 à 50 degrés, car il est difficile de faire passer l’image dans un verre transparent.
Autre réglage : l’écart entre les pupilles, qui varie d’un adulte à l’autre (en gros de 55 à 75 millimètres). Si la distance entre les deux lentilles ne correspond pas à la vôtre, l’image est floue ou fatigante. Les casques permettent donc un réglage, souvent par une molette ou par un ajustement automatique.
4.3Le rendu « fovéal »
L’œil ne voit net qu’au centre du regard (la zone de la rétine appelée fovéa). Quand le casque suit le regard, il peut calculer l’image avec un niveau de détail maximal à l’endroit où vous regardez et un niveau réduit sur les bords : c’est le rendu fovéal (foveated rendering). On économise une grande part du calcul sans que l’utilisateur le remarque, ce qui permet d’afficher une image plus fine à puissance égale.
4.4Voir à travers : deux manières de faire de la réalité augmentée
Pour mélanger du virtuel au réel, il y a deux solutions :
- La vue directe (optical see-through) : on regarde le monde réel à travers un verre transparent, sur lequel un petit système optique (un guide d’ondes, un miroir) superpose l’image virtuelle. Le réel garde sa qualité naturelle, mais l’image virtuelle est pâle en plein soleil, et les objets virtuels ne peuvent pas cacher entièrement le réel.
- La vue par caméras (passthrough, « passe-à-travers ») : le casque est fermé, des caméras filment le monde et leur image est affichée sur les écrans, avec les objets virtuels incrustés. Le virtuel peut alors masquer le réel, changer sa lumière ou ses couleurs. En revanche, le réel est vu à travers une image, avec une netteté, une luminosité et un léger retard qui dépendent de la qualité des caméras. Les casques de réalité mixte actuels utilisent cette seconde solution.