En route vers une réalité virtuelle indistinguable du réel
Quelques-uns des prototypes de casques de réalité virtuelle développés par Meta au cours des dernières années.
Dans sa quête du métavers, le fondateur de Meta Mark Zuckerberg a dévoilé lundi l’un de ses objectifs à long terme: créer des casques de réalité virtuelle et mixte qui permettront d’afficher du contenu aussi réaliste que le monde qui nous entoure. La route est encore longue, mais les premiers prototypes pour y arriver sont déjà fonctionnels.
• À lire aussi: Les nouveaux forfaits PlayStation Plus, en cinq observations
• À lire aussi: J’ai créé le troisième lien Québec-Lévis dans Cities: Skylines
Il suffit d’essayer un casque de réalité virtuelle pour s’en convaincre : le réalisme parfait avec cette technologie (si une telle chose est même possible) est encore loin. Même si on s’en approche de plus en plus, les univers numériques et les avatars ne sont pas encore photoréalistes, par exemple, et les technologies nécessaires pour afficher le nec plus ultra des graphiques 3D requièrent de gros ordinateurs lourds, qui ne peuvent pour l’instant être intégrés dans un petit casque fonctionnant sur batterie.
L’un des principaux défis à relever pour y arriver, selon Meta, est l’écran qui permettra de projeter ces mondes devant nos yeux. « Fabriquer ces écrans exigera de résoudre des problèmes fondamentaux », a récemment expliqué Mark Zuckerberg à l’occasion de la table ronde Inside the Lab: Passing the Visual Turing Test. Ces défis sont complexes, mais « aucune limite physique » ne devrait empêcher les chercheurs de les relever, ajoute-t-il.
Pour donner une idée de ce qui s’en vient (et probablement un peu aussi pour faire taire les critiques qui n’aiment pas l’allure bouffonne de la réalité virtuelle, ou encore pour éclairer ceux qui se demandent où vont les milliards de dollars investis tous les ans par l’entreprise dans le métavers), Meta a dévoilé quatre des nombreux problèmes que ses chercheurs tentent de résoudre pour améliorer la qualité des écrans. Les voici :
La résolution
Photo : Meta.
La résolution des casques de réalité virtuelle s’améliore d’une génération à l’autre.
L’amélioration nécessaire la plus évidente pour rehausser le rendu visuel de la réalité virtuelle est la résolution de l’écran à l’intérieur du casque. « Ce n’est pas la seule dimension qui importe », prévient Mark Zuckerberg, mais elle est tout de même essentielle, notamment pour que les gens puissent travailler et lire confortablement.
Selon les ingénieurs de Meta, les futurs « systèmes d’écrans » (le vrai nom donné à l’écran, puisqu’il est conçu avec d’autres éléments, comme les lentilles à l’intérieur du casque) devront afficher une résolution de 60 pixels par degré pour que l’œil ne puisse distinguer aucun pixel avec une vision 20/20. Concrètement, ceci équivaut à une résolution de plus de 8K.
Photo : Meta.
Le prototype Butterscotch de Meta Reality Labs Research.
Pour découvrir l’impact d’une telle netteté chez les utilisateurs, Meta a développé un prototype, nommé Butterscotch, capable d’afficher 55 pixels par degrés. C’est assez pour passer un examen de la vue en réalité virtuelle et être en mesure de lire la plus petite ligne au bas du test.
Les prototypes comme Butterscotch, que Meta qualifie de « machines à voyager dans le temps », ne sont pas conçus pour être des modèles complets, ni même pour être un jour lancés, mais plutôt pour voir de quoi aura l’air une partie précise de la technologie (dans ce cas-ci, la résolution) dans quelques années et pour mieux informer le développement des futurs casques, par exemple.
Mise au point variable
Photo : Meta.
Meta développe des prototypes dotés de mise au point variable depuis 2017.
Les casques de réalité virtuelle actuels ont une mise au point fixe, placée à quelques mètres devant l’utilisateur. Si vous approchez un objet 3D de votre visage dans un monde numérique, celui-ci apparaîtra donc flou.
Pour être réalistes et reproduire l’œil humain, les systèmes d’écran de réalité virtuelle devront permettre à l’utilisateur de faire la mise au point sur n’importe quel objet qu’il voit. C’est ce que Facebook nomme « varifocal ».
L’entreprise a développé plusieurs prototypes pour résoudre ce problème, notamment ceux de la série Half Dome. « Nous avons conçu le premier prototype en un mois environ, en développant un écran capable de s’avancer et de reculer dans le casque », raconte Douglas Lanman, directeur responsable de la recherche sur les systèmes d’écrans au Reality Labs de Meta.
Photo : Meta.
Holocake 2 est un prototype fonctionnel de casque de réalité virtuelle mince et léger, intégrant des technologies comme la mise au point variable.
L’entreprise a depuis trouvé d’autres façons pour reproduire une mise au point variable, grâce à des lentilles actionnées électriquement. « Toute pièce qui bouge peut briser, et on veut des produits durables », précise Mark Zuckerberg.
La lentille n’est toutefois qu’un des éléments nécessaires pour la mise au point variable : le système doit aussi être en mesure de suivre les mouvements des yeux pour savoir exactement où l’utilisateur regarde.
En plus des prototypes Half Dome, Meta a dévoilé lors de sa présentation le prototype Holocake 2, un appareil fonctionnel, capable de faire jouer n’importe quel titre VR sur PC. Holocake 2 utilise une technologie d’optique holographique pour atteindre sa minceur. S’il s’agit d’une voie prometteuse pour l’avenir, la technologie n’est toutefois pas encore prête, puisqu’elle utilise des lasers plutôt que des ampoules DEL, et que ceux-ci sont notamment trop chers et pas encore assez optimisés pour être utilisés dans un produit pour le grand public.
Correction de la distorsion
Image : Meta.
Une représentation de la distorsion causée par les lentilles à l’intérieur des casques de réalité virtuelle.
Les lentilles utilisées dans les casques de réalité virtuelle introduisent des distorsions dans l’image, qui sont corrigées avec un logiciel.
Ces corrections sont toutefois fixes, alors que la distorsion, elle, change légèrement selon l’endroit où regarde l’utilisateur. « Cette distorsion peut causer un inconfort et une fatigue temporaire », explique Michael Abrash, scientifique en chef au Reality Labs de Meta. Celle-ci rend aussi l’image moins réaliste lorsque les yeux bougent dans le casque de réalité virtuelle.
Meta a d’ailleurs construit un simulateur dont le but est de reproduire cette distorsion, afin d’accélérer la conception de lentilles.
L’objectif à plus long terme est que les algorithmes de correction de distorsion s’adaptent en temps réel en fonction de la forme de la lentille qui varie et des mouvements des yeux.
Plage dynamique élevée (HDR)
Photo : Meta.
Le prototype Starburst est doté d’un écran HDR capable de reproduire la luminosité habituelle à l’intérieur.
Un autre problème des écrans de réalité virtuelle actuelle est qu’ils ne sont pas assez lumineux, et que leur contraste n’est pas assez élevé pour reproduire la variation de la lumière que l’on peut observer dans le monde réel. « On est à au moins un ordre de grandeur de ce qu’il faut atteindre », estime Mark Zuckerberg.
Les télés offrent une meilleure luminosité, mais elle aussi insuffisante, et il serait de toute façon pour l’instant difficile d’atteindre un tel niveau dans un casque de réalité virtuelle, sans que celui-ci vide ses batteries en quelques minutes oui qu’il devienne trop chaud.
Pour expérimenter avec un tel niveau de luminosité en réalité virtuelle, Meta a ici conçu un prototype (Starburst) doté d’une puissance lampe derrière l’écran DEL. Ce prototype est trop lourd et trop volumineux pour être porté sur la tête, cela dit, mais il est assez puissant pour reproduire les écarts de luminosité que l’on rencontre à l’intérieur.
« Ça nous permet de déterminer la luminosité dont nous aurons vraiment besoin dans le futur », explique Nathan Matsuda, gestionnaire de recherche scientifique au Reality Labs de Meta.
Différentes technologies pourraient ensuite être implémentées pour réduire la puissance de lampe requise, par exemple en illuminant fortement seulement les pixels où l’utilisateur regarde, plutôt que l’ensemble de l’écran.
Image : Meta.
Le concept de casque de réalité virtuelle Mirror Lake.
Parmi les prochaines étapes à venir, Meta compte notamment créer un prototype qui pourrait rassembler les avancées de chacun des différents appareils conçus au cours des dernières années.
L’entreprise a d’ailleurs présenté un concept qui pourrait y arriver, Mirror Lake, qui donne peut-être une idée de l'allure des prochaines générations de casques.
« Et même si c’est amusant d’explorer un sujet comme les écrans en profondeur, finalement, ce n’est qu’une petite partie de toute l’architecture qui sera nécessaire pour atteindre notre objectif », note Mark Zuckerberg, référant au « test visuel de Turing », l’expression employée par les chercheurs de l’entreprise pour indiquer le moment où la qualité visuelle de la réalité virtuelle sera indiscernable du monde réel.
Pour le fondateur de Meta, visiblement passionné par le sujet, les avancées de son entreprise dans les écrans de réalité virtuelle prouvent le sérieux de ses ambitions. « Nous sommes déterminés à identifier tous les défis qu’il faut relever pour atteindre la qualité qu’on souhaite dans 10 ans, et à nous attaquer à chacun d’entre eux », explique-t-il.
