Début janvier, alors que nous n'étions même pas au courant de COVID-19 et que tout semblait encore aller pour le mieux, le Consumer Electronics Show annuel de Las Vegas a offert la grande vitrine habituelle des nouvelles technologies. Parmi celles-ci, une entreprise israélienne de logiciels relativement petite, Adshir, a présenté LocalRay, une solution de traçage par rayons uniquement logicielle, conçue pour être disponible même sur les appareils mobiles bas de gamme.
Suite à cette présentation, nous avons contacté Adshir afin de pouvoir discuter de LocalRay avec le fondateur de la société, Reuven Bakalash, qui avait auparavant fondé HyperRoll (racheté par Oracle en 2009) et Lucidlogix Technologies (racheté par Google l'année dernière). M. Bakalash a inventé plus de 200 brevets au total, comme vous pouvez le voir dans cette liste assez complète.
Enfin, il y a quelques semaines, nous avons réussi à programmer une interview centrée sur LocalRay et ses capacités. Vous trouverez ci-dessous la transcription complète de l'interview, où Bakalash révèle que la technologie sera utilisée par "l'un des principaux fabricants de consoles" et par "la deuxième plus grande société de smartphones", avec des accords qui seront annoncés plus tard dans l'année.
Salutations, Reuven ! Parlez-nous de LocalRay.
Commençons par le début. Je travaillais sur le ray tracing ou du moins je pensais au ray tracing depuis longtemps. Au début des années 90, j'ai passé quelques années à l'université de Stony Brook, New York, dans le cadre de mon post-doctorat, et c'est la première fois que j'ai rencontré le ray tracing. C'était très novateur.
Nous avions un invité, ils sont venus et ont fait une conférence. Et il nous a montré que c'était la première fois que je voyais le ray tracing, une image raytracée. Et ce n'était que le début. C'était une belle image, quelque chose d'inédit à l'époque. Il a dit que cela allait devenir courant dans l'infographie. Je lui ai demandé combien de temps il faudrait pour générer une aussi belle image. Il m'a répondu trois semaines, pour une seule image.
Cela montre à quel point l'application du ray tracing est complexe sur le plan du calcul. Il y a dix ans, après que les ordinateurs soient devenus beaucoup plus puissants, nous avons vu le premier film entièrement rendu avec le ray tracing, Avatar.
Le rendu a été fait en Nouvelle-Zélande, dans une grande ferme de serveurs, en utilisant environ 50 000 ordinateurs. Il leur a fallu, en moyenne, 40 heures pour une seule image.
Il y a deux ans, il y a eu une percée, avec ce qui était un changement logique vers ce qu'on appelle le ray tracing hybride. Il y avait un grand besoin dans le domaine des jeux d'avoir un ray tracing, pour les rendre plus immersifs.
Aujourd'hui, le monde des jeux est complètement différent, parce qu'il est en temps réel. La seule façon d'y parvenir est de passer au raytracing hybride, qui mélange le raytracing et la technologie de tramage, qui excelle dans la vitesse plutôt que dans la qualité. C'est ce qui s'est passé au SIGGRAPH 2018, où NVIDIA a présenté sa carte graphique RTX 2080, et à la même conférence, nous, de LocalRay, avons présenté notre produit de raytracing basé sur un logiciel. Il fonctionnait à différents niveaux de calcul, des cartes graphiques haut de gamme AMD ou NVIDIA aux ordinateurs portables, en passant par les tablettes, et il y a un an, nous l'avons également présenté sur les smartphones.
Laissez-moi vous donner un aperçu de la société Adshir. Elle a été fondée en 2014 pour concevoir des raytraces en temps réel et à faible consommation d'énergie. C'est très important, car le faible facteur de puissance le permet également pour les appareils mobiles.
Le modèle commercial est la licence de logiciel. Nous ciblons les marchés de la réalité virtuelle et augmentée, des jeux sur PC et sur consoles, des jeux sur mobiles. Nous protégeons notre technologie avec 25 brevets délivrés et environ 10 en instance. L'entreprise est plutôt petite, mais nous comptons environ 25 ingénieurs d'ici la fin de l'année. Nous avons déjà des revenus initiaux provenant du marché des mobiles.
[g]Je n'étais pas au CES, mais j'ai vu les articles et les démonstrations vidéo. Dans une interview avec VentureBeat, le vice-président exécutif d'Adshir, Offir Remez, a déclaré que vous aviez plusieurs contrats en vue pour LocalRay sur console et mobile, n'est-ce pas ? Mais vous ne pouvez pas encore en parler.
C'est exact. Il est encore trop tôt. Mais nous y travaillons et les résultats sont très bons. Et la technologie est complètement différente. Le raytracing hybride est basé sur la résolution de ce que l'on appelle les tests d'intersection. Vous avez des millions de millions de rayons qui entrent dans la scène et qui frappent, chaque rayon doit trouver une intersection avec un des polygones de la scène. Maintenant, vous pouvez imaginer qu'il y a des millions de polygones, des millions de rayons et c'est la grande complexité de l'application. Maintenant, pour l'accélérer, les autres systèmes de traçage de rayons comme le RTX de NVIDIA utilisent ce qu'on appelle une structure d'accélération. Il s'agit d'un très grand arbre binaire qui est en fait basé sur la scène. Ainsi, chaque rayon doit traverser cet arbre pour atteindre les triangles et c'est là que les tests d'intersection sont effectués. Ces tests vous disent s'il y a un impact ou non, s'il y a un impact, c'est peut-être le polygone ou le triangle qui correspond à un rayon. Sinon, vous en cherchez un autre. Donc, c'est très compliqué. Le problème n'est pas seulement le temps qu'il faut aux rayons pour traverser et faire ces milliards de tests d'intersection.
Il y a un autre problème qui est encore pire si vous voulez animer la scène, et c'est exactement ce qui se fait dans les jeux. Donc, si vous voulez animer, en particulier l'animation avec la peau (qui n'est pas seulement en mouvement, cela signifie que le personnage peut bouger les mains et les jambes, etc.) Le problème est que cette structure d'accélération est statique, et non dynamique, ce qui signifie que pour l'animation, c'est-à-dire pour changer de scène, vous devez reconstruire la structure d'accélération. Or, cette reconstruction est très, très coûteuse en termes de temps. Elle est donc en contradiction avec l'animation. Il y a un problème. La façon dont cela est fait, par exemple, par NVIDIA, c'est avec la force brute, en utilisant simplement un GPU très, très fort, très puissant. Cela accélère bien sûr tout. Mais si vous voulez une faible puissance, c'est un vrai problème, vous ne pouvez pas y arriver. Nous avons donc commencé à concevoir le tout, de bas en haut, avec l'idée de fournir cette solution aux mobiles, au plus bas de gamme.
Ce que nous avons en fait, c'est une structure d'accélération d'un type différent. Il s'agit d'une structure accélérée dynamique propriétaire, ce qui signifie que vous pouvez changer de scène, vous pouvez faire de l'animation et cela se fait très rapidement. Vous n'avez pas besoin de reconstruire la structure. L'animation n'apporte que des modifications locales. C'est donc très rapide, très efficace. Et c'est là que réside la grande différence. C'est un logiciel multiplateforme et multi-niveaux, ce qui signifie qu'il peut fonctionner sur différentes plateformes, des portables aux tablettes en passant par les ordinateurs portables haut de gamme, Nvidia et AMD. C'est le type d'extensibilité verticale et horizontale que nous voulions atteindre.
Cela signifie-t-il que votre technologie LocalRay fonctionne également sur les graphiques intégrés d'Intel, par exemple ? Avez-vous testé cela ?
Nous le dirigeons. Et vous pouvez le voir sur le site web et aussi sur YouTube, la scène new-yorkaise avec Spider-Man. Il fonctionne sur le GPU haut de gamme, mais aussi sur une tablette. Voici une tablette intégrée par Microsoft, la Surface, et le GPU est le GPU intégré d'Iris Intel, trois lecteurs très bien. LocalRay fonctionne également sur ARM, sur les smartphones.[/g]
Et comme vous l'avez dit, il peut aussi fonctionner sur des consoles, n'est-ce pas ?
Je ne dirais pas qu'il fonctionne pour l'instant, mais nous y travaillons et il fonctionnera.
[g]Je comprends que vous ne pouvez pas entrer dans les détails de ces accords. Mais le marché est-il conclu avec un nouveau fabricant de consoles ou avec un fabricant déjà bien établi sur le marché des consoles ?
Bien sûr, oui. Un des leaders.
C'est intéressant et nous attendons avec impatience cette révélation particulière. Au fait, je me demande si LocalRay peut d'une manière ou d'une autre tirer parti des cœurs RT disponibles dans les cartes graphiques RTX de NVIDIA.
En fait, nous ne résolvons le problème qu'avec notre logiciel. Mais bien sûr, chaque algorithme logiciel peut être supporté par du matériel. Donc peut-être qu'à l'avenir, nous aurons un développement, je veux dire pas vraiment parce que nous ne sommes pas une entreprise de puces, mais peut-être que certaines entreprises de puces développeront une structure d'accélération pour notre solution. Cela se produira probablement.
Avez-vous déjà eu des contacts avec AMD ?
Nous avons parlé dans le passé avec AMD et nous avons parlé avec d'autres, donc pas spécifiquement AMD mais nous leur avons parlé aussi.
Qu'en est-il de NVIDIA ?
Non, ils ont leur système de traçage RTX qui est complètement différent.
Votre LocalRay est censé être plus rapide pour pouvoir fonctionner même sur des appareils à faible consommation, comme vous l'avez dit, mais en termes de qualité, quelle est la différence avec le RTX raytracing que nous avons vu jusqu'à présent dans certains jeux PC ?
Non, c'est physiquement correct. Il doit être physiquement correct. Parce que sinon, ce n'est pas du raytracing. Dans le raytracing hybride, vous avez le luxe de ne pas avoir à tout faire passer en raytracing sur toute la scène. C'est vrai non seulement pour nous, mais aussi pour le RTX de NVIDIA, car ils utilisent également un ray tracing hybride.
Donc, si vous voulez le faire tourner en temps réel et que vous avez, par exemple, trop de données dans la scène, vous pouvez ne faire qu'une partie de la scène. Mais cette partie de la scène, la partie tracée au rayon, sera physiquement correcte. Bien sûr, si vous exécutez le même jeu ou la même scène sur un GPU haut de gamme ou sur un smartphone, ce n'est pas la même chose. Donc, avec les jeux pour mobiles, vous voulez être en phase avec les PC haut de gamme. Mais bien sûr, ce n'est pas exactement la même chose. Cela ne peut pas être la même chose. Mais c'est toujours du ray tracing et c'est toujours quelque chose qui offre une qualité différente de celle de la rastérisation.
C'est le point essentiel car aujourd'hui, les jeux sont toujours réalisés en rasterisation, alors que le raytracing de NVIDIA est censé rendre les jeux plus agréables. Mais la question est de savoir si nous voulons que le raytracing soit agréable à avoir. Est-ce suffisant ? Parce que si vous avez le même jeu juste plus beau, ce n'est pas suffisant, je pense que ce dont nous avons besoin, c'est de faire du raytracing dans les jeux une sorte de must. Le raytracing a des caractéristiques uniques que l'on ne trouve pas dans les rasters, comme les reflets.
Donc, en utilisant ces caractéristiques spécifiques du ray tracing, vous pouvez créer un nouveau type de jeux. Et je suppose que dans quelques années, dans quelques années, nous commencerons à voir des jeux différents, où jouer avec la rasterisation n'est pas suffisant. On ne peut pas jouer avec la rastérisation, mais on ne peut jouer qu'avec le ray tracing, et cela crée quelque chose de complètement différent. Je ne parle pas seulement de la réalité augmentée, car dans la réalité augmentée, si vous n'êtes pas capable de créer un personnage physiquement correct, vous ne croirez pas qu'il est réel. Mais aussi dans les jeux ordinaires, non seulement pour les rendre plus réalistes, mais aussi pour utiliser certains outils comme les réflexions, et vous pouvez alors obtenir des outils spéciaux qui vous aident à gagner le jeu. Si vous ne l'avez pas, vous ne pouvez pas gagner le jeu. Vous voyez ce que je veux dire ?[/g]
En effet. Je me demande si vous avez déjà accordé une licence pour le logiciel LocalRay à Unity et Unreal Engine ?
Probablement d'ici à la fin de 2020. En fait, notre LocalRay fonctionne aujourd'hui de manière intégrée avec Unity, tout ce qui est fait avec LocalRay est fait avec Unity. Ainsi, toutes les démos que vous voyez sont faites avec Unity. Mais nous ne sommes pas encore prêts à les vendre.
[g]Très bien. LocalRay utilise-t-il DirectX Raytracing (DXR), l'API dédiée de Microsoft ?
Pour l'instant, nous n'utilisons pas l'API DXR de Microsoft. Mais nous n'avons pas besoin de cette extension en fait. Ces extensions sont faites, voyez-vous, pour les structures d'accélération basées sur le matériel.
Quand pensez-vous que nous verrons le premier jeu commercial utilisant le logiciel LocalRay raytracing ?
altendorf : - Très bien. LocalRay utilise-t-il DirectX Raytracing (DXR), l'API dédiée de Microsoft ?
Pour l'instant, nous n'utilisons pas l'API DXR de Microsoft. Mais nous n'avons pas besoin de cette extension en fait. Ces extensions sont faites, voyez-vous, pour les structures d'accélération basées sur le matériel.
Bah c'est clair que c'est de Nintendo dont il parle.
De toute façon, Sony et Microsoft utilise du RT hardware, là c'est software.
Du coup ce n'est pas impossible que cette feature arrive avec une switch pro.
Chester : il parle pas d'une console en 2020, mais du premier jeu commercial en 2020. Pas besoin d'un nouveau matériel, ce truc tourne sur un hardware actuel ( et même mobile ). Pour moi c'est signé : c'est du Nintendo.
Sony et Microsoft ont leur solution rdna2 hardware pour le RT. Ils s'en battent l’œuf de ça, ils ont mieux.
Mais Nintendo peut foutre ça sur Switch en l'état. Pour faire un simili RT. Pas besoin d'une Switch pro ( même si ça risque de ramouiller sévère ).
accueil | 
News | 
Blogs | 
Vidéos | 
Tests
profil
tags : 
commentaires (30)
Pour l'instant, nous n'utilisons pas l'API DXR de Microsoft. Mais nous n'avons pas besoin de cette extension en fait. Ces extensions sont faites, voyez-vous, pour les structures d'accélération basées sur le matériel.
Je pense que c'est peut-être un indice du coup
De toute façon, Sony et Microsoft utilise du RT hardware, là c'est software.
Du coup ce n'est pas impossible que cette feature arrive avec une switch pro.
Le leader actuel c'est Nintendo il me semble.
http://www.jeuxvideo.com/news/1100238/quand-la-ps5-pourrait-elle-sortir.htm
https://www.jeuxvideo-live.com/news/le-logo-de-la-ps5-officialisee-par-sony-96490
fredone arrêtes de nous casser le trip lô.. laisse les nous occuper ce vendredi soir de confinement
Il te répondra « tout se passe comme prévu
Mais bon il fait parti du décor.
Acte 20, scène 6.
Moteur !
Sony et Microsoft ont leur solution rdna2 hardware pour le RT. Ils s'en battent l’œuf de ça, ils ont mieux.
Mais Nintendo peut foutre ça sur Switch en l'état. Pour faire un simili RT. Pas besoin d'une Switch pro ( même si ça risque de ramouiller sévère ).