Le DLSS selon Nvidia : il s'agit essentiellement d'un filtre IA en 2D qui ne tient pas directement compte de la géométrie et des textures et qui peut remplacer certains détails
Daniel Owen a pu poser quelques questions à Jacob Freeman, de NVidia, sur le modèle sous-jacent du DLSS 5 afin de comprendre ce que cette technologie permet et ne permet pas de faire. Voici en substance ce qu'il lui a répondu :
Le modèle n'utilise comme données d'entrée que l'image finale du jeu et les vecteurs de mouvement ; il ne dispose donc d'aucune autre donnée du moteur, comme l'éclairage, la géométrie ou les textures, sur laquelle s'appuyer
Le DLSS5 est entraîné à déduire des détails à partir de l'image, ce qui signifie que s'il pense voir un tissu, il le traitera comme tel et l'éclairera en conséquence ; ainsi, tous les nouveaux détails de l'image sont « hallucinés » par le modèle d'IA
À la question de savoir si le DLSS5 affecte la géométrie (étant donné que certaines images semblaient différentes au niveau des textures et de la géométrie des personnages), la réponse a simplement été que le DLSS5 « ne modifie pas la géométrie sous-jacente », cependant, le DLSS5 ne peut pas réellement empêcher cela sans connaître directement la géométrie ou le tampon de profondeur ; la conclusion est donc que tout ce que NVidia voulait dire, c'est que la géométrie dans le moteur n'est pas modifiée, alors qu'elle pourrait effectivement être différente dans l'image finale après le DLSS5
À la question de savoir comment le DLSS5 améliore le PBR, NVidia a essentiellement réitéré que les informations PBR sont déduites de l'image finale via le modèle d'IA
Quant à la question du contrôle artistique, de ce que les développeurs peuvent modifier et de la possibilité d'empêcher certains effets (comme le fait que Grace porte un maquillage qui n'apparaissait pas dans l'image d'origine)… NVidia a essentiellement déclaré que les développeurs peuvent contrôler l'intensité et l'étalonnage des couleurs, ainsi que « masquer certains objets ou zones de l'image à l'exécution de DLSS5 », ce qui signifie intrinsèquement que l'inférence du modèle lui-même ne peut pas être contrôlée, mais seulement l'aspect de son étalonnage des couleurs et de son intensité.
Si DLSS doit utiliser plus de données, non seulement l’integration est plus difficile mais les besoins en bandes passantes de devoir faire transiter toutes ces metadonnées ce sera pas anodin mais il faut ce qu’il faut pour respecter l’ADN du jeu
Maintenant ce qui me derange c’est le double discours, où est la vérité ? On nous parle de filtre et pas filtre la meme semaine
D'ailleurs je me demande si un personnage aura la même tête chaque fois qu'on le rencontrera, ou si des détails changeront à chaque fois, comme lorsqu'on utilise l'IA générative
giru la bulle n'explosera pas..., l'IA va continuer a progresser, mais il va falloir que le publique impose ses règle la concernant, si le publique achète ca continuera si le publique bloque ca s’arrêtera, mais si c'est moitié/moitié, c'est comme le publique avec microtransaction, ca sera dans tous les jeux du futur
Je comprends toujours pas l'intérêt d'en faire la démonstration maintenant en sachant en plus ce qu'il faut comme matos pour faire tourner ton jeu dans ces conditions, ils se sont un peu précipités je trouve
J’en parlé justement hier avec un membre du site, au final ce n'est rien d'autre que de l’IA générative comme n'importe laquelle qu'on trouve sur les réseaux et leur rendu photoréaliste générique... Tu m'étonnes que les développeurs n'ont pas été consulté pour réaliser les vidéos promotionnelles, surtout quand on voit comment ça dénature les jeux.
giru : la bulle est déjà en train de céder, quand tu vois que Goldman Sachs a annoncé que la technologie n’a eu aucun impact sur les bénéfices de l'économie américaine, que le projet Stargate de création d'énormes datas centers d’OpenAI a été annulé, que les développeurs JV s'en détournent de plus en plus et que la promesse de l’AI générale (qui serait capable de faire tout ce que les humains sont capables de faire) promis par les big tech via les LLM n'est qu'une fable vendu aux investisseurs et le rejet grandissant du grand public pour l’IA slop, la bulle spéculative va pas tarder à exploser.
Maintenant elle ne disparaîtra pas pour autant, car certains outils qui utilisent cette technologie reste viable, se spécialiseront et se perfectionneront avec le temps, mais le délire d'une société construite entièrement autour de l’IA ne se réalisera jamais.
akinen : sans aller jusque là, il y a eu une présentation de la Copilot Box (nouveau nom donné à la Xbox par certains) à la GDC et c'est juste délirant de voir le résultat de l'aide que te donne Copilot, on voit même une dév avoir une réaction qui montre son exaspération face à ce machin.
tripy73Tu m'étonnes que les développeurs n'ont pas été consulté pour réaliser les vidéos promotionnelles, surtout quand on voit comment ça dénature les jeux.
C'était absolument évident en vu de l'éclairage qui faisait un peu n'importe quoi, ça jouait uniquement sur l'effet "waw" à cause du côté photoréaliste sur certains angles. C'est vraiment de la mauvaise foi d'avoir dit aux joueurs qu'ils avaient tort... C'est de la manipulation de mots de dire que la géométrie reste inchangée, car c'est vrai, elle est inchangée, mais elle reste réinterprétée et peut être ignorée pour donner un résultat différent.
Au final, le DLSS 5 ne comprends pas comment ce qu'il voit fonctionne, ne comprends pas comment tous ces éléments interagissent réellement entre eux, mais le modifie quand même.
Tout ca pour un rendu qui flingue la DA choisie par les développeurs. Et qui nécessite des ressources énormes pour faire tourner le bordel. Ca n'a aucun sens.
shanks et on peut remercier Capcom d'avoir décidé de modéliser Grace telle qu'elle est actuellement dans le jeu plutôt que de coller trait pour trait à son modèle réel.
akinen : je me disais bien que j'avais réussi à lire entre les lignes Après Sony est aussi dans le délire, avec leur brevet pour une IA qui permettrait de jouer à la place du joueur s'il galère trop...
En même temps ça se voit au premier coup d’œil, on dirait la pelleté de vidéos IA qu'on trouve sur les réseaux sociaux qui transpose des personnages de JV in real life
tripy73 Ouais et oui Sony est aussi dans le coup comme d'hab. Mais le sujet c'est Nvidia. Mais t'avais bien compris, t'es malin
shanks Mais au final, c'est surtout le rendu désiré par CAPCOM qui devrait primer. Comme le maquillage d'un acteur et la photo d'un film qui est reflète la vision du réalisateur et pas ce à quoi ressemble la personne à au festival de Canne.
jenicris +1, je l'ai déjà dit dans d'autres post:
Dans mon entourage, la technologie à l'air de subir une grosse levée de bouclier côté gamedev. Et c'est principalement parce que comme le tweet le souligne bien, l'AI ne respecte pas du tout les intentions des développeurs. Généralement côté art, on fait des modèles 3D et du lighting avec une intention artistique derrière.
L'IA de son côté elle n'a aucun idée de ça et va juste foutre en l'air cette intention comme on peux le voir sur Grace qui est censé être un personnage introverti qui se retrouve en maquillée comme une top modèle
D'un côté ça va modifier le rendu voulu par les développeurs, d'un autre coté, certains développeurs vont compter sur le DLSS 5 en faisant un rendu moche de base.
Cette ta technologie ne sort qu'un octobre et est déjà époustouflante.
Même si elle n'est pas parfaite, on est encore loin de sa sortie et c'est un premier pas vers le futur technique jeu vidéo.
Donc personnellement, je soutiens tout à fait Nvidia et je suis impatient d'avoir ça sur mon propre PC d'ici la fin de l'année.
En plus Nvidia est coutumier de subir des critiques avant de claquer la bouche à tout le monde, je me souviens de la volée de bois vert que s'est pris cette compagnie quand elle a sorti la GSync puis lors des débuts du DLSS. Résultats, aujourd'hui tout le monde copie sans égaler.
C'est vrai que le respect des intentions artistiques est un débat intéressant, et sur PC les joueurs se posent souvent cette question avant d'installer en mod ou pas.
Mais les personnages génériques modélisées à la truelle sont encore fréquents, tandis que les gros studios de nos jours embauchent régulièrement des mannequins pour créer les héros, avant que des activistes ne décident de les enlaidir ou ou de leur enlever tout très féminin pour ne pas rendre jaloux les trans. Dans ce cas de figure, le respect artistique avait disparu depuis bien longtemps. Encore une fois c'est une technologie pas encore disponible mais déjà très impressionnante.
dokidokii Sans parler de ceux qui ne feront encore moins d'optimisations, ce qui obligera les joueurs PC à utiliser le DLSS5 pour jouer. On ne parle définitivement pas seulement de "respecter la vision d'un jeu"...
Je ne sais pas quoi en penser. Ça fait très IA, comme ce qu'on voit partout maintenant. Et pour un rendu censé photoréaliste, je trouve ça pas naturel, surtout au niveau de l'éclairage, on dirait que les perso sont en studio, sous des spots. J'ai même l'impression qu'il y a des effets d'ombre et de lumière qui disparaissent par rapport au rendu initial.
masharu : la majorité des développeurs et des joueurs s'en tape des graphismes photoréalistes, on le voit bien dans les stats des jeux les plus vendus et joué.
nigel : exactement, c'est aussi ce qui ressort d'un sondage réalisé lors de la GDC que j'ai posté plus haut et ça s'amplifie d'année en année. D'ailleurs j'ai vu aussi ce tweet qui montre que dans les écoles d'art ça n’a pas l'air de passer non plus.
masharu Visiblement la l'élite suprême masterRace d'une poignée d'élus.
Mais comme le dit tripy73 , les jeux les plus joués, les plus vendus, les plus cités et les plus récompensés, sont rarement les plus photoréalistes.
akinen Je ne dirais même pas la masterrace PC, mais plutôt les AIbros, les casual "high tech afficionados" qui sont ont cru hier que les NFT c'était l'avenir du jeu vidéo, on est juste dans un nouvel arc.
akinen : exactement, parce qu'un jeu ne se résumera jamais à sa plastique, car une fois l'effet waouh passé, si le reste n’est pas intéressant ça devient juste une jolie coquille vide.
Au final, cela ne nous apprend vraiment pas grand-chose, c’est juste de la vulgarisation au maximum et une source de mauvaise interprétation sur le potentiel de la technologie qu’on nous a expliquée.
Si on comprend un minimum comment fonctionnait le DLSS jusque là, lui aussi ne faisait que travailler principalement à « l’aveugle » sur la reconstruction d’un plan 2D (une image). Mais il était principalement aidé par le contexte qu’offre l’historique des images précédentes et des vecteurs de mouvement, vu que depuis le DLSS 2, le modèle n’est plus entraîné spécifiquement pour chaque jeu.
Comme je le disais dans mon message de l’autre jour, le DLSS 5 va travailler en plus avec les informations de la scène, ce qui est une avancée considérable.
Une partie de l’efficacité du procédé résidera dans sa capacité à bien déterminer les données PBR, les matériaux et les sources lumineuses, pour appliquer des transformations visuelles cohérentes et trop coûteuses pour être utilisées dans le JV à l’heure actuelle autrement.
Là où le considérer comme un « filtre IA 2D » est de la vulgarisation à outrance, c’est qu’il bénéficie du contexte et du mouvement pour déduire et reproduire avec beaucoup plus d’intelligence l’image suivante. Un simple filtre ou filtre IA n’aurait certainement pas besoin de GPU haut de gamme et ne bénéficiera jamais (appliqué comme outil de post-processing) du contexte interne que pourront modifier les devs, que ce soit via des métadonnées, via des extensions du modèle ou du paramétrage…
Sans cela, il ne peut y avoir un vrai respect de la vision de l’artiste.
NVIDIA sont mieux placés que nous pour savoir que le succès de la technologie passera par le respect de la DA des créatifs.
C’est un outil destiné à bonifier et à assister les devs, et non pas à les remplacer. Et s’ils ne l’avaient pas compris (ce qui est impossible), au moins maintenant, ils l’ont compris vu les réactions...
Un mal pour un bien, ils sont pas prêt de maquiller à un nouveau des personnages qui le l'étaient pas
shanks Oui, mais le problème c'est le setup, la scène, je vais pas spoiler mais tu vois ce que je veux dire. Si ils arrivent à donner une Grace sans le maquillage, mascara et compagnie compte tenu de où elle se dirige dans cette séquence, alors oui, gros plus au DLSS5. Mais si tu dénature l'atmosphère, c'est pas intéressant.
shanksouken on s'en branle qu'elle se rapproche du visage de l'actrice. Le PERSONNAGE revient sur un lieu où sa mère est morte, elle est clairement pas au meilleure de sa forme mentalement parlant, elle est introvertie, donc non elle va pas passer du temps à aller se maquiller pour y aller, chez pas faut être un minimum logique et prendre ca en compte.
Les artistes qui ont bossé sur le personnage ont pris l'actrice comme base de travail, ils n'ont pas fait un copier-coller hein ca n'a strictement aucun intérêt.
Jsuis sérieusement en train d'expliquer ca ? Vraiment ?
J'ai l'impression que Nvidia fait du racolage pour survendre leur techno photo realiste en faisant de l'ombre aux artistes, développeurs, comme si c'étaient des personnel incompétents qui faut remplacer par l'IA.
"Avec Nvidia plus besoin de talent, d'acharnement ou d'effectif personnel, l'IA fait tout en mieux"
Je suis d'accord pour l'amélioration des produits rétro trop affecté par la techno archaïque:
aliasing, texture, popping ou autre jargons technique mais dénaturer l'apparence d'origine réel capturé par un algorithme superficiel pour un rendu photorealiste.
Je m'interroge de l'intérêt.
shanks Oui, mais justement, il y a un contexte à prendre en compte. C'est une chose que cela ressemble à l'actrice dans son photoshoot avec maquillage digne de tapis rouge. Mais le principe c'est que ce n'est pas la réalité. L'actrice à une tête différente au réveil, en prenant une douche, en faisant ses courses en jogging, en allant à un rendez-vous galant...
L'IA a décidé de coller un maquillage sur un personnage surchargé de travail, stressé, dans un lieu qui n'envoie pas du rêve. C'est une déformation complètement à la ramasse de ce que le jeu est censé représenter.
home page | 
news | 
blogs | 
videos | 
reviews
profile
tags : 
comments (54)
Maintenant ce qui me derange c’est le double discours, où est la vérité ? On nous parle de filtre et pas filtre la meme semaine
Grace c'était plus Grace sur RE9 dans leur démo, c'est ridicule
Je ne m’attendais pas à ce qu’un filtre makeup apparait dans du jv dit « hardcore ».
Il me semble que les solutions d’intégration ingame de resolution de demande à base de « gameGPT, résout moi cette enigme » sont deja en test.
En 2035 on pourra simplement dire: « hey, je trouve FF18 moche, rends le moi plus beau et changes moi tel pnj, j’aime pas sa face ».
giru : la bulle est déjà en train de céder, quand tu vois que Goldman Sachs a annoncé que la technologie n’a eu aucun impact sur les bénéfices de l'économie américaine, que le projet Stargate de création d'énormes datas centers d’OpenAI a été annulé, que les développeurs JV s'en détournent de plus en plus et que la promesse de l’AI générale (qui serait capable de faire tout ce que les humains sont capables de faire) promis par les big tech via les LLM n'est qu'une fable vendu aux investisseurs et le rejet grandissant du grand public pour l’IA slop, la bulle spéculative va pas tarder à exploser.
Maintenant elle ne disparaîtra pas pour autant, car certains outils qui utilisent cette technologie reste viable, se spécialiseront et se perfectionneront avec le temps, mais le délire d'une société construite entièrement autour de l’IA ne se réalisera jamais.
akinen : sans aller jusque là, il y a eu une présentation de la Copilot Box (nouveau nom donné à la Xbox par certains) à la GDC et c'est juste délirant de voir le résultat de l'aide que te donne Copilot, on voit même une dév avoir une réaction qui montre son exaspération face à ce machin.
Tellement vrai
Au final, le DLSS 5 ne comprends pas comment ce qu'il voit fonctionne, ne comprends pas comment tous ces éléments interagissent réellement entre eux, mais le modifie quand même.
Alors en fait, selon les photos de l'actrice (maquillage & co) utilisée pour Grace, le DLSS 5 se rapproche parfois beaucoup plus du vrai visage : https://preview.redd.it/grace-actress-vs-in-game-dlss-5-v0-wy9zhlts1jpg1.jpeg?auto=webp&s=80bf82c744a4fbda4d13fb270425f2743176afcc
https://x.com/i/status/2034298654815838230
shanks et on peut remercier Capcom d'avoir décidé de modéliser Grace telle qu'elle est actuellement dans le jeu plutôt que de coller trait pour trait à son modèle réel.
Que ça rapproche de l'actrice n'est pas forcément un bon point pour moi...
shanks Mais au final, c'est surtout le rendu désiré par CAPCOM qui devrait primer. Comme le maquillage d'un acteur et la photo d'un film qui est reflète la vision du réalisateur et pas ce à quoi ressemble la personne à au festival de Canne.
Dans mon entourage, la technologie à l'air de subir une grosse levée de bouclier côté gamedev. Et c'est principalement parce que comme le tweet le souligne bien, l'AI ne respecte pas du tout les intentions des développeurs. Généralement côté art, on fait des modèles 3D et du lighting avec une intention artistique derrière.
L'IA de son côté elle n'a aucun idée de ça et va juste foutre en l'air cette intention comme on peux le voir sur Grace qui est censé être un personnage introverti qui se retrouve en maquillée comme une top modèle
En effet, c'est ce qui fait que l'on reconnait maintenant tous le rendu IA. C'est standard. On sait que c'est pas modélisé à la main
D'un côté ça va modifier le rendu voulu par les développeurs, d'un autre coté, certains développeurs vont compter sur le DLSS 5 en faisant un rendu moche de base.
Même si elle n'est pas parfaite, on est encore loin de sa sortie et c'est un premier pas vers le futur technique jeu vidéo.
Donc personnellement, je soutiens tout à fait Nvidia et je suis impatient d'avoir ça sur mon propre PC d'ici la fin de l'année.
En plus Nvidia est coutumier de subir des critiques avant de claquer la bouche à tout le monde, je me souviens de la volée de bois vert que s'est pris cette compagnie quand elle a sorti la GSync puis lors des débuts du DLSS. Résultats, aujourd'hui tout le monde copie sans égaler.
C'est vrai que le respect des intentions artistiques est un débat intéressant, et sur PC les joueurs se posent souvent cette question avant d'installer en mod ou pas.
Mais les personnages génériques modélisées à la truelle sont encore fréquents, tandis que les gros studios de nos jours embauchent régulièrement des mannequins pour créer les héros, avant que des activistes ne décident de les enlaidir ou ou de leur enlever tout très féminin pour ne pas rendre jaloux les trans. Dans ce cas de figure, le respect artistique avait disparu depuis bien longtemps. Encore une fois c'est une technologie pas encore disponible mais déjà très impressionnante.
Mais comme le dit tripy73 , les jeux les plus joués, les plus vendus, les plus cités et les plus récompensés, sont rarement les plus photoréalistes.
C'est bien eux, les mangeurs d'IA et autres cryptomonnaies.
Si on comprend un minimum comment fonctionnait le DLSS jusque là, lui aussi ne faisait que travailler principalement à « l’aveugle » sur la reconstruction d’un plan 2D (une image). Mais il était principalement aidé par le contexte qu’offre l’historique des images précédentes et des vecteurs de mouvement, vu que depuis le DLSS 2, le modèle n’est plus entraîné spécifiquement pour chaque jeu.
Comme je le disais dans mon message de l’autre jour, le DLSS 5 va travailler en plus avec les informations de la scène, ce qui est une avancée considérable.
Une partie de l’efficacité du procédé résidera dans sa capacité à bien déterminer les données PBR, les matériaux et les sources lumineuses, pour appliquer des transformations visuelles cohérentes et trop coûteuses pour être utilisées dans le JV à l’heure actuelle autrement.
Là où le considérer comme un « filtre IA 2D » est de la vulgarisation à outrance, c’est qu’il bénéficie du contexte et du mouvement pour déduire et reproduire avec beaucoup plus d’intelligence l’image suivante. Un simple filtre ou filtre IA n’aurait certainement pas besoin de GPU haut de gamme et ne bénéficiera jamais (appliqué comme outil de post-processing) du contexte interne que pourront modifier les devs, que ce soit via des métadonnées, via des extensions du modèle ou du paramétrage…
Sans cela, il ne peut y avoir un vrai respect de la vision de l’artiste.
NVIDIA sont mieux placés que nous pour savoir que le succès de la technologie passera par le respect de la DA des créatifs.
C’est un outil destiné à bonifier et à assister les devs, et non pas à les remplacer. Et s’ils ne l’avaient pas compris (ce qui est impossible), au moins maintenant, ils l’ont compris vu les réactions...
Un mal pour un bien, ils sont pas prêt de maquiller à un nouveau des personnages qui le l'étaient pas
Les artistes qui ont bossé sur le personnage ont pris l'actrice comme base de travail, ils n'ont pas fait un copier-coller hein ca n'a strictement aucun intérêt.
Jsuis sérieusement en train d'expliquer ca ? Vraiment ?
connu, j'aimerais voir le resultat du Dlss5 sur les acteurs de Death Stranding 1 et 2.
Est ce la techno Dlss5 va rentre les capture des acteurs de Kojima plus vrai que leur source.
Qu'est ce qu'il va rajouter comme données superficiel que les captures n'ont pas enregistré a la source a 1cm.
Le cinéma n'a pas eu besoin de ses technos pourtant.
J'ai l'impression que Nvidia fait du racolage pour survendre leur techno photo realiste en faisant de l'ombre aux artistes, développeurs, comme si c'étaient des personnel incompétents qui faut remplacer par l'IA.
"Avec Nvidia plus besoin de talent, d'acharnement ou d'effectif personnel, l'IA fait tout en mieux"
Je suis d'accord pour l'amélioration des produits rétro trop affecté par la techno archaïque:
aliasing, texture, popping ou autre jargons technique mais dénaturer l'apparence d'origine réel capturé par un algorithme superficiel pour un rendu photorealiste.
Je m'interroge de l'intérêt.
L'IA a décidé de coller un maquillage sur un personnage surchargé de travail, stressé, dans un lieu qui n'envoie pas du rêve. C'est une déformation complètement à la ramasse de ce que le jeu est censé représenter.
J'ai donné un exemple mais c'est juste de la démo technique les mecs.
De toute façon on n'y échappera pas.
Si ce n'est pas la gueule, ce sera au moins les mouvements des lèvres pour le doublage et genre les cheveux.
Sérieux les gars
A merde , j'ai cru que c'était un extracteur de jus moi