Gamekyo : Blog : lumpid

[DLSS 5] Un rendu prometteur mais un tonemapping HDR trop tape-à-l'œil ?

Album comparatif : https://slow.pics/s/vatet6Fp
(pour voir précisément les modifications apportées à l’image par le DLSS 5)

Une analyse postée sur Reddit explique en détail pourquoi les images produites par le DLSS 5 paraissent si étranges ou artificielles. Selon l’auteur, le problème ne vient pas du relighting - souvent excellent - mais d’un tonemapping HDR mal calibré qui dégrade systématiquement le rendu. En comparant les images DLSS 5 avec les originales, il propose une méthode simple de post‑production permettant d'obtenir une version bien plus fidèle. L’ensemble sert de démonstration : le potentiel du DLSS 5 est réel, mais il est actuellement saboté par un effet HDR excessif.

(le relighting consiste à recalculer ou modifier l’éclairage d’une scène après coup, sans changer la géométrie ni les textures)
(le tonemapping HDR est l’opération qui compresse une plage lumineuse HDR trop large pour l’écran afin de produire une image affichable, sans cramer les hautes lumières ni perdre les détails dans les ombres)

https://www.reddit.com/r/hardware/comments/1rvwube/dlss_5_fixing_it_in_post

DLSS 5 – Corriger ça en post‑prod

Pourquoi le DLSS 5 rend-il si mal ? Est‑ce parce que « ça fait image générée par IA » ? Parce que « ce n’est pas fidèle à l’intention artistique » ?

Je propose une explication beaucoup plus simple :

Le tonemapping du DLSS 5 est complètement foiré, et curieusement, personne dans la chaîne de décision n'a pensé à ne pas l'utiliser. Pourtant, le relighting sous‑jacent est vraiment excellent, surtout quand on part d'images de base de mauvaise qualité. On ne peut généralement pas corriger un HDR cramé, parce que ça détruit de l’information, mais heureusement on a presque tout ce qu’il faut dans l’image de comparaison. Cela nécessite un alignement quasi parfait au pixel près, ce que l'on n'obtient pas toujours dans la comparaison, mais quand c’est le cas, la stratégie de récupération est simple. Voici celle que j’ai utilisée après quelques essais :

1. Utiliser l’image DLSS 5 comme base
2. Appliquer la saturation HSV de l’image originale — restaure l'étalonnage des couleurs prévu à l'origine
3. Appliquer la luminosité LCh de l’originale à 50 % — réduit l'intensité de l'effet HDR local
4. Appliquer l’image originale en mode « assombrir seulement » à 50 % — réduit la surexposition

Il peut être nécessaire de masquer les noirs ou les gris lors de l’application de la saturation pour éviter des artefacts visibles. J’ai utilisé « Couleur vers alpha » de Gimp sur le noir avec un filtre aussi précis que possible, mais ça demandait des ajustements et ça ne marchait pas pour les gris — donc ce n’est clairement pas la meilleure méthode.

Voici mes résultats pour les 5 images comparatives :

(n'hésitez pas à cliquer sur les images pour les comparer)

Image 1 : https://slow.pics/s/vatet6Fp

Original ↔ fusionnée — L'alignement des pixels est mauvais, ce qui rend certaines zones floues. La différence est certes modeste sur cette image, mais le teint des mains est bien meilleur, les ombres autour du visage et du cou semblent plus réalistes, les yeux sont mieux définis et les détails de la peau sont moins estompés par la faible résolution de l'éclairage.

Fusionnée ↔ DLSS 5 — L’image DLSS 5, c’est l’image fusionnée… avec un filtre HDR pourri.

Image 2 : https://slow.pics/s/lVCGIJsa

Original ↔ fusionnée — Celle‑ci passe très proprement. Le visage de l’homme est nettement meilleur, celui de la femme est plus ambigu. L'éclairage est assez différent, mais il semble plus réaliste dans l'image fusionnée. Le tonemapping est encore un peu trop prononcé, mais je pense que c'était déjà le cas dans l'image originale, simplement masqué par le manque de détails d'éclairage. Dans l'ensemble, je trouve que c'est un net progrès.

Fusionnée ↔ DLSS 5 — L’image DLSS 5, c’est la fusionnée… avec un filtre HDR pourri.

Image 3 : https://slow.pics/s/6xTzQfNu

Original ↔ fusionnée — La lumière sur le visage l'éclaire désormais correctement, au lieu de paraître trop spéculaire. Les détails de la peau sont plus naturels et la réflexion de la lumière dans les yeux est appropriée. Les poils du visage captent désormais la lumière, ce qui rend très bien. Le manteau gagne un effet de diffusion interne qui semble juste. Malheureusement, le pipeline manque de profondeur de bits et on voit des artefacts dans les ombres malgré la correction.

Fusionnée ↔ DLSS 5 — L'image DLSS 5 est en fait tout à fait défendable ici. Je trouve qu'elle est esthétique. Le principal problème, c'est qu'elle n'est clairement pas correcte : la lumière qui éclaire le visage n'était pas un spot de studio, ce n’était pas une séance photo, donc l’ambiance change complètement. Il y a également d'autres problèmes introduits par le DLSS 5, que la fusion corrige, notamment un horrible halo blanc autour du visage et des cheveux, ainsi que sur la voiture. Le DLSS 5 déforme également considérablement la texture de l'arrière-plan.

Image 4 : https://slow.pics/s/feLi2pB9

Original ↔ fusionnée — Mis à part un léger changement de teint, je trouve que le visage est ici nettement amélioré. Une peau naturelle, une bien meilleure définition autour des yeux et du nez, des reflets spéculaires dans les yeux (même si je m'inquiète un peu de l'aspect physique à cet endroit), un éclairage plus riche dans les cheveux. Le seul problème que je soulignerais ici est en fait que l'arrière-plan est un peu délavé, mais il est difficile de dire si c'est juste ou non sans examiner la scène dans son ensemble.

Fusionnée ↔ DLSS 5 — L'image DLSS 5 est l'image fusionnée, mais elle comporte un filtre HDR pourri, et cela lui a donné du rouge à lèvres.

Image 5 : https://slow.pics/s/wboNlUZy

Original ↔ fusionnée — Le personnage en arrière‑plan souffre de flou dû au décalage de pixels, , mais on peut juger du reste. Je trouve que l'homme au premier plan est nettement amélioré, passant d'un visage terne et plastique à un visage de premier ordre. L'éclairage de l'homme à l'arrière-plan est nettement plus réaliste, en particulier autour des mains. L'éclairage du reste de l'image semble également beaucoup plus correct.

Fusionnée ↔ DLSS 5 — L’image DLSS 5, c’est la fusionnée… avec un filtre HDR pourri.

Bonus : https://slow.pics/s/YQIclI28

Ajouté à la demande générale.

Original ↔ fusionnée — L'éclairage de la scène est bien meilleur dans la version fusionnée, et très naturel. La lumière autour du visage, et surtout celle qui l'entoure, se diffuse d'une manière qui me plaît beaucoup, ce qui permet au personnage de s'intégrer beaucoup plus naturellement dans la scène, au lieu d'avoir cet aspect typique de « silhouette en carton » propre au rendu 3D en temps réel. J'ai été impressionné par l'ombrage de la veste. Le visage présente de très subtiles nuances de relief autour des joues, difficiles à dire si elles sont exactement fidèles au modèle original, mais elles sont tout à fait plausibles et donnent l'impression d'une version mieux définie du même personnage. Les yeux ont juste un peu plus d'éclat. Un inconvénient est qu'on aperçoit légèrement le rouge à lèvres. Une nette amélioration cependant, je préfère sans hésiter cette version à la version de base.

Fusionnée ↔ DLSS 5 — Celui-ci contredit un peu la thèse, car même s’il utilise clairement des techniques HDR (éclairage blanc délavé, contraste local absurde à moyenne échelle), l’éclairage autour des joues est clairement sculpté d’une manière qui ne relève pas simplement d’un HDR raté. Le rouge à lèvres est également intense ici. Outre les défauts, il y a quelques points positifs que mon approche ne parvient pas à saisir, notamment l'ombrage des cheveux au-dessus de l'oreille, nettement meilleur, ce qui est logique car l'éclairage de base est très différent. Je pense que celui-ci mérite un meilleur algorithme de dé-HDR, car le mien ne parvient pas tout à fait à séparer la bonne moitié de la mauvaise.

Bonus 2 : https://slow.pics/s/ZAczT3UH

Comme l'image comportait beaucoup de nuances de gris, j'ai dû réduire le transfert de saturation bien plus qu'auparavant. J'ai également testé des opérateurs de lumière linéaires, qui, après quelques exportations ratées, ont donné des résultats légèrement meilleurs.

Original ↔ fusionnée — La brume typique des rendus en temps réel a été éliminée. Les ombres à la base des objets éloignés sont plus cohérentes. Les arbres et bâtiments gagnent en volume. L'éclairage sur la souche d'arbre est bien plus naturel. L'éclairage sur les vêtements a plus de relief.

Fusionnée ↔ DLSS 5 — Dans l'ensemble, l'image DLSS 5 est simplement l'image fusionnée avec un filtre HDR, mais je ne pense pas que l'effet HDR soit exagéré au point tomber dans le « HDRpourri », probablement parce que l'image de base était tellement délavée que le résultat est resté raisonnable. Je pense que l'image fusionnée est plus fidèle, mais l'image DLSS 5 présente des avantages, notamment l'éclairage sur le bois. Le DLSS exagère manifestement le blanchiment, et ce n'est pas tout à fait du bon goût, mais je ne trouve pas cela scandaleux.

Bonus 3 : https://slow.pics/s/l7cXn0sn

Original ↔ fusionnée — Seule la peau a subi ici un changement significatif. La version « Fusionnée » apporte une nette amélioration au niveau des oreilles, qui passent d’un aspect plat à une forme bien définie, et le rendu naturel de la lumière sur la peau exposée est bien meilleur. Le teint change effectivement, et la moustache est légèrement plus prononcée, mais il s’agit là de modifications assez mineures.

Fusionnée ↔ DLSS 5 — Comme pour l'image bonus 2, le HDR est trop présent, mais sans être excessif. Dans cette scène en particulier, on voit clairement pourquoi cela ne va pas : le joueur passe d’un personnage dans un jeu à un mannequin en séance photo.

Conclusion

Désactivez ce fichu filtre HDR, NVIDIA, qu’est‑ce que vous fabriquez ?
S'ils ne le font pas, il semble fort probable qu'un simple fusionnement d'images en post-traitement permettra de sauver la bonne moitié du rendu dans de nombreux jeux.