Aujourd'hui, ça parle beaucoup de SSD, de Ray Tracing, de TFLOPS non?

J'aimerais aborder un point important, l'utilisation de l'IA pour améliorer la qualité de l'image et qui va être aussi un vrai game changer dans les prochaines années en terme de performance.

Vous avez peut être déjà entendu parler de la technologie de Nvidia : le Deep Learning Super Sampling (DLSS).

Le deep learning, qu'est ce que c'est? comment ça fonctionne?

En gros tout part d'une IA, d'un réseau de neurones qui va devoir être entraîné (comme celui d'un être humain) afin d'apprendre. Apprendre quoi?

Dans le cas ici présent, ce que fait certainement Nvidia pour qu'il apprenne c'est d'utiliser des milliers/millions d'images en 16K + antialiasing et de lui dire :

"bon mon coco, je vais te filer seulement la version 1080p de l'image, à toi de recréer l'image 16K initiale le plus fidèlement possible. Et puis, après celle-ci, voici ma bibliothèque d'image"

Donc à partir d'images 1080p celle ci doit "deviner", recreer l'image finale qui elle est en 16k + anti aliasing.

Alors le réseau de neurone va faire des propositions aléatoires et se renforce à chaque itération au fur et à mesure que la marge d'erreur diminue (facile à déterminer quand il suffit de comparer l'image résultat de celle qui a été utilisé comme référence).

Il va apprendre a reconnaître des choses "simples" comme l'alphabet, des formes, éliminer l'aliasing des images, ou encore des "textures" (peau, oeil, bouche, mur, etc....) ou même des objets (par exemple il reconnaîtra un homme au loin et il sera capable de détaillé dans des résolutions supérieures ce qu'il comprend comme étant sa main).

Une fois qu'il a atteint une certaine maturité sur un très grand panels d'images différentes, on lui file de nouvelles images 1080p qu'il n'a pas eu l'occasion de voir durant son apprentissage et on lui demande de sortir des images résultats. Et la Bingo!

Nvidia a mis au point le DLSS avec la sortie de sa gamme RTX, mais cette première version etait plutot decevante :

- les images restait plus floues que du 4K natif
- en mouvement il y avait du bruit, perte de précision
- des performances mitigées

Bref, l’intérêt était limitée même si des patchs ont amélioré un peu l'ensemble.

Nvidia a continuer d’entraîner son IA dans son coin et sorti son DLSS 2.0 dont voici les avantages :
- générique (plus besoin de l’entraîner spécifiquement sur un jeu), devrait donc être massivement adopter dans les prochaines années
- amélioration du rendu (fini le bruit en mouvement, beaucoup plus net, plus juste dans ses predictions)
- amélioration des perfs, 2x fois moins impactant que le DLSS 1

Et ce n'est que le début, nul doute que l'IA continuera de s’améliorer dans les prochains mois.

Équipé de ma RTX2080, j'ai relancé Control pour en avoir le coeur net, l'un des premiers jeux compatibles, et même s'il est de base très mal optimisé, voici quelques résultats accompagnés des performances :

meilleure qualité ici : https://imgur.com/gallery/gyVRCwW

1. 1440p = 74 FPS
2. DLSS Quality High (1440p) = 69 FPS
3. 4K = 29 FPS





1. 1440p = 74 FPS
2. DLSS Quality Medium ( 1252p) = 80 FPS
3. 4K = 30 FPS





En gros, sur ces 2 examples, le jeu calcule une image initiale dans une résolution 1080p, 1252p ou 1440p suivant le niveau de qualité sélectionnée dans les options, puis le réseau de neurone est configurée pour générer une image 4K.

On constate globalement que :
- l'image 1440p est la plus floue (bruit dans les cheveux, textes difficilement lisible, moins de detail dans les textures)
- l'image DLSS est sur certains aspects, plus nette, plus détaillée (texture de peau, mur, veste en cuire...) encore que l'image 4K
- Le DLSS Medium est 10% plus performance que le 1440p, quasi 3x plus performant que le 4K pour une image qualitativement similaire à cette derniere!
- Le DLSS High n'a un impact que de 3-5% en comparaison de l'image initiale en 1440p pour un rendu là aussi qualitativement comparable à du 4K, et même mieux sur certains aspects.
- pas d'aliasing en DLSS, l'entrainement sur des images 16K + antialiasing a fait le taff

La promesse ce coup-ci semble être parfaitement tenue, cela va ouvrir beaucoup de possibilité dans le futur pour que les GPU puissent atteindre de la 4K/ultra/Ray Tracing/60FPS, chose encore très compliquée sans DLSS avec une RTX 2080 ti!

On peut imaginer aussi Nintendo bénéficier de cette technologie sur une Switch Pro / Switch 2 pour améliorer la qualité d'image de ses machines, des SOC comme les NVidia Tegra ne permettent pas d'atteindre des résolution élevées.

La balle est dans le camp d'AMD maintenant, qui va certainement mettre au point une IA similaire et la déployer sur ses futures architectures car déjà que leur GPU accusent du retard dans les benchs comparés à ceux de Nvidia... je vois pas comment ils pourront tenir sinon.