Lumière, matière et image calculée
Le rendu change un modèle en image. Une voie simule le trajet de la lumière, et vise un résultat photographique. Une autre applique un style artistique à dessein : c'est ce que veut dire le rendu non photoréaliste. Dans un moteur réaliste, les deux opérations de base sont le transport, quelle quantité de lumière passe d'un endroit à un autre, et la diffusion, comment une surface traite la lumière qui arrive. Le travail est fait par un logiciel 3D ou par une API graphique 3D. Mettre la scène sous une forme utilisable par le moteur implique aussi une projection : une description tridimensionnelle affichée en deux dimensions. Certains modeleurs rendent aussi. 3ds Max et Blender en sont des exemples. Certains programmes ne font que rendre. Octane et Redshift sont des exemples de cette seconde sorte.
Rastérisation
L'infographie 3D en temps réel forme d'ordinaire l'image par rastérisation. Chaque polygone est projeté dans l'image, couvre certains pixels, et un test de profondeur conserve la surface la plus proche. La question que pose la machine est locale et répétitive. Ce triangle couvre-t-il ce pixel, et se trouve-t-il devant ce qui y était déjà ?
L'ombrage de Gouraud calcule une couleur aux sommets et l'interpole sur la face. L'ombrage de Phong interpole les normales et évalue le reflet à chaque échantillon. Le second coûte davantage et, sur une surface courbe approchée par des faces planes, le reflet s'y place de façon plus convaincante. Reyes, l'architecture derrière une grande part de l'animation de long métrage depuis la fin des années 1980, découpe chaque surface en micropolygones, puis fait son test de visibilité dans l'espace de l'écran, avec un z-buffer. Le découpage est le point décisif. Si les morceaux sont assez petits, une description grossière d'une surface courbe peut être ombrée comme si la courbe était vraiment là.
Suivre les rayons
Le lancer de rayon forme l'image en suivant des rayons depuis la caméra à travers la scène. Un rayon primaire quitte la caméra en passant par un pixel. Dans le modèle de Whitted, le shader peut alors lancer un rayon de réflexion, un rayon de réfraction, et un rayon d'ombre vers chaque lumière. La récursion s'arrête à une limite de profondeur, ou quand un rayon manque entièrement la scène. L'image est ce que ces rayons ont trouvé.
Le tracé de chemins estime l'équation du rendu en faisant la moyenne de nombreux chemins de lumière tirés au hasard. Comme chaque pixel n'est qu'une moyenne d'échantillons aléatoires, arrêter la moyenne trop tôt laisse l'image bruitée. Le bruit n'est pas une texture. C'est l'arithmétique inachevée, assise dans l'image là où un échantillon plus tardif aurait changé la moyenne.
En 2017, de nombreux studios de production étaient passés du rendu en micropolygones, dans le style de Reyes, au tracé de chemins physiquement fondé. Steve Bako et ses collègues ont entraîné un réseau convolutif sur des images de Finding Dory et l'ont essayé sur Cars 3. À partir de quelques dizaines d'échantillons par pixel, ce réseau prédit un filtre qui retire une grande part du bruit de Monte-Carlo. Open Image Denoise, d'Intel, fait un travail voisin, et des moteurs dont Arnold, Blender et V-Ray l'intègrent. En 2025, l'Academy of Motion Picture Arts and Sciences a remis un Technical Achievement Award à Attila T. Áfra pour Open Image Denoise, et à Timo Aila pour l'application des U-nets au débruitage. Le prix est un repère utile. Nettoyer un rendu était devenu une technique de cinéma à part entière, pas une case à cocher.
Des rayons pendant que l'on regarde
Nvidia a annoncé RTX le 19 mars 2018, d'abord pour les GPU Volta, en même temps que le DirectX Raytracing de Microsoft. Des cœurs RT dédiés, pour les ombres, les réflexions, les réfractions et l'illumination globale calculées par lancer de rayon, sont arrivés avec la série GeForce RTX annoncée le 20 août 2018. Avant qu'un jeu puisse faire le tracé de chemins d'une image entière, l'usage courant était plus étroit. Ombres, ou réflexions, ou lumière indirecte étaient traitées par lancer de rayon comme effets séparés, et seulement pour un nombre limité de lumières. Le reste de l'image restait rastérisé.
Ray Tracing: Overdrive, ajouté dans Cyberpunk 2077 par le patch 1.62 le 11 avril 2023, fait le tracé de chemins de l'image. Il est désactivé par défaut, parce que le mode est très exigeant. CD PROJEKT RED recommandait cet aperçu pour les cartes GeForce RTX de la série 40, à partir de la 4070 Ti, et pour une GeForce RTX 3090 en 1080p et à 30 images par seconde. Ces chiffres vieilliront. La forme du fait, non. Le tracé de chemins sur l'image entière, dans un jeu, était à cette date un aperçu haut de gamme, pas la façon ordinaire dont une image arrivait sur un téléviseur.
Matériaux
Les matériaux et les textures sont ce que consulte le moteur quand il doit décider comment une surface traite la lumière. Un matériau est l'instruction. Une texture fournit souvent les nombres qui varient le long de la surface. Une carte de couleur, aussi appelée carte d'albédo, peint la surface. Une carte de relief ou une carte de normales suggère des détails plus petits que ceux du maillage. Une carte de déplacement va plus loin et déplace vraiment la surface. Les deux premières sont une fiction d'éclairage. La troisième change la forme qui sera dessinée, et elle peut changer la silhouette, ce qu'une carte de normales ne peut pas.
Le modèle de Cook–Torrance, de 1982, traite une surface comme une collection de microfacettes. Il rend compte de la luminosité relative de matériaux montrés ensemble, de l'étalement directionnel de la lumière réfléchie, et d'un glissement de couleur quand l'angle d'incidence change. Qu'on pose une tasse de plastique à côté d'une tasse de laiton sous la même lumière, et le modèle a quelque chose à dire des deux, plutôt qu'un seul nombre de « brillance » étiré sur toute substance.
Le BRDF principled de Brent Burley, décrit dans un cours du SIGGRAPH 2012, a été construit aux Walt Disney Animation Studios autour d'une courte liste de règles de conception. Les paramètres devaient être intuitifs plutôt que strictement physiques. Il devait y en avoir peu. Ils devaient d'ordinaire rester entre zéro et un, tout en pouvant sortir de cet intervalle. Ils devaient rester plausibles une fois combinés. Le studio a employé le shader résultant sur presque tous les matériaux de Wreck-It Ralph. Dans cette liste, le mot qui compte est « plausible ». Un shader de film doit pouvoir être conduit par un artiste, un mardi. Un modèle physiquement complet qu'un artiste ne sait pas diriger est le mauvais outil, même si l'intégrale est plus jolie.
Trois tâches plus tardives, et une qui n'est pas la même
Le débruitage, la reconstruction et le texte-vers-3D sont mis dans le même sac parce qu'ils font tous intervenir un réseau. Ce sont des tâches différentes. Le débruitage restaure une image que le moteur était déjà en train de simuler. La reconstruction ajuste une scène sur des photographies. Le texte-vers-3D synthétise une ressource nouvelle à partir d'une invite écrite. À l'écart des trois se trouve un générateur qui ne renvoie qu'une image plane, et ne garde aucun modèle géométrique qu'un second point de vue pourrait partager, même quand l'image a l'air tridimensionnelle. Cette dernière sorte est traitée avec les images planes. Elle n'a pas sa place dans un fichier de modèles.
Dans le débruitage, un réseau écrit une image nettoyée à partir du rendu bruité et, quand le moteur les exporte, à partir de tampons auxiliaires tels que l'albédo et les normales de surface. Ce qu'il estime, c'est l'image vers laquelle un nombre d'échantillons bien plus grand aurait convergé. Il n'invente pas une scène. Il devine la fin d'un calcul coupé trop tôt.
La reconstruction part de photographies dont les poses de caméra sont connues. Un champ de radiance neuronal, présenté en 2020 par Ben Mildenhall, Pratul Srinivasan, Matthew Tancik, Jonathan Barron, Ravi Ramamoorthi et Ren Ng, associe un point 3D et une direction de vue à une densité et à une couleur qui dépend de la vue. Le long de chaque rayon de caméra, un rendu volumique ordinaire échantillonne cette fonction et forme une image. La représentation est exacte, et coûteuse. Bernhard Kerbl et ses collègues, écrivant sur ce qui a suivi, décrivent les champs de radiance neuronaux comme coûteux à entraîner et à rendre.
Le splatting de gaussiennes 3D, publié en 2023 par Kerbl, Georgios Kopanas, Thomas Leimkühler et George Drettakis, remplace le réseau par des gaussiennes 3D anisotropes. On les optimise, puis on les dessine par splatting. Sur les scènes que les auteurs ont mises à l'épreuve, ils annoncent des vues nouvelles en temps réel, en 1080p, à 30 images par seconde ou au-dessus. Les gaussiennes sont la scène stockée. C'est un champ de radiance dessiné par splatting, pas un maillage de triangles. Dans glTF, l'extension KHR_gaussian_splatting peut transporter ces splats, et c'est pourquoi on les retrouve dans la liste des fichiers de modèles.
DreamFusion, la méthode texte-vers-3D de Ben Poole, Ajay Jain, Jonathan Barron et Ben Mildenhall, optimise un champ de radiance neuronal initialisé au hasard, jusqu'à ce que des images prises depuis des caméras aléatoires obtiennent un bon score sous un modèle texte-vers-image figé. Comme cet a priori a été entraîné sur des images ordinaires, l'optimisation n'a pas besoin d'un corpus de modèles 3D. Chaque invite est sa propre optimisation. Un échec connu est l'artefact Janus : plus d'une face avant sur un seul objet, ce qui apparaît quand chaque vue échantillonnée s'effondre vers une face avant canonique. Peihao Wang et ses collègues font remonter cet échec à un effondrement de l'objectif de distillation de score, que DreamFusion a rendu courant. L'objet n'est pas photographié de plusieurs côtés. Chaque « côté » est tiré vers l'avant que le modèle d'image connaît le mieux.
Une image de production reste, la plupart du temps, l'une des réponses anciennes. On rastérise si elle doit bouger pendant qu'on la regarde. On trace des chemins si l'on peut se payer l'attente, puis on débruite. Les représentations plus récentes comptent quand on dispose de photographies, ou d'une phrase, plutôt que d'un maillage construit par quelqu'un. D'un modèle à un pixel est le vocabulaire dans lequel ces choix s'écrivent.