Gaussian Splatting et Instant NeRFs : des progrès notables pour rendre la numérisation 3D plus accessible ?

Le scan 3D ainsi que les autres méthodes de numérisation 3D sont des domaines en pleine évolution. Entre l’essor des techniques de traitement d’images et d’autres formes d’acquisition, les modèles d’intelligence artificielle et la progression technologique des capteurs, il devient de plus en plus simple d’obtenir des modèles toujours plus précis et photoréalistes. Parmi les nouvelles approches de numérisation, le Gaussian Splatting et les Instant NeRFs (Neural Radiance Fields) développés par NVIDIA se démarquent par leur efficacité et leur simplicité. Ces techniques permettent de transformer des images 2D en scènes 3D avec une rapidité inédite. Mais comment ces méthodes fonctionnent-elles ? En quoi diffèrent-elles des techniques traditionnelles ? Et comment peuvent-elles être utiles en combinaison avec l’impression 3D ?

Historique et Création du Gaussian Splatting et des Instant NeRFs

Le Gaussian Splatting (traduit éclaboussure gaussienne en français) est une technique avancée de représentation et de numérisation 3D qui permet une reconstruction rapide et précise de scènes à partir des données extraites depuis des images. Introduite en 2023 par une équipe de chercheurs européens, cette méthode repose sur la projection de « splatters gaussiens » dans l’espace tridimensionnel. Ces splatters sont définis par leur position, leur taille, leur transparence et leur couleur, offrant ainsi une restitution fluide et réaliste des détails et des variations lumineuses.

Le concept de splatting a été initialement introduit par Lee Westover dans les années 1990, mais les avancées récentes en apprentissage profond et en graphisme temps réel ont permis d’optimiser cette approche pour le rendu radiatif en temps réel et la capture de scènes dynamiques.

Les Neural Radiance Fields (NeRFs), popularisés en 2020, utilisent une approche basée sur le deep learning pour reconstruire une scène 3D à partir d’un ensemble d’images 2D. Leur version améliorée, les Instant NeRFs développés par NVIDIA en 2022, accélère considérablement l’entraînement grâce à un encodage spatial innovant et une optimisation GPU massivement parallèle. Cette méthode repose sur un système de densité de lumière qui capture avec précision les détails de la scène et permet une régénération très rapide.

Fonctionnement du Gaussian Splatting

Le Gaussian Splatting repose sur quatre étapes clefs :

1. Acquisition des images : Un ensemble d’images capturées sous différents angles sont traités en calculant la position de la caméra pour chaque image afin de générer un nuage de points épars.
2. Définition des Gaussiens 3D : Chaque point du nuage est représenté par une moyenne, une matrice de covariance et une opacité, permettant une approximation efficace de la scène.
3. Optimisation des paramètres : Un algorithme basé sur la descente de gradient stochastique ajuste ces paramètres afin de minimiser la perte entre la scène reconstruite et les images d’entrée.
4. Rendu rapide : Un rasteriseur optimisé trie et fusionne les splatters gaussiens en temps réel, permettant une visualisation fluide et interactive.

Le Gaussian Splatting offre un compromis idéal entre qualité et vitesse, surpassant certaines techniques traditionnelles comme la photogrammétrie tout en restant plus accessible que des solutions basées sur des scans LiDAR.

Si l’on simplifie ce processus quelque peu technique et compliqué, le Gaussian Splatting fonctionne en projetant des petites taches floues (appelées Gaussiens) dans un espace 3D pour reconstruire une scène de manière réaliste. Tout commence par la capture de plusieurs photos sous différents angles. Un algorithme identifie des points clés des objets à numériser et les transforme en petits nuages de points colorés qui se mélangent harmonieusement pour former l’image finale. L’ordinateur ajuste ensuite la taille, la position et la transparence de ces taches pour optimiser la reconstruction. Grâce à cette approche, on obtient un rendu 3D fluide et interactif, bien plus rapide que les méthodes classiques de modélisation. Le Gaussian Splatting s’apparente donc d’une certaine manière à une sorte de photogrammétrie avancée.

Le Gaussian Splatting consiste à projeter une multitude de Gaussians dans l’espace 3D. Ces entités mathématiques sont optimisées pour s’aligner parfaitement avec les images d’origine, créant ainsi une représentation très fidèle et fluide de la scène. Cette technique présente plusieurs avantages. La reconstruction est rapide, avec des scènes restituées en quelques minutes. La qualité de rendu est élevée, avec des détails préservés et des artefacts minimisés. Enfin, cette méthode est adaptable aux scènes complexes, fonctionnant bien sur des surfaces semi-transparentes et des détails fins. C’est une des distinctions majeurs avec la plupart des méthodes actuelles de scan 3D, le Gaussian Splatting est capable de numériser des objets translucides et réflectifs.

Fonctionnement des Instant NeRFs

Les Instant NeRFs reposent sur l’utilisation d’un réseau de neurones (le même type de réseau de neurone est utilisé par les LLM comme ChatGPT et Deepseek)  pour apprendre à partir d’un ensemble de photos sous différents angles. L’algorithme de machine learning prédit la couleur et la densité de chaque point dans l’espace 3D, produisant un modèle photoréaliste avec un niveau de détail très élevé. Les avantages principaux des Instant NeRFs incluent un traitement rapide, avec un entraînement et un rendu en quelques minutes. Ils capturent également les détails lumineux, prenant en compte les reflets et les jeux de lumière, les rendant compatibles avec des environnements variés et des conditions d’éclairage complexes.

Contrairement aux méthodes traditionnelles nécessitant une configuration particulière (spray matifiant, marqueurs) des équipements coûteux ou un temps de calcul long, ces nouvelles approches offrent une alternative plus rapide et plus flexible, particulièrement adaptée aux scènes complexes et aux des surfaces réflectives ou translucides.

Comparaison avec d’autres méthodes de scan 3D

Traditionnellement, le scan 3D repose sur des équipements spécifiques comme des scanners lidar qui utilise un scan laser pour mesurer directement les distances et modéliser l’environnement, la lumière structurée qui projette des motifs lumineux pour analyser la profondeur ou sur des techniques comme la photogrammétrie, qui utilise de multiples images et des algorithmes de triangulation pour générer un modèle 3D. Le Gaussian Splatting et les Instant NeRFs surpassent ces méthodes en termes de rapidité et de qualité de rendu, tout en nécessitant moins de matériel spécialisé. Ces nouvelles techniques offrent une alternative plus accessible et efficace pour la capture et la reconstruction 3D.

Comment utiliser ces technologies ?

L’utilisation de ces techniques repose sur des logiciels spécifiques. Pour le Gaussian Splatting, certaines implémentations open-source sont disponibles et des applications comme Polycam et KIRI Engine permettent d’expérimenter avec cette technique. En ce qui concerne les Instant NeRFs, la bibliothèque « instant-ngp » de NVIDIA est disponible sur GitHub. Il est possible de capturer plusieurs images sous différents angles avec un smartphone et les traiter avec ces outils.

Le Gaussian Splatting et les Instant NeRFs peuvent être utilisés pour générer des modèles 3D destinés à la fabrication additive. En convertissant ces modèles en maillages, ils peuvent être importés dans des slicers comme n’importe quel modèle 3D.

Le Gaussian Splatting et les Instant NeRFs apportent rapidité, qualité et accessibilité. Ces technologies ont le potentiel de s’intégrer et développer les usages dans de nombreux secteurs, dont celui de l’impression 3D.

Que pensez-vous de ces méthodes de numérisation 3D ? N’hésitez pas à partager votre avis dans les commentaires de l’article. Retrouvez toutes nos vidéos sur notre chaîne YouTube ou suivez-nous sur Facebook ou LinkedIn !

*Crédits photo de couverture: Jurdein