Wykorzystanie modelu NeRF w celu generowania twarzy 3D

Podczas gdy większość powszechnie akceptowanych modeli do renderowania trójwymiarowych głów wykorzystuje siatki do uchwycenia i renderowania kształtów oraz emocji ludzkich twarzy, niektóre bardziej innowacyjne metody eksperymentują z użyciem ukrytej reprezentacji sieci neuronowej do renderowania złożonych, szczegółowych scen 3D. Ich przydatność w obszarze renderowania twarzy pozostaje jednak ograniczona ze względu na trudności w animowaniu takich scen, co jest niezbędne dla większości typowych zastosowań, jak gry.W tej pracy przedstawiamy NeRFlame, model zaprojektowany do tworzenia renderów twarzy 3D opartych na sieci neuronowej, który pozostaje bardzo edytowalny, zdolny do zachowania wysokiego poziomu szczegółowości charakterystycznego dla ukrytego podejścia, a jednocześnie umożliwia renderowanie niewidzianych wcześniej wyrazów twarzy i kształtów. Osiągamy to, wykorzystując wiodący model oparty na sieciach neuronowych NeRF oraz zadanie popularnego modelu opartego na siatkach FLAME do modelowania gęstości objętościowej, zwykle obsługiwanej przez NeRF. Dzięki temu zmuszamy modele do współpracy, osiągając ogólnie lepsze wyniki niż te, które uzyskałyby samodzielnie.

While most of the popularly accepted models for rendering 3D heads, utilise meshes to capture and render shape and emotions of human faces, some more innovative methods experiment with using implicit neural network representation to render high complexity, high-detail 3D scenes. Their usefulness in the area of face rendering however, remains limited due to difficulties in animating said scenes, something necessary for most typical uses, like gaming. In this thesis we introduce NeRFlame, model designed to create neural network-based 3D face renders that remains highly editable, capable of preserving high level of detail typical of the implicit approach while possessing the ability to render unseen expressions and shapes of their modeled face. We achieve that by taking leading neural network based model NERF and tasking popular mesh-based model FLAME with modeling volume density, otherwise handled by NeRF. This allows us to force models to work together achieving overall better results than they would on their own.