Renderowanie neuronowe

Neural Radiance Fields (NeRF) to technologia uczenia maszynowego, która wykorzystuje sieć neuronową do przewidywania koloru i gęstości dowolnego punktu w przestrzeni kartezjańskiej 3D. Technologia ta ma potencjał do różnych zastosowań, takich jak wizualizacja złożonych danych medycznych, wspomaganie diagnostyki i planowania chirurgicznego, umożliwienie bardziej precyzyjnych i realistycznych wizualizacji architektonicznych, wspieranie nauczycieli i profesorów poprzez poprawę procesu nauczania i inne. Jednakże, oryginalna metoda jest daleka od renderowania w czasie rzeczywistym. W pracy proponowana jest nowa sieć głęboka, która posłuży jako fundament do reprezentacji mapy głębokości w swoich wagach, opierając się wyłącznie na obrazach referencyjnych RGB podczas procesu optymalizacji. Proponowana metoda bazuje na podejściu dwu etapowym, wykorzystując zdolność NeRF do tworzenia spójnej reprezentacji gęstości. Omówiono istniejące podejścia, ich metodologię, zalety i wady. Sugerowanej metodzie udaje się przybliżyć chmury punktów obiektów poprzez wymianę nie-trenowalnego komponentu NeRF, heurystycznej metody próbkowania. Celem metody jest przyspieszenie czasu generowania obrazów poprzez wymianę próbkowania wzdłuż promienia z oryginalnego NeRF na jedno użycie zaproponowanej sieci głębokiej.

Neural Radiance Fields (NeRF) is a machine learning technology that uses a radiance field to predict the color and density of any point within a 3D Cartesian space. This technology has the potential for various applications, such as visualization of complex medical data, aiding in diagnostics and surgical planning, enabling more precise and realistic architectural visualizations, empowering teachers and professors by enhancing the learning process, andso on. However, the original method is far from real-time rendering. In this thesis, a new depth network is proposed that will serve as a foundation for representing depth maps in its weights, while relying solely the RGB ground truth images during the optimization process. The proposed method is based on the two-stage approach, utilizing NeRF’s ability to create a coherent density representation. Existing approaches, their methodology, advantages and disadvantages are discussed. The suggested method manages to approximate point clouds of objects by swapping the non-trainable component of the NeRF, the heuristic sampling method. The aim of the method is to accelerate the inference time by exchanging the uniform sampling throughout the ray from the original NeRF, with a single pass of the proposed depth network.