Metody Rzadkiej Ortogonalnej Inicjalizacji Dla Sieci Neuronowych.

Rzadkie sieci neuronowe to sieci pozbawione znacznej części swoich parametrów. Dają one potencjał do mniej wymagającego obliczeniowo treningu i ewaluacji, bez znacznej utraty wydajności. Wykazano, że ortogonalna inicjalizacja daje korzyści w treningu bardzo głębokich sieci neuronowych, ponieważ jej własności wspierają stabilną propagację sygnału w sieci. W tej pracy badamy, jak ortogonalność wpływa na trenowanie rzadkich sieci neuronowych. Porównujemy trzy główne metody rzadkiej ortogonalnej inicjalizacji: Przybliżona Izometria (AI), Inicjalizacja Ortogonalna Świadoma Rzadkości (SAO) oraz Dokładna Ortogonalna Inicjalizacja (EOI), oceniając zarówno ich własności teoretyczne, jak i eksperymentalną dokładność testową różnych architektur sieci neuronowych trenowanych do zadań rozpoznawania obrazów, zainicjalizowanych tymi metodami. Nasze wyniki pokazują, że EOI przewyższa pozostałe metody, ustanawiając ją jako nowy preferowany sposób rzadkiej inicjalizacji dla sieci neuronowych.Ta praca jest oparta na artykule „Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization” autorstwa Aleksandry Ireny Nowak, Łukasza Gnieckiego, Filipa Szatkowskiego i Jacka Tabora (w tym mnie), zaakceptowanym na Międzynarodową Konferencję Uczenia Maszynowego (ICML) 2024, który wprowadza metodę rzadkiej ortogonalnej inicjalizacji EOI.

Sparse neural networks are networks that are deprived of a significant portion of their parameters, offering the potential for less computation-intensive training and evaluation without a substantial loss in performance. Orthogonal initialization has been shown to be beneficial for training very deep neural networks, as its properties support stable signal propagation throughout the network. In this work, we examine how orthogonality impacts the training of sparse neural networks. We compare three prominent methods of sparse orthogonal initialization: Approximate Isometry (AI), Sparsity-Aware Orthogonal Initialization (SAO), and Exact Orthogonal Initialization (EOI), evaluating both their theoretical properties and the experimental test accuracy of various neural network architectures trained for image recognition tasks, initialized by these methods. Our results demonstrate that EOI outperforms the other methods, establishing it as the new state-of-the-art sparse initialization method for neural networks.This work is based on the paper "Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization" by Aleksandra Irena Nowak, Łukasz Gniecki, Filip Szatkowski, and Jacek Tabor (including myself), accepted at the International Conference on Machine Learning (ICML) 2024, which introduces the EOI sparse orthogonal initialization method.