Processing of incomplete data with convolutional neural networks

Trenowanie modeli uczenia maszynowego na danych zawierających luki to jeden z wiodących problemów w tej dziedzinie nauki. Problem niepełnych danych pojawia się w wielu przypadkach praktycznego zastosowania takich modeli, takich jak robotyka czy przetwarzanie obrazów medycznych. Przystosowanie głębokich sieci neuronowych, takich jak sieci konwolucyjne, do przetwarzania takich danych pozostaje otwartym problemem, gdyż techniki polegające na naiwnym, pojedynczym wypełnieniu często mogą działać niedokładnie, zarazem nie przekazując informacji o niepewności podanego wypełnienia. W niniejszej pracy prezentujemy MisConv - metodę przetwarzania obrazów z brakującymi fragmentami przez głębokie konwolucyjne sieci neuronowe. Zaproponowana metoda jest ogólnieniem konwolucyjnych warstw sieci neuronowej zdolnym do przetwarzania parametrów gęstości prawdopodobieństwa brakujących fragmentów danych i obliczającym wartość oczekiwaną aktywacji sieci. Jednocześnie dla znanych fragmentów obrazów, warstwa ta działa identycznie jak zwykła warstwa konwolucyjna. Do działania MisConv konieczne jest przewidywanie rozkładów brakujących fragmentów obrazów. W tym celu zostaje użyty model Deep Mixture of Factor Analyzers (DMFA), który do estymacji parametrów tych rozkładów wykorzystuje głęboką sieć neuronową. Porównujemy to podejście z innymi popularnymi modelami służącymi do tego zadania i pokazujemy, że model ten może być również z sukcesem trenowany na niepełnych danych. Sprawdzamy zaproponowaną metodę, trenując na niepełnych danych modele służące do różnych zadań przetwarzania obrazów – klasyfikacji, rekonstrukcji oraz generatywne. Jakość tych modeli zostaje porównana z innymi sposobami trenowania na niepełnych danych – używając alternatywnych do zaproponowanego sposobów imputacji i różnych sposobów przetwarzania rozkładu brakujących fragmentów przez model wykonujący docelowe zadanie. Przeprowadzone eksperymenty pokazują, że sieci konwolucyjne wyposażone w warstwę MisConv osiągają wyniki lepsze lub porównywalne z innymi metodami. Fragment niniejszych prac dotyczący modelu DMFA został opublikowany w artykule "Estimating Conditional Density of Missing Values Using Deep Gaussian Mixture Model" na workshopie Artemiss: The Art of Learning with Missing Values podczas międzynarodowej konferencji Intenational Conference on Machine Learning (ICML) w lipcu 2020 r. oraz na międzynarodowej konferencji International Conference on Neural Information Processing (ICONIP) w listopadzie 2020 r. Artykuł opisujący warstwę MisConv pt. "MisConv: Convolutional Neural Networks for Missing Data" został zgłoszony na międzynarodową konferencję Neural Infomation Processing Systems (NeurIPS) 2021 i znajduje się obecnie w procesie recenzji.

Training of Machine Learning models on incomplete data is one of the most important problems in this research domain. The issue of missing data arises in many practical applications of such models, such as robotics or processing of medical images. Adapting deep neural networks, such as convolutional neural networks, to the case of missing data remains an open problem, because imputation-based techniques may often yield inaccurate results and are not able to estimate the uncertainty of their own predictions. In this work, we present MisConv — a method for processing of images with missing data by deep convolutional neural networks. The proposed method is a generalization of the classical convolutional layer, able to process the probability density of the missing data and compute the expected value of network activation. Nevertheless, for the known parts of images, this layer acts like a classical convolution.An essential component of MisConv is the estimation of distributions of the missing parts of images. For this purpose, we utilize a model called Deep Mixture of Factor Analyzers (DMFA), which utilizes a neural network to perform this task. We compare this approach with other popular models used for missing data imputation and show that DMFA can be successfully trained on missing data. We evaluate the proposed method by training on missing data models used for various image processing tasks — classification, reconstruction and generation. Those target models are compared with models trained with different means of handling the missing data. The conducted experiments indicate, that convolutional neural networks equipped with MisConv layer obtain better or similiar results, compared to other methods of processing missing data.A fragment of this work describing the DMFA model has been published in a paper "Estimating Conditional Density of Missing Values Using Deep Gaussian Mixture Model" in the " Artemiss: The Art of Learning with Missing Values" workshop during the Intenational Conference on Machine Learning (ICML) 2020 Conference in July 2020, as well as a paper of the same name during the International Conference on Neural Information Processing (ICONIP) in November 2020. The paper describing the MisConv Layer has been submitted to the Neural Infomation Processing Systems (NeurIPS) 2021 Conference and is currently under review.