Attentional Neural Networks in breast cancer classification

Sieci neuronowe składają się z wielu warstw połączonych ze sobą perceptronów. Są obecnie na co dzień wykorzystywane w nauce i biznesie do rozwiązywania szerokiej gamy problemów. Dzięki temu, że sieci neuronowe uczą się na przykładach poprzez zastosowanie algorytmu propagacji wstecznej, są w stanie rozwiązywać złożone problemy, których nie da się aproksymować matematycznie.W szczególności takie sieci znajdują zastosowanie w problemach klasyfikacji tj. zaklasyfikowania zbioru danych wejściowych do pewnych z góry określonych kategorii i przypisania im odpowiednich etykiet. Gdy klasyfikacja dotyczy określenia czy pewna dana wejściowa należy do jednej z dwóch kategorii mówimy, że jest to klasyfikacja binarna.Zwłaszcza interesującym tematem jest klasyfikacja obrazów, gdzie na podstawie zdjęcia wejściowego sieć neuronowa potrafi określić co znajduje się na fotografii poprzez przypisanie jej odpowiednich etykiet. Razem z powstaniem konwolucyjnych sieci neuronowych rozpoznawanie obrazów stało się dużo prostsze i efektywniejsze. Na przestrzeni lat badacze zaproponowali wiele modyfikacji i ulepszeń sieci konwolucyjnych, aby dawały one coraz lepsze rezultaty. Jedną z takich propozycji jest wykorzystanie mechanizmu atencji. Mechanizm ten został po raz pierwszy zaproponowany w roku 2015 w celu zoptymalizowania translacji tekstu w sieciach opartych o model Koder-Dekoder poprzez skupienie uwagi sieci na słowach, które niosą relatywnie największą ilość ważnych informacji. Podobny efekt można wykorzystać w sieciach konwolucyjnych w celu poprawy jakości klasyfikacji obrazów. Sieć wyposażona w warstwę atencji w trakcie klasyfikacji zwraca większą uwagę na istotne elementy obrazu, a równocześnie elementy mniej ważne odgrywają mniejszą rolę. Takim przykładem może być tło, które często nie ma większego wpływu na klasyfikację.Jakość klasyfikacji ma szczególne znaczenie w zastosowaniach medycznych. Jednym z nich jest zadanie klasyfikacji binarnej zdjęcia histopatologicznego nowotworu piersi jako guza łagodnego lub złośliwego. Praca ta skupia się najpierw na wytłumaczeniu pojęcia i pochodzenia mechanizmu atencji, jego ewolucji od translacji tekstu do wykorzystania w klasyfikacji obrazów. Następnie opisuje trzy różne mechanizmy atencyjne w sieciach konwolucyjnych tj. konwolucyjny blok atencyjny, konwolucję o zwiększonej atencji i konwolucję kierowaną atencją oraz ich implementacje. Po czym po zbudowaniu czterech sieci konwolucyjnych, bazowej oraz trzech z wymienionymi mechanizmami atencyjnymi dokonuje ich ewaluacji w problemie klasyfikacji złośliwości nowotworów piersi na zbiorze danych składającym się ze zdjęć tkanek pobranych w procesie biopsji od pacjentów z guzami.Na podstawie uzyskanych wyników i ich analizy porównawczej jednoznacznie można stwierdzić, że sieci atencyjne mogą osiągać lepsze rezultaty w stosunku do standardowej sieci konwolucyjnej szczególnie w przypadku testu na wykluczenie złośliwości nowotworu piersi.

Neural networks consist of many layers of connected perceptrons and are these days widely used for solving problems both in science and commercial market. Thanks to the fact that neural networks are trained based on examples using the backpropagation algorithm they are capable of solving complex problems that are hard to approximate mathematically.In particular, such neural networks are applicable in classification problems -- the task here is to assign input data into defined categories and assign appropriate labels. When classification is about assigning either to one of two categories we call such a problem binary classification.Especially interesting is image classification, where based on given input image neural network is capable of determining what is present on the image by assigning labels to it. Since convolutional neural networks (CNN) were introduced image recognition became easier and effective.Over the years scientists proposed many modifications and improvements to convolutional neural networks. One of such possible improvements is the attention mechanism. Attention was first proposed in 2015 in order to optimise text translations in networks based on Encoder-Decoder model through forcing network to focus on words that carry the most important information. Similar effect could be used in CNN networks to achieve better image classification quality. Convolutional network with attention layer focuses on important parts of image while other less important like background are more negligible.Quality of the classification is crucial in medical applications. An example of such application is a binary classification of breast cancer histopathology image as benign or malignant tumor. This master thesis explains in the fist part the attention mechanism and its evolution from text translation field to images classification problems. Then describes three different attention machnisms in convolutional networks: Convolutional Block Attention Module, Attention Augmented Convolution and Attention Guided Convolutional Neural Networks both with their implementations. Next, builds four neural networks: base convolutional network and three covolutional networks with described attention mechanisms, and after that evaluates their performance in breast cancer histopathologic images classification problem.Based on given results and their analysis it is clearly that attentional nerual networks can outperform standard convolutional networks in breast cancer binary classification. Especially when it comes to confirm that the patient does not have a malignant tumor.