Deep neural networks resistance to noise in the letter recognition

Sztuczne sieci neuronowe stanowią jedną z szybciej rozwijających się dziedzin sztucznej inteligencji oraz analizy danych. Szczególny przełom dokonał się w ostatnich latach wraz z rozwojem głębokich sieci neuronowych. Jednym z najpopularniejszych problemów dotyczącym sztucznej inteligencji jest klasyfikacja ręcznie pisanych cyfr. Raz po raz naukowcy z całego świata prześcigają się w tworzeniu nowych, bardziej wydajnych rozwiązań. Widząc wielkie zainteresowanie tym tematem oraz możliwości które daje sztuczna inteligencja, w tej oto pracy poddamy analizie wpływ zaszumienia obrazów wejściowych z bazy danych MNIST na wydajność działania kilku różnych modeli sieci neuronowych. Chcemy sprawdzić jak różnego rodzaju zaszumienia wpływają na efektywność i które sieci mają problem z zaszumionymi danymi a które całkiem dobrze sobie z tym radzą. Informacje zebrane w tej pracy w przyszłości mogą posłużyć do odtworzenia niepełnych obrazów, tworzeniem dobrej jakości zdjęć z kamer ulicznych pomagając organom policji w ściganiu przestępców czy podczas odczytu starych, trochę już zniszczonych zbiorów tekstowych z ubiegłych epok. Wykorzystamy różne rodzaje najpopularniejszych zaszumień, oraz różne rodzaje klasyfikacji sieci neuronowych poczynając od prostych implementacji sieci płytkich, przez SVM na sieciach głębokich kończąc. Wyniki porównawcze w postaci diagramów i tabel dołączone zostaną na końcu pracy. Sieci będziemy implementować przy użyciu języka programowania python, wraz z dwoma bibliotekami bardzo upraszczającymi pracę z sieciami neuronowymi: keras i tensorflow. Wszystkie testy będą przeprowadzane na jednym komputerze przez co dane będą bardziej miarodajne i wartościowe.Praca zostanie rozpoczęta od krótkiego wstępu, gdzie zostaną przedstawione jej cele, powód dlaczego taki temat został wybrany oraz wizję na przyszłość tych badań. Następnie zostanie opisane główne narzędzie używane podczas implementowania kodów sieci, a mianowicie TensorFlow. Kolejnym etapem jest krótki opis używanego w tej pracy zbioru danych, czym jest,oraz jak powstał. Następnym punktem pracy będzie kompleksowe opisanie wszystkich najważniejszych pojęć związanych z sieciami neuronowymi. Opis zostanie rozpoczęty od historii ich powstania, pierwszych koncepcji, opisu pojedynczego neuronu oraz jego działania, omówione zostaną też funkcje aktywacji które mogą być używane podczas korzystania z sieci. Następnym krokiem będzie przejście w bardziej skomplikowane modele, sieci płytkie oraz jakie algorytmy są wykorzystywane do szkolenia sieci wielowarstwowych. Kolejnym punktem będzie opis sieci głębokich, przedstawienie krótkiej historii, oraz opis dwóch rodzajów sieci głębokich: rekurencyjnych i konwolucyjnych, wraz z zastosowaniem i możliwościami. Potem zostanie wyjaśnione czym jest maszyna wektorów nośnych, jej zastosowania i przykład użycia. Kolejnym krokiem jest krótkie wylistowanie użytych w pracy szumów wraz z krótką specyfikacja. I wreszcie najważniejszy punkt tej pracy, czyli przedstawienie otrzymanych wyników, opis użytych sieci, ich efektywność wraz z połączeniem z danym zaszumieniem. Końcowym etapem będzie podsumowanie otrzymanych wyników wraz z wnioskami jakie można wyciągnąć po zakończeniu ich prac oraz możliwości rozwoju i wykorzystanie otrzymanych danych.

Artificial neural networks are one of the fastest growing fields of artificial intelligence and data analysis. A particular breakthrough has occurred in recent years with the development of deep neural networks. One of the most common problems with artificial intelligence is the classification of hand-written digits. Time and again, scientists from all over the world are competing to create new, more efficient solutions. Seeing great interest in this subject and the possibilities offered by artificial intelligence, in this paper we will analyze the impact of input image noise from the MNIST database on the performance of several different neural network models. We want to check how different types of noise affect efficiency and which networks have problems with noisy data and which ones deal with it quite well. Information collected in this work in the future may be used to reproduce incomplete images, create good quality pictures from street cameras helping police authorities in prosecuting criminals, or while reading old, slightly damaged text collections from previous eras. We will use different types of the most popular noise, and different types of neural network classification, from simple implementation of shallow networks, through SVM, to deep networks. Comparative results in the form of diagrams and tables will be included at the end of the paper. The networks will be implemented using the python programming language, together with two libraries which will simplify the work with the neural networks: keras and tensorflow. All tests will be carried out on a single computer, making the data more reliable and valuable.The work will start with a short introduction, which will present the objectives, the reason why this topic has been chosen and a vision for the future of this research. Then the main tool used to implement the network codes, namely TensorFlow, will be described. The next step is a short description of the data set used in this work, what it is, and how it was created. The next item will be a comprehensive description of all the most important concepts related to neural networks. The description will start with the history of their creation, first concepts, description of a single neuron and its operation, and will also discuss activation functions that can be used while using the network. The next step will be to move to more complex models, shallow networks and which algorithms are used to train multi-layer networks. The next item will be a description of deep nets, a short history, and a description of two types of deep nets: recurrent and revolutionary, together with their application and capabilities. Then it will be explained what is a support vector machine, its application, and an example of use. The next step is a short list of noise used in the work, together with a short specification. Finally, the most important point of this work is to present the results obtained, a description of the networks used, their effectiveness together with the connection to a given noise. The final step will be to summarise the results obtained, together with the conclusions that can be drawn once their work has been completed and the opportunities for development and use of the data obtained.