Podstawy algorytmu GAN i jego modyfikacje

Podstawy algorytmu GAN i jego modyfikacje

Communities & Collections

Podstawy algorytmu GAN i jego modyfikacje

Bibliographic description

title:	Podstawy algorytmu GAN i jego modyfikacje
alternative title:	Basics of GAN algorithm and its modifications
author:	Faber Tomasz
reviewer:	Pagacz Patryk, Mazur Marcin
advisor:	Pagacz Patryk
date of submittion :	2020-09-30
language:	Polish
abstract in Polish:	W pracy poruszony jest temat algorytmu Generative Adversarial Network składającego się z dwóch konkurujących ze sobą sieci neuronowych generatora i dyskryminatora. Celem algorytmu jest nauczenie generatora produkować obrazy, które przypominają obrazy z prawdziwego rozkładu obrazów. W pierwszym rozdziale pracy są omówione wielowarstwowe sieci neuronowe. Znajduje się tam także omówiony problem uczenia tych sieci przy użyciu metody propagacji wstecz. W drugim rozdziale przedstawiona jest budowa oraz działanie konwolucyjnych sieci neuronowych. Przedstawiony jest także schemat propagacji wstecz w takich sieciach. W trzecim rozdziale zaprezentowane jest działanie algorytmu GAN. Przedstawione jest również działane GAN jako gry o sumie zerowej. W rozdziale czwartym omówione są podstawowe miary dywergencji rozkładów prawdopodobieństwa. W szczególności, dywergencji Jensena Shannona oraz metryki Wasserstein. Jest także przytoczone twierdzenie o dualności Kantorovicha-Rubinsteina.W rozdziale piątym przedstawiony jest algorytm WGAN oraz WGAN-GP. Znajduje się tu także wyjaśnienie zastosowania metryki Wasserstein jako funkcji kosztu w algorytmie GAN. W rozdziale szóstym przedstawione jest empiryczne porównanie wszystkich algorytmów omówionych w pracy.
abstract in English:	The paper presents the Generative Adversarial Network algorithm, that consists of two competing neural networks: a generator and a discriminator. The goal of the algorithm is to train the generator to produce images, that resemble images from real data distribution.In the first chapter there is discussed multilayer perceptron. There is also discussed the problem of training this kind of neural networks using the backpropagation method.The second chapter presents the structure and operation of convolutional neural networks. There is presented backpropagation algorithm for this kind of networks.The third chapter presents the operation of the GAN algorithm. There is also presented GAN algorithm in terms of a zero-sum game.In chapter four thera are presented basic divergence measures between probability distributions. In particular, the Jensen Shannon divergence and the Wasserstein metrics. The Kantorovich-Rubinstein duality theorem is also cited.The fifth chapter presents the WGAN and WGAN-GP algorithms. There is explained the use of the Wasserstein metric as a cost function in GAN algorithm.In the sixth chapter there is presented an empirical comparison of all the algorithms discussed in the paper.
keywords in Polish:	Sieci neuronowe, wielowarstwowe sieci neuronowe, konwolucyjne sieci neuronowe, uczenie sieci neuronowych, propagacja wstecz, miary dywergencji rozkładów prawdopodobieństwa, metryka Wasserstein, dualność Kantorowicza-Rubinsteina, funkcje Lipschitzowskie, algorytm Generative adversarial network, algorytm Wasserstein Generative Adversarial Network, gra o sumie zerowej, twierdzenie o minimaxie.
keywords in English:	Neural networks, multilayer perceptron, convolutional neural networks, learning neural networks, gradient descent, backpropagation, divergence metrics, Wasserstein metric, Kantorovich-Rubinstein duality, lipschitz functions, Generative Adversarial Network, Wasserstein Generative Adversarial Network, zero-sum game, minimax theorem.
affiliation:	Wydział Matematyki i Informatyki
type:	master work