Basics of GAN algorithm and its modifications

W pracy poruszony jest temat algorytmu Generative Adversarial Network składającego się z dwóch konkurujących ze sobą sieci neuronowych generatora i dyskryminatora. Celem algorytmu jest nauczenie generatora produkować obrazy, które przypominają obrazy z prawdziwego rozkładu obrazów. W pierwszym rozdziale pracy są omówione wielowarstwowe sieci neuronowe. Znajduje się tam także omówiony problem uczenia tych sieci przy użyciu metody propagacji wstecz. W drugim rozdziale przedstawiona jest budowa oraz działanie konwolucyjnych sieci neuronowych. Przedstawiony jest także schemat propagacji wstecz w takich sieciach. W trzecim rozdziale zaprezentowane jest działanie algorytmu GAN. Przedstawione jest również działane GAN jako gry o sumie zerowej. W rozdziale czwartym omówione są podstawowe miary dywergencji rozkładów prawdopodobieństwa. W szczególności, dywergencji Jensena Shannona oraz metryki Wasserstein. Jest także przytoczone twierdzenie o dualności Kantorovicha-Rubinsteina.W rozdziale piątym przedstawiony jest algorytm WGAN oraz WGAN-GP. Znajduje się tu także wyjaśnienie zastosowania metryki Wasserstein jako funkcji kosztu w algorytmie GAN. W rozdziale szóstym przedstawione jest empiryczne porównanie wszystkich algorytmów omówionych w pracy.

The paper presents the Generative Adversarial Network algorithm, that consists of two competing neural networks: a generator and a discriminator. The goal of the algorithm is to train the generator to produce images, that resemble images from real data distribution.In the first chapter there is discussed multilayer perceptron. There is also discussed the problem of training this kind of neural networks using the backpropagation method.The second chapter presents the structure and operation of convolutional neural networks. There is presented backpropagation algorithm for this kind of networks.The third chapter presents the operation of the GAN algorithm. There is also presented GAN algorithm in terms of a zero-sum game.In chapter four thera are presented basic divergence measures between probability distributions. In particular, the Jensen Shannon divergence and the Wasserstein metrics. The Kantorovich-Rubinstein duality theorem is also cited.The fifth chapter presents the WGAN and WGAN-GP algorithms. There is explained the use of the Wasserstein metric as a cost function in GAN algorithm.In the sixth chapter there is presented an empirical comparison of all the algorithms discussed in the paper.