Zaawansowane algorytmy uczenia maszynowego w implementacji automatycznego systemu zastępującego gracza w przykładowych grach wideo

licenciate
dc.abstract.enThe aim of the following paper is to reproduce results of Mnih et al. study from 2015 and draw conclusions from the acquired data. The implemented algorithm is called by Mnih et al. "Deep Q-Learning" and it is a combination of the Q-Learning method with deep convolutional neural networks. Usage of these methods in context of video games makes it possible to create a system replacing the player without the requirement of knowing main features particular to the game.The neural network takes the four last frames from the game as an input, represented by an array of converted pixels. Every neuron on output layer represents an action in the game - and the value corresponding to this neuron is the estimated score after taking the mentioned action. The network is trained with the backpropagation algorithm and Adam algorithm using the scores awarded after taking a particular action.The study has been successful - the model from Mnih et al. study was reproduced correctly and the algorithm achieved satisfactory results in analyzed games. Data gathered during the training shows that the strategy developed by the algorithm after a full training cycle is far more effective than a random strategy. Agent is capable of winning the game, which requires considerable knowledge about the game states and finding optimal strategies. The study also describes problems concerning reproducing the model on a machine with far ulterior components than those used in Mnih et al study. In conclusion, it can be shown that the Deep Q-Learning network can be used on a home personal computer, without the need of using a specialized cluster.pl
dc.abstract.plPoniższa praca ma na celu odtworzenie wyników otrzymanych przez Mnih et al. w 2015 roku oraz wyciągnięcie wniosków na ich podstawie. Zaimplementowany zostaje algorytm nazywany przez Mnih et al. Deep Q-Learning, który jest połączeniem metody Q-Learning z głębokimi, konwolucyjnymi sieciami neuronowymi. Wykorzystanie tych metod w kontekście gier wideo umożliwia stworzenie systemu zastępującego gracza, który nie wymaga poznania cech typowych dla poszczególnej gry.Sieć neuronowa przyjmuje na warstwie wejściowej ostatnie cztery klatki z gry w formie tabeli przekonwertowanych pikseli. Każdy neuron na warstwie wyjściowej odpowiada akcji możliwej do wykonania w ramach gry -- z kolei wartość na neuronie to oszacowany wynik punktowy po wybraniu rzeczonej akcji. Strategia optymalna polega na wyborze akcji odpowiadającej neuronowi z największym wynikiem. Sieć trenowana jest za pomocą propagacji wstecznej i algorytmu Adam z użyciem punktacji, jaka została przyznana przez grę po wykonaniu określonej akcji. Badanie zostało przeprowadzone z powodzeniem -- model z badań Mnih et al. odtworzono poprawnie, a odwzorowywany algorytm osiągnął satysfakcjonujące wyniki w analizowanych grach. Dane otrzymane w trakcie treningu pokazują, że strategia opracowana przez algorytm po pełnym cyklu jest znacznie bardziej efektywna niż taktyka całkowicie losowa. Agent regularnie odnosi zwycięstwa, co wymaga zdobycia znacznej wiedzy na temat możliwych stanów w danej grze oraz odnalezienia optymalnych strategii. Opisane zostały również problemy związane z odwzorowaniem modelu na maszynie o znacznie słabszych podzespołach niż te wykorzystywane przez Mnih et al. Badanie pokazuje, że Deep Q-Learning może zostać zaimplementowany na komputerze domowym, bez potrzeby wykorzystywania specjalistycznych klastrów.pl
dc.affiliationWydział Fizyki, Astronomii i Informatyki Stosowanejpl
dc.areaobszar nauk ścisłychpl
dc.contributor.advisorMisztal, Krzysztofpl
dc.contributor.authorWołczyk, Maciejpl
dc.contributor.departmentbycodeUJK/WFAISpl
dc.contributor.reviewerSpurek, Przemysławpl
dc.contributor.reviewerMisztal, Krzysztofpl
dc.date.accessioned2020-07-27T06:37:48Z
dc.date.available2020-07-27T06:37:48Z
dc.date.submitted2017-07-04pl
dc.fieldofstudyinformatykapl
dc.identifier.apddiploma-114210-197258pl
dc.identifier.projectAPD / Opl
dc.identifier.urihttps://ruj.uj.edu.pl/xmlui/handle/item/219602
dc.languagepolpl
dc.subject.enconvolutional neural networks, machine learning, deep learning, reinforcement learning, games, Pong, Breakout, DQN, Q-Learning, Google Deepmind, Tensorflowpl
dc.subject.plikonwolucyjne sieci neuronowe, uczenie maszynowe, głębokie uczenie maszynowe, uczenie przez wzmacnianie, gry, Pong, Breakout, DQN, Q-Learning, Google Deepmind, Tensorflowpl
dc.titleZaawansowane algorytmy uczenia maszynowego w implementacji automatycznego systemu zastępującego gracza w przykładowych grach wideopl
dc.title.alternativeAdvanced machine learning algorithms in implementation of automatic system replacing the player in chosen video gamespl
dc.typelicenciatepl
dspace.entity.typePublication
dc.abstract.enpl
The aim of the following paper is to reproduce results of Mnih et al. study from 2015 and draw conclusions from the acquired data. The implemented algorithm is called by Mnih et al. "Deep Q-Learning" and it is a combination of the Q-Learning method with deep convolutional neural networks. Usage of these methods in context of video games makes it possible to create a system replacing the player without the requirement of knowing main features particular to the game.The neural network takes the four last frames from the game as an input, represented by an array of converted pixels. Every neuron on output layer represents an action in the game - and the value corresponding to this neuron is the estimated score after taking the mentioned action. The network is trained with the backpropagation algorithm and Adam algorithm using the scores awarded after taking a particular action.The study has been successful - the model from Mnih et al. study was reproduced correctly and the algorithm achieved satisfactory results in analyzed games. Data gathered during the training shows that the strategy developed by the algorithm after a full training cycle is far more effective than a random strategy. Agent is capable of winning the game, which requires considerable knowledge about the game states and finding optimal strategies. The study also describes problems concerning reproducing the model on a machine with far ulterior components than those used in Mnih et al study. In conclusion, it can be shown that the Deep Q-Learning network can be used on a home personal computer, without the need of using a specialized cluster.
dc.abstract.plpl
Poniższa praca ma na celu odtworzenie wyników otrzymanych przez Mnih et al. w 2015 roku oraz wyciągnięcie wniosków na ich podstawie. Zaimplementowany zostaje algorytm nazywany przez Mnih et al. Deep Q-Learning, który jest połączeniem metody Q-Learning z głębokimi, konwolucyjnymi sieciami neuronowymi. Wykorzystanie tych metod w kontekście gier wideo umożliwia stworzenie systemu zastępującego gracza, który nie wymaga poznania cech typowych dla poszczególnej gry.Sieć neuronowa przyjmuje na warstwie wejściowej ostatnie cztery klatki z gry w formie tabeli przekonwertowanych pikseli. Każdy neuron na warstwie wyjściowej odpowiada akcji możliwej do wykonania w ramach gry -- z kolei wartość na neuronie to oszacowany wynik punktowy po wybraniu rzeczonej akcji. Strategia optymalna polega na wyborze akcji odpowiadającej neuronowi z największym wynikiem. Sieć trenowana jest za pomocą propagacji wstecznej i algorytmu Adam z użyciem punktacji, jaka została przyznana przez grę po wykonaniu określonej akcji. Badanie zostało przeprowadzone z powodzeniem -- model z badań Mnih et al. odtworzono poprawnie, a odwzorowywany algorytm osiągnął satysfakcjonujące wyniki w analizowanych grach. Dane otrzymane w trakcie treningu pokazują, że strategia opracowana przez algorytm po pełnym cyklu jest znacznie bardziej efektywna niż taktyka całkowicie losowa. Agent regularnie odnosi zwycięstwa, co wymaga zdobycia znacznej wiedzy na temat możliwych stanów w danej grze oraz odnalezienia optymalnych strategii. Opisane zostały również problemy związane z odwzorowaniem modelu na maszynie o znacznie słabszych podzespołach niż te wykorzystywane przez Mnih et al. Badanie pokazuje, że Deep Q-Learning może zostać zaimplementowany na komputerze domowym, bez potrzeby wykorzystywania specjalistycznych klastrów.
dc.affiliationpl
Wydział Fizyki, Astronomii i Informatyki Stosowanej
dc.areapl
obszar nauk ścisłych
dc.contributor.advisorpl
Misztal, Krzysztof
dc.contributor.authorpl
Wołczyk, Maciej
dc.contributor.departmentbycodepl
UJK/WFAIS
dc.contributor.reviewerpl
Spurek, Przemysław
dc.contributor.reviewerpl
Misztal, Krzysztof
dc.date.accessioned
2020-07-27T06:37:48Z
dc.date.available
2020-07-27T06:37:48Z
dc.date.submittedpl
2017-07-04
dc.fieldofstudypl
informatyka
dc.identifier.apdpl
diploma-114210-197258
dc.identifier.projectpl
APD / O
dc.identifier.uri
https://ruj.uj.edu.pl/xmlui/handle/item/219602
dc.languagepl
pol
dc.subject.enpl
convolutional neural networks, machine learning, deep learning, reinforcement learning, games, Pong, Breakout, DQN, Q-Learning, Google Deepmind, Tensorflow
dc.subject.plpl
ikonwolucyjne sieci neuronowe, uczenie maszynowe, głębokie uczenie maszynowe, uczenie przez wzmacnianie, gry, Pong, Breakout, DQN, Q-Learning, Google Deepmind, Tensorflow
dc.titlepl
Zaawansowane algorytmy uczenia maszynowego w implementacji automatycznego systemu zastępującego gracza w przykładowych grach wideo
dc.title.alternativepl
Advanced machine learning algorithms in implementation of automatic system replacing the player in chosen video games
dc.typepl
licenciate
dspace.entity.type
Publication
Affiliations

* The migration of download and view statistics prior to the date of April 8, 2024 is in progress.

Views
107
Views per month
Views per city
Warsaw
18
Krakow
15
Poznan
9
Wroclaw
9
Lodz
8
North Bergen
4
Bełchatów
3
Gdansk
3
Katowice
3
Ashburn
2

No access

No Thumbnail Available