Machine learning with Python

Niniejsza praca przedstawia aplikację, która symuluje giełdę zakładów sportowych, oraz gracza-bota wykorzystującego uczenie maszynowe do zwiększania skuteczności swojej gry.Początek pracy zawiera wprowadzenie do dziedziny uczenia maszynowego oraz przybliża jeden z przykładów jego zastosowania w robotyce. Opisane zostają narzędzia wykorzystane w projekcie, w których skład wchodzi język Python oraz wybrane biblioteki, takie jak NumPy i Matplotlib.Omówiono uczenie ze wzmocnieniem, jako nowe podejście w obszarze uczenia się maszyn. Opisano wszystkie składowe potrzebne do definicji tego typu algorytmów. Przedstawiono matematyczny model tego paradygmatu, czyli proces decyzyjny Markowa.Zaprezentowano dwa popularne algorytmy z klasy zwanej metodami różnic czasowych: Q-learning oraz Sarsa. Zostają one przedstawione w możliwe kompletnej wersji uwzględniającej wykorzystanie tzw. śladów aktywności, które w teorii pomagają przyspieszyć proces nauki.Stworzono implementację wymienionych algorytmów, na podstawie której zbudowana jest symulacja gry na giełdzie. Przy pomocy przeprowadzonych testów sprawdzono skuteczność zaprogramowanej symulacji. Szczegółowo opisana jest rola oraz dobór wartości poszczególnych parametrów nauki w kontekście rozwiązywanego problemu. Wspomnianą aplikację uzupełniają programy pomocnicze służące do wizualizacji danych giełdowych na wykresach oraz generowania sztucznych sekwencji zmian kursu.

This thesis presents the application simulating sports betting markets and a bot player that performs transactions on markets and utilizes machine learning for improving it's performance.In the beginning, the introduction to machine learning is provided with examples of it's effective usage in robotics. Development tool set used is presented, which contains Python language, NumPy and Matplotlib modules among the others. Reinforcement learning is presented as a novel approach in machine learning. Mathematic model of the approach is explained with Markov decission process.Two concrete algorithms of temporal difference learning paradigm are presented: Q-learning and Sarsa. The description contains possibly complex versions, which contain usage of eligibility traces that, in theory, help to improve learning process efficiency.Implemenation of mentioned algorithms is developed and used to build simulation of trading on betting exchange. Effectiveness of the application isexamined via various experiments. The role and selection of all the learning parameter values is described in a context of the problem being solved. The application is supplemented with other tools built that are used to visualize exchange markets data and generate artificial price change sequences.