XGBoost classification algorithm

Niniejsza praca opisuje algorytm XGBoost nadzorowanego uczenia maszynowego. Praca bazuje na artykule „Higgs Boson Discovery with Boosted Trees” Tianqi Chen oraz Tong He.W rozdziale pierwszym pracy znajdują się podstawowe definicje związane ze strukturą drzew, metoda ich tworzenia oraz opis i analiza funkcji celu, która pozwala na uzyskanie dobrych rezultatów przewidywania nowych przypadków.Rozdział drugi poświęcony jest opisowi problemu przeuczania modeli, metodzie poszukiwania parametrów modelu oraz praktycznemu zastosowaniu algorytmu dla problemu klasyfikacji binarnej wraz z porównaniem z innymi metodami uczenia maszynowego. Przewidywany jest fakt przekroczenia rocznego progu zarobkowego na podstawie danych socjodemograficznych.Ostatni rozdział opisuje metody uogólnienia algorytmu na klasyfikację wieloklasową: funkcję Softmax oraz uczenie przez drzewiastą strukturę zbiorów wraz z doborem par oraz metryką liczącą odległości między zbiorami. Ponownie pojawia się praktyczne zastosowanie: przewidywanie dotyczy ustalenia która osoba znajdujące się na zdjęciu.

This thesis describes XGBoost algorithm of supervised machine learning. It is based on article „Higgs Boson Discovery with Boosted Trees” Tianqi Chen and Tong He.First chapter introduces definitions required to explain tree structure, method of constructing those trees and target function thanks to which algorithm presents good quality with predicting new cases.Second section is devoted to overfitting problem in data analysis, methods of searching good parameters of the models and practical application of binary classification with comparison with other popular machine learning algorithms. The aim is prediction if particular person exceeds given threshold of earnings per year based on sociodemographic data.In last chapter described are methods of generalization algorithm to multiclass classification with Softmax function and training process with usage tree based set structure with proposed metric to calculate distances between those sets.