Binary data classification using Support Vector Machine

W pracy opisano metodę klasyfikacji danych, zwaną maszyną wektorów nośnych (ang. Support Vector Machine), używaną w obszarze uczenia maszynowego. Rozpoczęto od przytoczenia rzeczywistego problemu klasyfikacyjnego – czy na podstawie samego zdjęcia medycznego jesteśmy w stanie określić, czy pacjent choruje na nowotwór złośliwy, czy łagodny? Jako przykładową próbę wzięto zbiór pomiarów guzów piersi Diagnostic Wisconsin Breast Cancer Database. W Rozdziale 1 omówiona została idea tej metody klasyfikacji danych, wprowadzono również jej podstawowe pojęcia. Rozdział 2 skupia się na programowaniu nieliniowym oraz teorii dualności, w tym warunkach Karusha-Kuhna-Tuckera. Sprawdzono również, jak liniowy model SVM poradzi sobie z postawieniem wstępnej diagnozy pacjentom z Wisconsin. W ostatnim rozdziale wspomniano o modyfikacji metody wektorów nośnych, pozwalającej na pracę z danymi nierozdzielnymi liniowo. Wszystkie obliczenia numeryczne zostały wykonane w języku programowania Python, a kod źródłowy opisujący trening klasyfikatora zamieszczono w Dodatku A.

This thesis describes an algorithm for binary data classification - Support Vector Machine, used in machine learning.It starts with a real life classification problem - given only a medical photography of a tumour, could be possibly decide whether it is malignant, or benign? The sample data used comes from Diagnostic Wisconsin Breast Cancer Database.Chapter 1 summarizes the basic notions of this classification method. Chapter 2 elaborates on non-linear programming and the theory of dual problems, including KKT conditions. Finally, the effectiveness of a linear SVM classifier was tested on the Wisconsin data sample. The last chapter mentions a modification to this strategy, namely a kernel trick, which allows us to investigate linearly nonseparable cases.All the numeric calculations were conducted with Python and the source code is included in Appendix A.