Comparison of Transformer Models to Tabular Data

Praca koncentruje się na optymalizacji architektur transformerowych dla zadania klasyfikacji danych tabelarycznych, ze szczególnym uwzględnieniem modelu TabPFN. W części przeglądowej omówiono istniejące podejścia do modelowania danych tabelarycznych, takie jak TabPFN, FT-Transformer i TabNet, oraz przedstawiono motywację do przeprowadzenia eksperymentów porównawczych na testach TabZilla i zbiorach OpenML.W części empirycznej zaprojektowano i zaimplementowano kilka modyfikacji enkodera, w tym Feature Split, Matrix Embedding i Combined Encoder, oraz strategię Multi View (wieloperspektywiczne rzutowania próbki). Przeprowadzono serię eksperymentów, które obejmowały:- Analizę wpływu proporcji zbioru wspierającego do zbioru zapytań podczas dostrajania,- Porównanie metod osadzania danych,- Badanie różnych wariantów Multi View (inicjalizowane wagami z TabPFN lub TabForestPFN),- Zastąpienie prostego dekodera MLP modułem Transformer.Eksperymenty wykazały, że odpowiednio przeprowadzone dostrajanie modelu TabPFN istotnie poprawia wyniki (najlepsze ustawienie: stosunek zbioru wspierającego do zbioru zapytań = 1:1). Prosta metoda Feature Split dała wyniki porównywalne z oryginalnym enkoderem. Najlepsze rezultaty osiągnięto łącząc Multi View z inicjalizacją wag z TabForestPFN. Zwiększanie złożoności dekodera (Transformer zamiast MLP) obniżyło skuteczność. Agregacja przez uśrednianie logitów okazała się stabilniejsza i częściej lepsza niż głosowanie większościowe.Praca wskazuje również na ograniczenia, takie jak wybór podzbioru z repozytorium OpenML i ograniczone strojenie hiperparametrów, oraz proponuje kierunki dalszych badań — m.in rozszerzenie eksperymentów o większą liczbę zbiorów danych, bardziej systematyczne strojenie hiperparametrów oraz badanie hybrydowych metod osadzania.

This thesis focuses on optimizing transformer architectures for the task of tabular data classification, with particular emphasis on the TabPFN model. The literature review discusses existing approaches to modeling tabular data, such as TabPFN, FT-Transformer, and TabNet, and motivates the comparative experiments conducted on the TabZilla benchmarks and OpenML datasets.In the empirical part, several encoder modifications were designed and implemented, including Feature Split, Matrix Embedding, and Combined Encoder, as well as a Multi View strategy (multi-perspective projections of a sample). A series of experiments was carried out, which included:- Analysis of the impact of the support set : query set ratio during fine-tuning,- Comparison of embedding methods,- Investigation of different Multi View variants (initialized with weights from TabPFN or TabForestPFN),- Replacement of the simple MLP decoder with a Transformer module.The experiments showed that properly conducted fine-tuning of TabPFN significantly improves performance (best setting: support set : query set = 1:1). The simple Feature Split method produced results comparable to the original encoder. The best outcomes were achieved by combining Multi View with weight initialization from TabForestPFN. Increasing decoder complexity (Transformer instead of MLP) decreased effectiveness. Aggregation by averaging logits proved to be more stable and more often superior to majority voting.The thesis also highlights limitations such as the selection of an OpenML subset and limited hyperparameter tuning, and proposes directions for further research, including extending the experiments to a larger number of datasets, more systematic hyperparameter tuning, and exploration of hybrid embedding methods.