Contrastive neural decision trees

master
dc.abstract.enContrastive neural decision trees (CNDTs) are tree models based on neural networks trained on unsupervised data with contrastive loss. A CNDT is fundamentally interpretable as a decision tree offering interpretable clusters. However, it is also a neural network therefore can be trained with gradient descent to perform classification tasks effectively. This work will focus on exploring related works, with emphasis on understanding the core ideas connected to CNDTs. This work introduces a contrastive neural decision tree (CNDT) model for hierarchical clustering. CNDT is based on a contrastive self-supervised framework SimCLR and a distilled soft decision tree. Similarly to SimCLR, CNDT learns representations for visual input by maximizing the agreement between differently augmented views of the same sample. Furthermore, CNDT uses a soft decision tree, which is a neural network that mimics a decision tree to solve the problem of clustering. We evaluated the results of our model on MNIST and Fashion MNIST with two different deep clustering models - DeepECT a deep hierarchical clustering model, and Deep Spectral Clustering a deep flat clustering model.pl
dc.abstract.plKontrastowe neuronowe drzewa decyzyjne (CNDT) to modele drzew oparte na sieciach neuronowych trenowanych na danych nienadzorowanych ze stratą kontrastową. CNDT jest zasadniczo interpretowalne jako drzewo decyzyjne oferujące interpretowalne klastry. Jest to jednak również sieć neuronowa, dlatego może być trenowana metodą zstępowania gradientowego, aby skutecznie wykonywać zadania klasyfikacji. Niniejsza praca koncentruje się na badaniu powiązanych prac, z naciskiem na zrozumienie podstawowych idei związanych z CNDT. W niniejszej pracy przedstawiono model kontrastowego neuronowego drzewa decyzyjnego (CNDT) dla klasteryzacji hierarchicznej. CNDT opiera się na kontrastowym samonadzorowanym modelu SimCLR oraz na wydestylowanym miękkim drzewie decyzyjnym. Podobnie jak SimCLR, CNDT uczy się reprezentacji dla danych wizualnych poprzez maksymalizację zgodności pomiędzy różnymi rozszerzonymi widokami tej samej próbki. Ponadto, CNDT wykorzystuje miękkie drzewo decyzyjne, czyli sieć neuronową, która naśladuje drzewo decyzyjne, aby rozwiązać problem klastrowania. Wyniki działania naszego modelu ocenialiśmy na zbiorach MNIST i Fashion MNIST oraz porównaliśmy je z dwoma różnymi modelami klasteryzacji głębokiej - DeepECT oraz Deep Spectral Clustering.pl
dc.affiliationWydział Matematyki i Informatykipl
dc.areaobszar nauk ścisłychpl
dc.contributor.advisorŚmieja, Marekpl
dc.contributor.authorZnaleźniak, Michałpl
dc.contributor.departmentbycodeUJK/WMI2pl
dc.contributor.reviewerŚmieja, Marekpl
dc.contributor.reviewerPodolak, Igor - 100165 pl
dc.date.accessioned2022-07-11T21:57:57Z
dc.date.available2022-07-11T21:57:57Z
dc.date.submitted2022-06-30pl
dc.fieldofstudyinformatykapl
dc.identifier.apddiploma-158745-244281pl
dc.identifier.urihttps://ruj.uj.edu.pl/xmlui/handle/item/296136
dc.languageengpl
dc.subject.enHierarchical clustering, Deep learning, Decision trees, Neural Networks, Contrastive Learningpl
dc.subject.plKlastrowanie hierarchiczne, Uczenie głębokie, Sieci neuronowe, Uczenie kontrastywnepl
dc.titleContrastive neural decision treespl
dc.title.alternativeDrzewa decyzyjnych uczone metodą kontrastywnąpl
dc.typemasterpl
dspace.entity.typePublication
dc.abstract.enpl
Contrastive neural decision trees (CNDTs) are tree models based on neural networks trained on unsupervised data with contrastive loss. A CNDT is fundamentally interpretable as a decision tree offering interpretable clusters. However, it is also a neural network therefore can be trained with gradient descent to perform classification tasks effectively. This work will focus on exploring related works, with emphasis on understanding the core ideas connected to CNDTs. This work introduces a contrastive neural decision tree (CNDT) model for hierarchical clustering. CNDT is based on a contrastive self-supervised framework SimCLR and a distilled soft decision tree. Similarly to SimCLR, CNDT learns representations for visual input by maximizing the agreement between differently augmented views of the same sample. Furthermore, CNDT uses a soft decision tree, which is a neural network that mimics a decision tree to solve the problem of clustering. We evaluated the results of our model on MNIST and Fashion MNIST with two different deep clustering models - DeepECT a deep hierarchical clustering model, and Deep Spectral Clustering a deep flat clustering model.
dc.abstract.plpl
Kontrastowe neuronowe drzewa decyzyjne (CNDT) to modele drzew oparte na sieciach neuronowych trenowanych na danych nienadzorowanych ze stratą kontrastową. CNDT jest zasadniczo interpretowalne jako drzewo decyzyjne oferujące interpretowalne klastry. Jest to jednak również sieć neuronowa, dlatego może być trenowana metodą zstępowania gradientowego, aby skutecznie wykonywać zadania klasyfikacji. Niniejsza praca koncentruje się na badaniu powiązanych prac, z naciskiem na zrozumienie podstawowych idei związanych z CNDT. W niniejszej pracy przedstawiono model kontrastowego neuronowego drzewa decyzyjnego (CNDT) dla klasteryzacji hierarchicznej. CNDT opiera się na kontrastowym samonadzorowanym modelu SimCLR oraz na wydestylowanym miękkim drzewie decyzyjnym. Podobnie jak SimCLR, CNDT uczy się reprezentacji dla danych wizualnych poprzez maksymalizację zgodności pomiędzy różnymi rozszerzonymi widokami tej samej próbki. Ponadto, CNDT wykorzystuje miękkie drzewo decyzyjne, czyli sieć neuronową, która naśladuje drzewo decyzyjne, aby rozwiązać problem klastrowania. Wyniki działania naszego modelu ocenialiśmy na zbiorach MNIST i Fashion MNIST oraz porównaliśmy je z dwoma różnymi modelami klasteryzacji głębokiej - DeepECT oraz Deep Spectral Clustering.
dc.affiliationpl
Wydział Matematyki i Informatyki
dc.areapl
obszar nauk ścisłych
dc.contributor.advisorpl
Śmieja, Marek
dc.contributor.authorpl
Znaleźniak, Michał
dc.contributor.departmentbycodepl
UJK/WMI2
dc.contributor.reviewerpl
Śmieja, Marek
dc.contributor.reviewerpl
Podolak, Igor - 100165
dc.date.accessioned
2022-07-11T21:57:57Z
dc.date.available
2022-07-11T21:57:57Z
dc.date.submittedpl
2022-06-30
dc.fieldofstudypl
informatyka
dc.identifier.apdpl
diploma-158745-244281
dc.identifier.uri
https://ruj.uj.edu.pl/xmlui/handle/item/296136
dc.languagepl
eng
dc.subject.enpl
Hierarchical clustering, Deep learning, Decision trees, Neural Networks, Contrastive Learning
dc.subject.plpl
Klastrowanie hierarchiczne, Uczenie głębokie, Sieci neuronowe, Uczenie kontrastywne
dc.titlepl
Contrastive neural decision trees
dc.title.alternativepl
Drzewa decyzyjnych uczone metodą kontrastywną
dc.typepl
master
dspace.entity.type
Publication
Affiliations

* The migration of download and view statistics prior to the date of April 8, 2024 is in progress.

Views
0
Views per month

No access

No Thumbnail Available
Collections