Self-explanatory graph neural networks based on prototypical parts

Proces przewidywania własności molekuły jeszcze przed syntezą jest często bardzo niepewny i kosztowny. Dzięki rosnącej liczbie zsyntetyzowanych i opisanych próbek jesteśmy w stanie odrzucić przy użyciu rozwiązań informatycznych wiele związków, które nie spełniają naszych kryteriów. Często do wstępnej filtracji używamy metod nauczania maszynowego. W tej pracy chcemy zaproponować nowatorskie rozwiązanie Prototypical Graph Regression Self-explainable Trees (ProGReST), które jest połączeniem standardowych sieci do przetwarzania grafów z miękkim drzewem decyzyjnym, w którym liście są prototypami. W porównaniu do innych interpretowalnych modeli nasz ProGReST jest w stanie poradzić sobie z bardziej skomplikowanymi zadaniami, jak np. przewidywanie własności molekularnych. Dodatkową cechą wyróżniającą naszą architekturę jest warstwa prototypów, która zapewnia interpretowalność. Zastosowanie zarówno warstwy prototypowej wraz z miękkim drzewem decyzyjnym daje nam dobre i klarowne wyjaśnienie decyzji modelu, co zostało potwierdzone przez ekspertów z zakresu chemii. Prócz tego zaproponowaliśmy nowy, szybszy sposób projekcji prototypów, który nie był opisywany dla problemów grafowych. Na koniec przetestowaliśmy nasz model dla szeroko wykorzystywanych datasetów w celu weryfikacji wyników. Nasza metoda osiągnęła wyniki zbliżone, a w pewnych przypadkach nawet i lepsze od dobrze znanych rozwiązań z zakresu głębokiego nauczania dla chemioinformatyki.

The process of predicting the properties of a molecule before synthesis is often very uncertain and expensive. Due to the growing number of synthesized and described chemical compounds, we are able to reject many of them using IT solutions that do not meet our criteria. We often use machine learning methods for filtration. In this paper we want to propose the novel Prototypical Graph Regression Self-explainable Trees (ProGReST) model, which is a combination of standard networks for graph processing with a soft decision tree in which leaves are prototypes. Compared to other interpretable models, our ProGReST can be used to address various challenging tasks, such as predicting molecular properties. An additional feature that distinguishes our architecture is the prototype layer, which ensures interpretability. The use of both the prototype layer and a soft decision tree gives us a good and clear explanation of the model decision, which was confirmed by chemistry experts. In addition, we proposed a new, faster way of projecting prototypes, which was not described for graph problems. Finally, we tested our model on a wide variety of chemical datasets to validate the results. Our method achieved results similar to, and in some cases even better than, known deep learning solutions in cheminformatics.