Zastosowanie głębokiego uczenia w przetwarzaniu języka naturalnego - serwis przetwarzający artykuły prasowe

Praca ma na celu wykorzystanie wybranych modeli uczenia maszynowego do stworzenia aplikacji webowej organizującej artykuły prasowe. W pracy omówiono dwa zadania przetwarzania języka naturalnego — abstrakcyjne streszczanie tekstu oraz rozpoznawania "nazwanych podmiotów". Do każdego z zadań dobrano trzy modele sieci neuronowych, które zostały zaimplementowane i wytrenowane od zera na kilku zbiorach danych, a ich wyniki i szybkość działania zostały następnie porównane. Wytrenowane modele zostały wykorzystane w aplikacji, gdzie przetwarzają artykuły prasowe pobierane za pomocą REST API z popularnych serwisów informacyjnych. Pobrane artykuły są tagowane i indeksowane za pomocą odpowiednich "nazwanych podmiotów" i do każdego z nich przypisywane jest krótkie streszczenie. Serwis umożliwia łatwiejsze odnajdowanie i przeglądanie artykułów z różnych źródeł, dotyczących tematów popularnych w danym okresie czasu.

This thesis aims to use selected machine learning models to develop a web service that organizes news articles. The thesis discusses two natural language processing tasks - abstractive text summarization and named-entity recognition. Three neural network models were selected for each task, implemented and trained from scratch on several datasets, and their performance and speed were then compared. Trained models were used in an application, where they process news articles taken from popular news sites, with the help of REST API. Selected articles are tagged and indexed with proper named-entities, and a short summary is assigned to each article. The service makes it easier to find and browse articles from a variety of sources, on topics that are popular over a period of time.