N-Gram-Based Techniques Applications

W pracy przedstawiono pojęcie modelu n-gramowego oraz sposób budowania takiego modelu. Opisano historię użycia n-gramowej analizy informacji, a także wymieniono część jej współczesnych zastosowań. Przybliżono takie zastosowania jak rozpoznawanie mowy, identyfikacja autorstwa i kategoryzacja tekstów. Wykonano też eksperyment, który miał na celu zbadać skuteczność modeli n-gramowych w przewidywaniu kolejnych słów wpisywanej wiadomości e-mail. W celu ułatwienia przeprowadzenia eksperymentu, został stworzony program MailAnalyst, pozwalający na pobranie wiadomości e-mail wysłanych przez użytkownika, zbudowanie na ich podstawie modelów bi- i trigramowego oraz określenie ich skuteczności.

This master's thesis presents a concept of n-gram model and a method to build such model. It describes the history of n-gram based techniques and mentions a few of their contemporary applications. A closer look is taken at such applications as speech recognition, authorship attribution and text categorization. An experiment is performed to measure the effectiveness of n-gram models in predicting the words in an e-mail message being typed. A program called MailAnalyst was created for the purpose of conducting this experiment. The program is able to download e-mail messages that were sent by the user, build bi- and trigram models based on these messages and measure the effectiveness of the models.