Duże Modele Językowe jako Narzędzie do Tłumaczenia Maszynowego: Porównanie Skuteczności Systemów LLM i NMT w Tłumaczeniu z Polskiego na Angielski

Ostatnie osiągnięcia w rozwoju dużych modeli językowych (LLM) wywarły istotny wpływ na dziedzinę przetwarzania języka naturalnego. Poza szerokim spektrum zastosowań w zakresie różnorodnych zadań językowych, LLM wykazują również imponujące zdolności tłumaczeniowe. Niniejsze badanie ma na celu ocenę i porównanie wydajności dużego modelu językowego (ChatGPT) w tłumaczeniu tekstów z języka polskiego na angielski z systemem DeepL, wykorzystującym technologię neuronowego tłumaczenia maszynowego (NMT). W pierwszym rozdziale zostały omówione różne teorie i strategie tłumaczeniowe w celu określenia co stanowi „dobre” tłumaczenie. Drugi rozdział przedstawia historię ewolucji tłumaczenia maszynowego z naciskiem na analizę wydajności obecnie wiodącej technologii NMT. Trzeci rozdział koncentruje się na systemach LLM i ich skuteczności w tłumaczeniu na podstawie istniejących badań. Część praktyczna pracy obejmuje porównawczą analizę językową angielskich tłumaczeń wygenerowanych przez ChatGPT i DeepL. Celem analizy jest identyfikacja charakterystycznych cech tłumaczeń wygenerowanych przez oba te systemy oraz błędów w nich występujących. Wyniki badania wskazują, że ChatGPT ma tendencję do tworzenia tłumaczeń mniej dosłownych niż tłumaczenia DeepL, lecz wyróżniających się większą płynnością i poprawnością językową, zwłaszcza pod kątem semantycznym.

The recent advancements in the development of Large Language Models (LLM) have profoundly impacted the field of natural language processing. Alongside their manifold capabilities in handling diverse language-related tasks, LLMs have also been shown to exhibit remarkable prowess in translation. This research aims to examine the performance of an LLM (ChatGPT) in Polish-to-English translation and compare it to that of an NMT system (DeepL). In the first chapter, various translation theories and strategies are explored to help establish what constitutes a “good” translation. The second one encompasses the history of the evolution of machine translation and examines the translation performance of the current NMT approach. The third chapter is devoted to LLMs and their efficacy in translation as demonstrated in selected existing studies. The practical section of the thesis comprises a comparative linguistic analysis of ChatGPT- and DeepL-generated English translations of Polish journalistic texts. The purpose of the analysis is to determine their respective characteristic features and identify errors present in them. The findings of the thesis unveil that ChatGPT tends to produce renderings that are less literal than DeepL outputs but are characterized by a higher degree of fluency and linguistic correctness, especially in terms of semantics.