Ocena jakości tłumaczenia maszynowego treści audiowizualnych wykonywana przez człowieka oraz z wykorzystaniem metryk do oceny automatycznej

Celem niniejszej pracy magisterskiej była ocena jakości tłumaczenia maszynowego treści audiowizualnych przez człowieka oraz z wykorzystaniem metryk do oceny automatycznej. Praca składa się z dwóch części: teoretycznej oraz badawczej. W pierwszym rozdziale opisana została historia i rozwój tłumaczeń audiowizualnych oraz podział na trzy typy: dubbing, lektora i napisy. Ponadto pierwszy rozdział zawiera omówienie problematyki związanej z tłumaczeniami audiowizualnymi: potrzebę kompensacji oraz różnorodność rejestrów i odniesień kulturowych, a także opis charakterystyki tłumaczeń filmów dokumentalnych wraz z trzema podstawowymi typami wypowiedzi. Drugi rozdział przedstawia historię tłumaczenia maszynowego, z naciskiem na statystyczne i neuronalne tłumaczenie maszynowe, oraz problematykę wykorzystania tłumaczenia maszynowego w dziedzinie przekładu audiowizualnego. Poruszono w nim również zagadnienie oceny jakości tłumaczenia maszynowego przez człowieka oraz z wykorzystaniem metryk automatycznych, a także przytoczono głosy krytyki związane z posługiwaniem się tymi narzędziami. W trzecim rozdziale, który stanowi badawczą część pracy, opisano badanie poświęcone ewaluacji jakości tłumaczeń maszynowych wyżej wymienionych treści, które przeprowadzono z wykorzystaniem metryk automatycznych oraz metryk stosowanych podczas ewaluacji wykonywanej przez człowieka. Rozdział zawiera informacje na temat celów badania, pytań badawczych, korpusu, wykorzystanych w badaniu danych oraz metodę badawczą, która obejmowała ewaluację jakości tłumaczeń maszynowych z wykorzystaniem automatycznych metryk BLEU, TER i chrF3 oraz metryk stosowanych do celów ewaluacji wykonywanej przez człowieka: modelu LISA QA i pięciopunktowej skali dokładności. Na zakończenie rozdziału sformułowano ostateczne wnioski oraz zaproponowano kierunek dalszych badań.

The objective of present thesis was to evaluate the quality of machine-translated audiovisual content with the use of human and automated quality evaluation metrics. The thesis constitutes of two parts: theoretical and empirical. In Chapter One, a history and evolution of audiovisual translation is described, including different types of audiovisual translation (AVT): dubbing, voice-over and subtitling. Moreover, this part presents a range of problems related to AVT, including the need for compensation or a variety of registers and cultural references, and the nature of documentary translation with regard to three types of documentary discourse. Chapter Two begins with an overview of machine translation (MT) systems, including statistical and neural, and challenges arising from the implementation of MT engines in the translation of audiovisual content. Subsequently, automated and human methods for the evaluation of the quality of MT output are described, including the criticism each of the methods has received. Chapter Three, which constitutes the empirical part of the dissertation, is an account of research into the evaluation of the quality of machine-translated audiovisual content. It discusses the research objectives, research questions, corpus of data and research method, which consisted in evaluating MT output with the use of automated metrics, BLEU, TER and chrF3 scores, and human evaluation metrics – LISA QA Model and accuracy measure. The chapter ends with the final conclusions and implications for further research.