The use of Artificial Intelligence in the fight against disinformation on the example of ChatGPT

Niniejsza praca magisterska jest poświęcona wykorzystaniu sztucznej inteligencji w walce z dezinformacją na przykładzie modelu ChatGPT. Pierwszy rozdział koncentruje się na dezinformacji oraz fact-checkingu. Omówiono w nim różne definicje oraz rodzaje dezinformacji, a także metody jej rozpowszechniania i zwalczania. Ponadto opisano stan fact-checkingu w Stanach Zjednoczonych, Wielkiej Brytanii i Polsce. Drugi rozdział został poświęcony sztucznej inteligencji: jej definicji oraz historii rozwoju. W tym rozdziale przybliżono także technologie wykorzystywane przez ChatGPT (NLP, GPT, RLHF, sieci neuronowe, ICL), jak i omówiono możliwe zastosowania tego narzędzia oraz jego ograniczenia. Dodatkowo opisano proces zautomatyzowanego fact-checking (AFC) oraz narzędzia mu służące tj.: ClaimBuster, Tech & Check, Candidates, Digest i Live oraz Chequeabot. W trzecim rozdziale przeprowadzono eksperyment polegający na zadawaniu ChatGPT pytań mających na celu weryfikację 188 fake newsów dotyczących szczepionek przeciw COVID-19 i przeanalizowanych przez platformę Demagog.org. Podsumowując, ChatGPT poprawnie zweryfikował 78% badanych fake newsów. Badania wykazały wrażliwość modelu na sposób formułowania pytania, zależność jego odpowiedzi od kontekstu rozmowy, a także skłonności do produkowania fałszywych informacji.

This thesis focuses on the use of artificial intelligence in the fight against disinformation, using the example of ChatGPT. The first chapter concentrates on disinformation and fact-checking. It discusses various definitions and types of disinformation, as well as methods of disseminating and fighting fake news. Moreover, the states of fact-checking in the United States, Great Britain and Poland were described. The second chapter is devoted to artificial intelligence: its definition and history. This chapter also introduces the technologies used by ChatGPT (NLP, GPT, RLHF, neural networks, ICL) as well as discusses the possible implementations of the tool and its limitations. Additionally, the process of automated fact-checking (AFC) and the tools used for it are presented, such as: ClaimBuster, Tech & Check, Candidates, Digest, Live and Checkabot. In the third chapter, an experiment was conducted in which ChatGPT was asked questions aimed at verifying 188 fake news about COVID-19 vaccines analyzed by the Demagog.org platform. In summary, ChatGPT correctly verified 78% of the tested fake news. The experiment has shown the model's sensitivity to the way the questions are formulated, its dependence on the context of the conversation, and its tendency to produce false information.