Increasing validity of online research by implementing new tools and techniques

Bibliogr. s. 119-121

Celem artykułu jest przedstawienie nowych technik poprawiających jakość danych uzyskiwanych w badaniach przeprowadzanych online na przykładzie panelu Amazon MTurk. Poprzedzona kwerendą, krytyczna analiza literatury przedmiotu identyfikuje główne źródła zniekształcenia wyników, którymi są: bezrefleksyjność, działalność botów wypełniających ankiety oraz zachowania respondentów, klasyfikowane jako nadużycia lokalizacyjne interfejsu sieciowego IP. Wykorzystane podczas badania narzędzia oraz techniki wskazują na praktyczne sposoby zwiększania trafności uzyskiwanych danych poprzez rozpoznanie wyników zakłócających na poziomie 60%. Analiza otrzymanych danych potwierdza: 1) użyteczność zastosowanyc technik kontroli oraz 2) stosowalność zaproponowanego w tekście modelu operacjonalizacji czasu jako istotnego wskaźnika zachowań bezrefleksyjnych.

The aim of this paper is to present new techniques that increase the quality of data obtained through online research, basing on the example of Amazon MTurk. Using a critical analysis of the literature, preceded by a query, we identified the main sources of low-quality data such as careless responses, form-fill bots activity, and fraudulent behavior of manipulating IP addresses. The techniques implemented in the study offer several practical implications in terms of validity improvement. The results proved that 60% of observations were recognized as poor quality data. This confirms the applied control techniques to be useful and the proposed theoretical model of time operationalization to be an important indicator of careless responses.