Practical approach to mutation testing through implementation and application of mutation anaylsis system based on .NET technology

Testowanie mutacyjne to zaawansowana technika wykorzystywana do projektowania testów oprogramowania oraz oceny jakości już istniejących testów. Stosowanie metody analizy mutacyjnej udoskonala proces testowania oprogramowania poprzez generowanie mutacji — niewielkich, symulowanych syntetycznych błędów w kodzie, które weryfikują jakość wytwarzanego oprogramowania oraz stosownych testów. Celem tej pracy jest przedstawienie podstawowych zasad, technik oraz popularnych narzędzi związanych z testowaniem mutacyjnym. Oprócz tego zostało rozwinięte jedno z narzędzi służące do automatycznego testowania mutacyjnego w środowisku .net — Stryker, o dodatkowy reporter, który umożliwia przeprowadzenie dogłębnej analizy mutacyjnej. To narządzie z użyciem zaimplementowanego dodatku zostało porównane z działaniem innego popularnego narzędzia, stosowanego w analizie mutacyjnej dla języka Java - PIT. Zaimplementowane rozwiązanie jest odpowiedzią na brak narzędzi wspierających dogłębną analizę wielu projektów, która może posłużyć do szerszych badań naukowych.

Mutation testing is an advanced technique used for designing software tests and evaluating the quality of existing tests. The mutation analysis method improves the software testing process by generating mutations – small, simulated synthetic errors in the code that verify the quality of the developed software and its corresponding tests. The aim of this study is to present the fundamental principles, techniques, and popular tools related to mutation testing. Furthermore, one of the tools for automated mutation testing in the .NET environment – Stryker, has been extended with an additional reporter that enables in-depth mutation analysis. This tool, with the implemented add-on, has been compared to the operation of another popular tool used in mutation analysis for the Java language – PIT. The implemented solution addresses the lack of tools supporting the analytical analysis of multiple projects, thereby facilitating broader scientific research.