Badanie to dotyczy sztucznej inteligencji zorientowanej na człowieka (HCAI) i koncentruje się na wynikach oceny powszechnie stosowanych algorytmów wyjaśniającej sztucznej inteligencji (XAI) z punktu widzenia użytkownika, w szczególności badając, w jaki sposób ludzie rozumieją wyjaśnienia dostarczane przez te algorytmy i wchodzą z nimi w interakcję. Aby to osiągnąć, zastosowaliśmy podejście multidyscyplinarne, które obejmowało najnowocześniejsze metody badawcze z zakresu nauk społecznych w celu zmierzenia zrozumiałości wyjaśnień generowanych przez najnowocześniejszy model uczenia maszynowego, a konkretnie klasyfikator Gradient Boosting Classifier (XGBClassifier). Przeprowadziliśmy szeroko zakrojone empiryczne badanie użytkowników, obejmujące wywiady z 39 uczestnikami z trzech różnych grup, z których każda miała różny poziom wiedzy specjalistycznej w zakresie nauki o danych, wizualizacji danych oraz wiedzy dziedzinowej związanej z zestawem danych wykorzystanym do szkolenia modelu uczenia maszynowego. Uczestnikom zadano serię pytań, aby ocenić ich zrozumienie wyjaśnień modelu. Aby zapewnić powtarzalność, zbudowaliśmy model przy użyciu publicznie dostępnego zbioru danych z repozytorium uczenia maszynowego Uniwersytetu Kalifornijskiego w Irvine, koncentrując się na grzybach jadalnych i niejadalnych. Nasze ustalenia ujawniają ograniczenia istniejących metod XAI i potwierdzają potrzebę opracowania nowych zasad projektowania i technik oceny, które uwzględniają konkretne potrzeby informacyjne i perspektywy użytkowników różnych klas interesariuszy sztucznej inteligencji (AI). Uważamy, że wyniki naszych badań i opracowana przez nas metodologia interdyscyplinarna mogą być z powodzeniem dostosowane do różnych typów danych i profili użytkowników, promując w ten sposób dialog i możliwości w badaniach HCAI. Aby to wesprzeć, udostępniamy publicznie dane wynikające z naszych badań.

This study is located in the Human-Centered Artificial Intelligence (HCAI) and focuses on the results of a user-centered assessment of commonly used eXplainable Artificial Intelligence (XAI) algorithms, specifically investigating how humans understand and interact with the explanations provided by these algorithms. To achieve this, we employed a multi-disciplinary approach that included state-of-the-art research methods from social sciences to measure the comprehensibility of explanations generated by a state-of-the-art machine learning model, specifically the Gradient Boosting Classifier (XGBClassifier). We conducted an extensive empirical user study involving interviews with 39 participants from three different groups, each with varying expertise in data science, data visualisation, and domain-specific knowledge related to the dataset used for training the machine learning model. Participants were asked a series of questions to assess their understanding of the model’s explanations. To ensure replicability, we built the model using a publicly available dataset from the University of California Irvine Machine Learning Repository, focusing on edible and non-edible mushrooms. Our findings reveal limitations in existing XAI methods and confirm the need for new design principles and evaluation techniques that address the specific information needs and user perspectives of different classes of artificial intelligence (AI) stakeholders. We believe that the results of our research and the cross-disciplinary methodology we developed can be successfully adapted to various data types and user profiles, thus promoting dialogue and address opportunities in HCAI research. To support this, we are making the data resulting from our study publicly available.