Angażujące badania użyteczności

– Wyobraź sobie, że chcesz…. – od takich słów często zaczynamy zadanie w badaniach użyteczności. Odpowiednie wprowadzenie uczestnika badania w kontekst jest niezbędne, by poczuł, że faktycznie chce skorzystać z testowanej aplikacji w określonym celu. Jednak na ile możemy liczyć na jego wyobraźnię, jeżeli cel lub sposób realizacji zadania odbiegają od jego rzeczywistych potrzeb i doświadczeń?

Do takich rozmyślań skłoniło mnie badanie formularza rejestracji działalności gospodarczej, które przeprowadzałam niedawno w Łukasiewicz – PIT. Uczestnicy otrzymali do wprowadzenia listę testowych danych tak, aby nie musieli podawać własnych personaliów. Chcieliśmy też, by każdy rejestrował taką samą działalność. Dzięki temu mogliśmy mieć kontrolę nad przebiegiem badania, a następnie porównać jego wyniki. Pomimo to część uczestników w pewnym momencie wpisywała dane swoje lub związane z działalnością, którą planowali założyć, a korzystanie z aplikacji zaczynało przychodzić im naturalnie.

Dopiero po prośbie, by trzymać się testowych danych, uświadamiali sobie, że uzupełniali formularz rzeczywistymi danymi. To widoczne zaangażowanie uczestników, którzy korzystali z aplikacji tak, jakby realizowali swoją faktyczną potrzebę, przykuło moją uwagę. Zaczęłam się zastanawiać, czy w takich przypadkach nie warto zmienić podejścia do sposobu badania. Czytałam przecież już kiedyś o rodzaju scenariusza do badania, który wykorzystuje zadania oparte na wywiadzie (interview-based tasks) w książce Igi Mościchowskiej i Barbary Rogoś-Turek. Postanowiłam, że przy kolejnym badaniu gotowego produktu przetestuję tę metodę.

Okazja nadarzyła się, kiedy miałam zbadać produkcyjną wersję wyszukiwarki firm. Aplikacja miała już podłączoną prawdziwą bazę, więc można było z niej korzystać bez ograniczeń. Chyba każdy potrzebował kiedyś znaleźć dane konkretnej firmy. To, o jakie dane chodzi i do czego są potrzebne, jest jednak indywidualne w zależności od potrzeb użytkownika. Postanowiłam więc, że nie będę narzucać wszystkim badanym takiego samego zadania i kontekstu. W końcu jakiego zaangażowania można się spodziewać prosząc kogoś o odnalezienie informacji, które nie będą mu do niczego potrzebne?

Przygotowałam listę pytań do wywiadu, od którego chciałam rozpocząć badanie. Ich głównym celem było jak najlepsze poznanie uczestnika badania, jego doświadczeń z firmami i nawyków w korzystaniu z wyszukiwarek. Dzięki temu większość uczestników praktycznie sama wymyślała dla siebie zadania. W kolejnej części badania odwoływałam się już tylko do naszej rozmowy i prosiłam o wyszukanie informacji, o których rozmawialiśmy. Po przeprowadzeniu takich badań zebrałam kilka obserwacji, którymi chciałabym się z Tobą podzielić.

O czym pamiętać przygotowując takie badanie?

1. Ta metoda sprawdzi się najlepiej w badaniach gotowej aplikacji zawierającej realne informacje i dane. O treści wykonywanego zadania będziesz decydować w trakcie badania. Część z nich możesz przewidzieć, ale niektóre potrzeby uczestników mogą Cię zaskoczyć. Nie możesz więc przygotować danych tylko pod określony scenariusz. Jeżeli chcesz odwzorować realne doświadczenie korzystania z aplikacji, użytkownik powinien móc korzystać z niej bez ograniczeń.
2. Na wstępie wyjaśnij, że badanie rozpocznie się od rozmowy, której celem jest lepsze poznanie uczestnika i zrozumienie, w jakich sytuacjach mógłby korzystać z badanej aplikacji. Aby dobrze poznać rozmówcę, prawdopodobnie będziesz zadawać też pytania bardziej personalne, które mogą zaskoczyć osobę przygotowaną na testowanie aplikacji. Dlatego ważne jest wyjaśnienie, dlaczego takie pytania się pojawiają.
3. Koniecznie pamiętaj też o poinformowaniu uczestnika o możliwości odmowy udzielenia odpowiedzi. Jest to szczególnie ważne przy tego typu badaniach ze względu na ewentualne personalne pytania, o których wspomniałam już w punkcie wyżej. Uczestnicy mogą nie czuć się komfortowo odpowiadając na takie pytania obcej osobie.
4. Podczas wywiadu postaraj się unikać odpytywania i czytania pytań z listy. Pamiętaj o przygotowanych wcześniej kluczowych pytaniach, ale postaw na swobodną rozmowę. Jeżeli uczestnik poczuje się komfortowo rozmawiając z Tobą, masz większe szanse na to, że się otworzy i dzięki temu lepiej go poznasz. To z kolei pozwoli Ci dostosować zadanie tak, aby go zainteresowało.
5. Dopytuj, jeżeli uczestnik powie coś, co zwróciło Twoją uwagę i może być pomysłem na zadanie. Jeżeli odpowiedź jest mało rozwinięta, warto zgłębić temat, sparafrazować pytanie i zadać je jeszcze raz. Ludzie często nie pamiętają wszystkich swoich doświadczeń. Może się zdarzyć, że przy pierwszym pytaniu nie udzielą Ci wyczerpującej odpowiedzi, ale już przy następnym przypomną sobie coś, co będzie można wykorzystać.
6. Przygotuj sobie przykładowe zadania awaryjne. Może się zdarzyć, że trafisz na kogoś, kto nie będzie chciał się przed Tobą otworzyć. Nie uda Ci się więc dowiedzieć o nim wystarczająco dużo, by znaleźć inspirację do zadania. W takim wypadku warto mieć przygotowane zadania, które w miarę możliwości będą uniwersalne, a ich kontekst może dotyczyć większości osób. Jeszcze podczas wywiadu możesz zadać pytania odnoszące się do Twoich zadań awaryjnych („Czy zdarzyło Ci się kiedyś robić X?”, „Czy potrzebowałeś kiedyś X?”). Być może uda się w ten sposób wyselekcjonować zadanie awaryjne, które najbardziej pasuje do danej osoby.

Przykłady

Aby lepiej zobrazować, jak może przebiegać takie badanie i jak zastosować wyżej wymienione wskazówki, opiszę dwa przykłady z przeprowadzonego badania wyszukiwarki firm.

Przykład 1

Uczestnik zapytany o swoją pracę opowiada o swoim zawodzie i pracy na etacie. Na pytanie, czy szukał kiedyś informacji o firmach, opowiada, że w pracy współpracuje z innymi firmami i szuka czasem do nich kontaktu.

W drugiej części badania moderator pyta uczestnika, czy może przypomnieć sobie nazwę jednej z firm, z którymi współpracuje. Po odpowiedzi twierdzącej, moderator odwołuje się do rozmowy i prosi uczestnika, by wyobraził sobie, że jest w pracy i potrzebuje znaleźć adres e-mail do tej firmy.

Przykład 2

Uczestnik odpowiada na pytania zdawkowo. Moderator po zadaniu wszystkich pytań z listy nadal nie ma pomysłu na zadanie. Jako awaryjne przygotowano między innymi zadanie, które polega na weryfikacji firmy świadczącej usługi napraw usterek domowych. Moderator pyta uczestnika, czy zdarza mu się wzywać fachowca do naprawy usterki. Uczestnik odpowiada twierdząco.

W drugiej części badania moderator podaje uczestnikowi przykładową nazwę firmy hydraulicznej. Prosi go, by wyobraził sobie, że ma usterkę w łazience i znalazł fachowca, którego chciałby zatrudnić. Najpierw chce jednak zweryfikować, czy ma on zarejestrowaną firmę.

Plusy

1. Metoda umożliwia przebadanie różnych scenariuszy zbliżonych do realnego użycia, ponieważ czerpiesz inspirację od samych użytkowników. Dzięki temu masz szerszy obraz tego, w jaki sposób aplikacja może być wykorzystywana, a także jakie są jej mocne i słabe strony.
2. Takie zadania bardziej angażują użytkowników. Możesz więc obserwować ich w bardziej naturalnej sytuacji, w której sami korzystaliby z aplikacji. Jeżeli uda Ci się dostosować zadanie tak, by uczestnik poczuł się, jakby załatwiał swoją sprawę, jego zaangażowanie może sprawić, że wyjdzie poza ramy określonego zadania i będzie z ciekawości eksplorować różne opcje. W takiej sytuacji badanie może nawet wykazać błędy w aplikacji, które nie zostałyby znalezione, gdyby wszyscy badani dostali to samo zadanie.
3. Uczestnicy widzą wartość aplikacji i budzi ona ich większe zainteresowanie. Dzięki temu mogą mieć poczucie, że wartościowo spędzili czas na badaniu i dowiedzieli się czegoś ciekawego.
4. Ty również dobrze się bawisz! Nie ma tu rutyny przeprowadzania kilku identycznych badań pod rząd. Każde jest zupełnie inne i pozwala Ci spojrzeć na aplikację z nowej perspektywy. Każda sesja jest też wyzwaniem, by odpowiednio dopasować zadanie do rozmówcy.

Minusy

1. Każdy uczestnik wykonuje inne zadanie, więc uzyskane wyniki nie są powtarzalne i można je analizować wyłącznie jakościowo. Przez brak powtarzalności taka analiza jest wyjątkowo wymagająca.
2. Jeżeli interesuje Cię zbadanie konkretnych elementów aplikacji, musisz pilnować, by uczestnik z nich skorzystał. Metoda daje uczestnikowi dużą swobodę w wykonaniu zadania, więc może się zdarzyć, że wykona je pomijając zupełnie interesujący Cię element. W takiej sytuacji po zakończeniu wykonywania zadania warto poprosić uczestnika o wykonanie dodatkowego, krótkiego zadania wymagającego skorzystania z tego elementu lub dopytać, czy zwrócił na niego uwagę i dlaczego z niego nie skorzystał.
3. Prowadzenie takiego badania jest bardziej wymagające dla moderatora ze względu na brak możliwości przygotowania się pod konkretny scenariusz i konieczność improwizacji w jego trakcie. Moderator musi być bardzo dobrze przygotowany do wywiadu i wiedzieć, w jakim kierunku poprowadzić rozmowę, by dojść do pomysłu na zadanie.

Bibliografia

Badania jako podstawa projektowania User Experience, I. Mościchowska, B Rogoś-Turek,  Wydawnictwo Naukowe PWN, Warszawa, 2015

Center Centre – UIE,  https://articles.uie.com/interview_based_tasks/

Perfetti Media, https://perfettimedia.com/articles/usability-tests-in-a-nutshell-part-3-creating-tasks/