Anleitung für einen Remote Usability-Test

Usability-Tests dienen dazu Produkte auf Nutzerfreundlichkeit zu testen. Die zu testenden Produkte können physischer Natur sein, es kann sich aber auch um ein digitales Produkt oder einen digitalen Service handeln – also beispielsweise um eine App, eine Desktop-Anwendung oder Webseite.

Zur Durchführung eines solchen Tests werden mehrere Teilnehmer eingeladen, die den realen Nutzer des Produkts (bestmöglich) entsprechen. Die Teilnehmer testen in einzelnen Sessions das Produkt. Sie erhalten mehrere Aufgaben, die sie ausführen und werden dabei vom Moderator des Tests beobachtet. Anhand ihrer Vorgehensweise und Äußerungen (bei diesem Test wird laut gedacht) ergibt sich ein tiefer Einblick in ihr Verhalten, in ihre Denke und Vorgehensweise. Auf diese Weise werden Fehlerquellen, Verunsicherungen und Möglichkeiten aufgedeckt, anhand derer das Produkt optimiert werden kann, so dass es den Wünschen und Verhaltensweisen der Nutzer besser entspricht.

Usability-Tests können in dafür entwickelten Laboren durchgeführt werden, im Büro (es braucht dafür nur einen ruhigen Raum und ggf. technisches Equipment) oder die Tests erfolgen remote. Wie letzteres geplant, durchgeführt und moderiert wird, erfährst du in diesem Artikel.

Was bringt ein Usability-Test?

Ein Usability-Test gibt tiefe Einblicke in das Nutzerverhalten und ermöglicht:

• Validierung der Design-Richtung (bitte nicht als rein visuelles Design-Feedback verstehen: Es geht insbesondere auch um die Informations-Architektur, die Strukturierung und Darbietung der Inhalte, das Wording,…)
• Einblicke in die verschiedenen Verhaltensmuster (lernen, dass der Nutzer nicht dumm ist, sondern dass wir alle sehr unterschiedlich denken und agieren)
• Aufdeckung von Fehlern, Verwechslungsgefahren und Verunsicherungen
• Erkennung von weniger geschätzten Features und wenig intuitiven Funktionsweisen
• Entwicklung von Empathie gegenüber den Usern und ihrer Experiences, um diese zu verbessern und zu optimieren

Wie ein Remote Usability-Test funktioniert

Vor dem Test erfolgt die Planung: Welche Bereiche und einzelnen Objekte des Produkts sollen getestet werden, z. B. der Warenkorb und Check-out-Prozess. Basierend auf den Test-Objekten werden Aufgaben (Szenarien) erstellt, die der Teilnehmer bekommt und durchspielt und anhand derer die Usability des Produkts getestet wird. Am besten erstellst du vorab eine Liste von Dingen, zu denen Feedback erwünscht ist und dann schaust du im weiteren Verlauf, welche Aufgaben sich daraus ergeben und wie sie in den zeitlichen Rahmen passen (meist 10-15 Aufgaben).

• Optional kann vorab ein kurzes Interview durchgeführt werden. Ein Usability-Test bietet die Möglichkeit vor und nach dem Test ein paar Fragen zu stellen. Ob das sinnvoll ist, hängt von der jeweiligen Situation ab. Vorab-Fragen können z. B. sein:

– Wurde das zu testende Produkt zuvor genutzt?
– Wurden vergleichbare Produkte verwendet?
– Welche Endgeräte kommen bei der Nutzung zum Einsatz?

Dieses Interview sollte kurz gehalten werden und nicht mehr als 6-10 Fragen beinhalten.

• Nach dem Interview teilt der Teilnehmer seinen Bildschirm und startet mit den zuvor definierten Aufgaben (Szenarien), anhand derer die einzelnen Objekte im Produkt getestet werden. Der Moderator des Tests beobachtet den Teilnehmer dabei. Während der Teilnehmer die Aufgaben ausführt, sollte er laut denken, damit auch die Gedanken nachvollziehbar sind. Ziel ist es, sein Verhalten zu beobachten und seine Gedanken festzuhalten, um beides später analysieren zu können.

• Nach dem Durchspielen der Szenarien können optional nochmal Fragen gestellt werden, beispielsweise:

– Was wäre ein Grund, das Produkt erneut zu nutzen?
– Wenn der Teilnehmer etwas ändern könnte, was wäre das?
– Was hat ihm besonders gut gefallen?
– Was hat ihm nicht gefallen? 

Auch hier gilt, nur ein kurzes Interview mit den wichtigsten Fragen zu veranstalten.

• Danksagung & Verabschiedung des Teilnehmers

Wie du einen Remote Usability-Test planst

1. Rekrutiere die Teilnehmer & informiere sie ☎️

Schon beim Rekruiting lohnt es sich abzufragen, ob jeder Teilnehmer das benötigte Equipment hat. Für einen Remote Usability-Test braucht es ein internetfähiges Endgerät (ggf. ein spezifisches, wenn es sich beispielsweise um eine Desktop-Anwendung handelt, braucht es einen Laptop oder Desktop-Rechner). Es empfiehlt sich auch eine Kamera für ein Face-to Face-Gespräch. Ganz wichtig: Es sollte auch abgefragt werden, ob die Teilnehmer der Aufnahme des Tests und der Verarbeitung der Daten zustimmen.

2. Definiere das Produkt und die Bereiche des Produkts, die du testen willst 🤳

3. Entwickle Aufgaben basierend auf den Test-Objekten ✍️

Entwickle die Aufgaben (Szenarien), die der User während des Tests ausführen soll um die Usability des Produkts zu testen. Am besten erstellst du eine Liste mit den Test-Objekten, Aufgaben und Lösungen, die du während des Tests einsehen kannst.

Am besten planst du den Test anhand einer Tabelle, die deutlich macht, welche Aufgabe dem Teilnehmer zu welchem Test-Objekt gestellt wird.

4. Informiere die Teilnehmer über die Vorgehensweise 🗣

5. Entwerfe dein Test-Setup 💻

• Welches Endgerät willst du nutzen?
• Welches Video-Konferenz-Tool kommt zum Einsatz?
• Hast du eine Kamera, die ein Face-to-Face-Gespräch ermöglicht?
• Wie nimmst du die einzelnen Sessions auf?
• Wie kannst du dir  Notizen während des Tests machen?
• Welche Unterlagen benötigst du (Teilnehmer-Liste, Vorab-Fragebögen, Fragebögen für die Nachbefragung,…)

6. Führe einen Pilot-Test durch 🚀

Wie du einen Remote Usability-Test durchführst

1. Bereite dein Equipment vor

2. Begrüße den Teilnehmer und erkläre die Vorgehensweise

• Danke dem Nutzer zunächst für die Teilnahme und für die tolle Unterstützung.
• Erkläre welchem Zweck der Usability-Test dient und wie der Usability-Test abläuft.
• Ganz wichtig: Erinnere daran, dass der Test aufgenommen wird und erkläre kurz, wie die Daten genutzt werden (anonym, in welchem Umfang…).
• Bitte den User während des Tests laut zu denken, damit du seine Gedanken nachvollziehen kannst.
• Starte ggf. mit den Vorab-Fragen und schließlich mit dem Usability-Test.

3. Verfolge deinen Plan

Teste nacheinander die zuvor definierten Test-Objekte und stelle dem Teilnehmer die entsprechenden Aufgaben. Es ist im Übrigen nicht deine Aufgabe, Fragen zu beantworten oder Hilfestellungen zu geben. Beides würde das Test-Ergebnis beeinflussen. Sollte der Teilnehmer dich um Hilfe bitten, erkläre ihm, dass das nicht deine Aufgabe ist und du ihm leider nicht helfen kannst. Er hat aber immer die Möglichkeit , die Aufgabe abzubrechen, wenn er nicht weiter weiß. Starte ggf. mit der Nachbefragung, sobald ihr mit den Test-Objekten und einzelnen Aufgaben durch seid.

4. Beende den Test

Wie du einen Remote Usability-Test moderierst

1. Sorge für ein Wohlgefühl beim Teilnehmer 👸

2. Halte dich während des Tests zurück 🙊

3. Erinnere den Teilnehmer laut zu denken 📢

4. Gib dem Teilnehmer Sicherheit ⛑️

5. Vermeide es zu helfen und Fragen zum Produkt zu beantworten 💂‍♀️

Wie du einen Usability-Report erstellst

Bevor du den Report schreibst, ist es sinnvoll all die gesammelten Daten zu codieren. Dass heißt, du notierst Zeiten (wie lange hat der Teilnehmer gebraucht, um die jeweilige Aufgabe zu lösen), Erfolgsraten (wurde die Aufgabe gelöst) und Aussagen, die wiederholt getroffen wurden (von einem oder mehreren Teilnehmern). Du notierst relevante Verhaltensweisen und Auffälligkeiten und sortierst die Daten in zuvor definierte Kategorien. Z. B. in: Erfolgsraten, Verhaltensfluss (welche Schritte haben die einzelnen Kandidaten gemacht um die jeweilige Aufgabe zu lösen), Fehlerquellen, Unsicherheiten, Probleme und Zitate.

• Ziel, Methode & Testpersonen
  Fasse zunächst das Ziel des Tests zusammen, erwähne die Methode und führe auf, wer getestet wurde.

• Kurze Zusammenfassung
  Beschreibe die wichtigsten Erkenntnisse aus dem Usability-Test und die Learnings in Bezug auf die User Experience des Produkts.

• Fakten-Überblick
  Kommuniziere kurz die Fakten, ohne zu sehr ins Detail zu gehen. Gestalte eine Übersicht der Test-Aufgaben und dazu beispielsweise folgende Metriken:
  – Erfolgsraten
  – Fehlerraten
  – Subjektives Empfinden der Teilnehmer (happy, okay, unhappy…)

• Details
  Teile jetzt die einzelnen Aufgaben samt ihrer Ergebnisse und Erkenntnisse. Führe auf, was du beim Test gelernt hast. Wo sind aus welchen Gründen Probleme entstanden, wo gab es Irritationen, was lief gut? Auch wenn du hier mehr ins Detail gehst, bleib bei den wesentlichen und relevanten Aussagen. Füge Screenshots und Zitate hinzu, damit die Stakeholder besser nachvollziehen können, was passiert ist. Es ist an dieser Stelle auch erlaubt, erste Ideen zur Problemlösung aufzuführen.

• Ggf. Interview-Ergebnisse
  Wenn es vor und/oder nach dem Test noch eine kurze Umfrage gab, ergänze auch diese Ergebnisse in deinem Report.

Wer schonmal einen Usability-Test durchgeführt hat, wird sicher bestätigen, dass diese Methode äußerst hilfreich ist und wertvolle Erkenntnisse liefert. Häufig werden mehr Erkenntnisse gesammelt als vermutet und die Ergebnisse sind oft überraschend. Gut analysiert bieten sie wertvolle Optimierungsmöglichkeiten und helfen das Produkt messbar zu verbessern.

Mehr UX Artikel: