Anleitung für einen Remote Usability-Test

Sep 28, 2021

Usability-Tests dienen dazu Produkte auf Nutzerfreundlichkeit zu testen. Die zu testenden Produkte können physischer Natur sein, es kann sich aber auch um ein digitales Produkt oder einen digitalen Service handeln – also beispielsweise um eine App, eine Desktop-Anwendung oder Webseite.

Zur Durchführung eines solchen Tests werden mehrere Teilnehmer eingeladen, die den realen Nutzer des Produkts (bestmöglich) entsprechen. Die Teilnehmer testen in einzelnen Sessions das Produkt. Sie erhalten mehrere Aufgaben, die sie ausführen und werden dabei vom Moderator des Tests beobachtet. Anhand ihrer Vorgehensweise und Äußerungen (bei diesem Test wird laut gedacht) ergibt sich ein tiefer Einblick in ihr Verhalten, in ihre Denke und Vorgehensweise. Auf diese Weise werden Fehlerquellen, Verunsicherungen und Möglichkeiten aufgedeckt, anhand derer das Produkt optimiert werden kann, so dass es den Wünschen und Verhaltensweisen der Nutzer besser entspricht.

Usability-Tests können in dafür entwickelten Laboren durchgeführt werden, im Büro (es braucht dafür nur einen ruhigen Raum und ggf. technisches Equipment) oder die Tests erfolgen remote. Wie letzteres geplant, durchgeführt und moderiert wird, erfährst du in diesem Artikel.

Illustration eine Usability-Test-Labors (Zwei Personen sitzen in getrennten Räumen)

Usability Lab: Moderator und Teilnehmer sitzen in getrennten Räumen an einem Ort. Per Mikrofon und Fernübertragung sind die beiden im Austausch.

Illustration eines Usability Tests im Büro (beide Personen sitzen in einem Raum)
Usability-Test im Büro: Moderator und Teilnehmer sitzen in einem ruhigen Büro- oder Meetingraum mit entsprechendem Equipment.
Illustration eines Remote Usability Tests (Person sitzt vor Monitor bei einer Video-Konferenz)

Remote Usability-Test: Moderator und Teilnehmer sitzen an unterschiedlichen Orten an einem internetfähigem Endgerät und nutzen ein Konferenz-Tool.

Ein Usability-Test deckt auf, wie effektiv sich ein Produkt nutzen lässt. Ziel ist herauszufinden, wie User das Produkt erleben und wie sie damit interagieren: Können Nutzer ihre Ziele effektiv mit dem Produkt erreichen? Finden sie auf Anhieb was sie suchen? Oder gibt es Probleme bei der Nutzung? Der Test bietet Produkt Entwicklern, UX Designern und Stakeholdern die Möglichkeit aus erster Hand zu erleben, wie User das Produkt verwenden und was sie dabei empfinden. Das zu ergründen ist äußerst smart, denn eine gute Usability ist einer der Schlüsselfaktoren, warum Nutzer ein Produkt bevorzugt und wiederholt verwenden.

Ein Usability-Test gibt tiefe Einblicke in das Nutzerverhalten und ermöglicht:

  • Validierung der Design-Richtung (bitte nicht als rein visuelles Design-Feedback verstehen: Es geht insbesondere auch um die Informations-Architektur, die Strukturierung und Darbietung der Inhalte, das Wording,…)
  • Einblicke in die verschiedenen Verhaltensmuster (lernen, dass der Nutzer nicht dumm ist, sondern dass wir alle sehr unterschiedlich denken und agieren)
  • Aufdeckung von Fehlern, Verwechslungsgefahren und Verunsicherungen
  • Erkennung von weniger geschätzten Features und wenig intuitiven Funktionsweisen
  • Entwicklung von Empathie gegenüber den Usern und ihrer Experiences, um diese zu verbessern und zu optimieren
Usability-Tests können an bereits veröffentlichten Produkten durchgeführt werden oder während der Entwicklungsphase anhand von Papier-Prototypen oder Klick-Dummies.

Wie ein Remote Usability-Test funktioniert

Illustration eines Remote Usability Tests (Person sitzt vor Monitor bei einer Video-Konferenz)
Je nach zu testendem Produkt wird eine bestimmte Anzahl an Teilnehmern zum Remote Usability-Test eingeladen. Dabei wird jeder Teilnehmer einzeln getestet. Die Test-Sessions können beispielsweise via Zoom oder Microsoft Teams erfolgen. Beide Tools erlauben das Sharen des Bildschirms und die Aufnahme des Calls – beides ist erforderlich für den Test. Der angesetzte Zeitraum für einen Test beläuft sich in der Regel auf 60-90 min. Längere Sessions würden die Teilnehmer überfordern.

Vor dem Test erfolgt die Planung: Welche Bereiche und einzelnen Objekte des Produkts sollen getestet werden, z. B. der Warenkorb und Check-out-Prozess. Basierend auf den Test-Objekten werden Aufgaben (Szenarien) erstellt, die der Teilnehmer bekommt und durchspielt und anhand derer die Usability des Produkts getestet wird. Am besten erstellst du vorab eine Liste von Dingen, zu denen Feedback erwünscht ist und dann schaust du im weiteren Verlauf, welche Aufgaben sich daraus ergeben und wie sie in den zeitlichen Rahmen passen (meist 10-15 Aufgaben).

Nach Begrüßung des Teilnehmers erfolgt in der Regel folgender Ablauf:
  • Optional kann vorab ein kurzes Interview durchgeführt werden. Ein Usability-Test bietet die Möglichkeit vor und nach dem Test ein paar Fragen zu stellen. Ob das sinnvoll ist, hängt von der jeweiligen Situation ab. Vorab-Fragen können z. B. sein:
    – Wurde das zu testende Produkt zuvor genutzt?
    – Wurden vergleichbare Produkte verwendet?
    – Welche Endgeräte kommen bei der Nutzung zum Einsatz?

Dieses Interview sollte kurz gehalten werden und nicht mehr als 6-10 Fragen beinhalten.

  • Nach dem Interview teilt der Teilnehmer seinen Bildschirm und startet mit den zuvor definierten Aufgaben (Szenarien), anhand derer die einzelnen Objekte im Produkt getestet werden. Der Moderator des Tests beobachtet den Teilnehmer dabei. Während der Teilnehmer die Aufgaben ausführt, sollte er laut denken, damit auch die Gedanken nachvollziehbar sind. Ziel ist es, sein Verhalten zu beobachten und seine Gedanken festzuhalten, um beides später analysieren zu können.
  • Nach dem Durchspielen der Szenarien können optional nochmal Fragen gestellt werden, beispielsweise:
    – Was wäre ein Grund, das Produkt erneut zu nutzen?
    – Wenn der Teilnehmer etwas ändern könnte, was wäre das?
    – Was hat ihm besonders gut gefallen?
    – Was hat ihm nicht gefallen? 

    Auch hier gilt, nur ein kurzes Interview mit den wichtigsten Fragen zu veranstalten.

  • Danksagung & Verabschiedung des Teilnehmers

Wie du einen Remote Usability-Test planst

Mit einer guten Vorbereitung ist es wahrscheinlicher, dass der Usability-Test ein Erfolg wird und wertvolle Insights liefert. Die nachfolgenden Schritte helfen dir einen Usability-Test  zu planen und sicherzustellen, dass alles Benötigte vorhanden ist.

1. Rekrutiere die Teilnehmer & informiere sie ☎️

Rekrutiere Teilnehmer, die den Nutzern des zu testenden Produktes entsprechen. Das können Bestandskunden sein oder Menschen, die den Nutzern in ihren Erfahrungswerten und Verhaltensweisen möglichst ähnlich sind. Die Nielsen Norman Group empfiehlt rund 5 Teilnehmer für einen Usability-Test und nur mehr, wenn das zu testende Produkt mehrere sehr unterschiedliche Nutzergruppen hat. Die IxDF empfiehlt 8-10 Teilnehmer. Du brauchst also genug Teilnehmer um ein valides Ergebnis zu erzielen, aber nicht zu viele, damit all die gesammelten Daten nicht überfordern.

Schon beim Rekruiting lohnt es sich abzufragen, ob jeder Teilnehmer das benötigte Equipment hat. Für einen Remote Usability-Test braucht es ein internetfähiges Endgerät (ggf. ein spezifisches, wenn es sich beispielsweise um eine Desktop-Anwendung handelt, braucht es einen Laptop oder Desktop-Rechner). Es empfiehlt sich auch eine Kamera für ein Face-to Face-Gespräch. Ganz wichtig: Es sollte auch abgefragt werden, ob die Teilnehmer der Aufnahme des Tests und der Verarbeitung der Daten zustimmen.

2. Definiere das Produkt und die Bereiche des Produkts, die du testen willst 🤳

Sobald klar ist, welches Produkt getestet wird, überlege ob spezifische Bereiche des Produktes in den Fokus genommen werden. Bestimme welche Test-Objekte getestet werden, z. B. die Navigation samt Such-Funktion oder ein bestimmter Anwendungsbereich.

3. Entwickle Aufgaben basierend auf den Test-Objekten ✍️

Entwickle die Aufgaben (Szenarien), die der User während des Tests ausführen soll um die Usability des Produkts zu testen. Am besten erstellst du eine Liste mit den Test-Objekten, Aufgaben und Lösungen, die du während des Tests einsehen kannst.

Tabelle eines Usability-Test Plans: 1. Spalte Test-Objekt-Nr., 2. Spalte Test-Objekt, 3. Spalte Aufgabenstellung, 4. Spalte Lösung(en), 5. Spalte Kommentare

Am besten planst du den Test anhand einer Tabelle, die deutlich macht, welche Aufgabe dem Teilnehmer zu welchem Test-Objekt gestellt wird.

4. Informiere die Teilnehmer über die Vorgehensweise 🗣

Schick den Teilnehmern vor dem Test eine E-Mail und erkläre, wie der Test abläuft. Nimm ihnen jegliche Sorge und erkläre, dass sie nichts falsch machen können, dass nicht sie getestet werden, sondern das Produkt. Erinnere an das benötigte Equipment, an volle Akkus, an die Aufnahme und Verarbeitung der Daten, die in den meisten Fällen anonym und zwingend anhand den Datenschutzbestimmungen verläuft. Teile auch mit jedem Teilnehmer die erforderlichen Login-Daten zur Test-Umgebung.

5. Entwerfe dein Test-Setup 💻

Stell das technische Equipment zusammen und bereite die Dokumente vor, die du benötigst:
  • Welches Endgerät willst du nutzen?
  • Welches Video-Konferenz-Tool kommt zum Einsatz?
  • Hast du eine Kamera, die ein Face-to-Face-Gespräch ermöglicht?
  • Wie nimmst du die einzelnen Sessions auf?
  • Wie kannst du dir  Notizen während des Tests machen?
  • Welche Unterlagen benötigst du (Teilnehmer-Liste, Vorab-Fragebögen, Fragebögen für die Nachbefragung,…)

6. Führe einen Pilot-Test durch 🚀

Teste ob alles funktioniert und mach einen Pilot-Test: Machen die Aufgaben Sinn, können sie ausgeführt werden, funktioniert die Technik?

Wie du einen Remote Usability-Test durchführst

1. Bereite dein Equipment vor

Stell sicher, dass das Equipment funktioniert und ausreichend Akku hat.

2. Begrüße den Teilnehmer und erkläre die Vorgehensweise

  • Danke dem Nutzer zunächst für die Teilnahme und für die tolle Unterstützung.
  • Erkläre welchem Zweck der Usability-Test dient und wie der Usability-Test abläuft.
  • Ganz wichtig: Erinnere daran, dass der Test aufgenommen wird und erkläre kurz, wie die Daten genutzt werden (anonym, in welchem Umfang…).
  • Bitte den User während des Tests laut zu denken, damit du seine Gedanken nachvollziehen kannst.
  • Starte ggf. mit den Vorab-Fragen und schließlich mit dem Usability-Test.
P.S. Denk daran, rechtzeitig die Aufnahme zu starten.

3. Verfolge deinen Plan

Teste nacheinander die zuvor definierten Test-Objekte und stelle dem Teilnehmer die entsprechenden Aufgaben. Es ist im Übrigen nicht deine Aufgabe, Fragen zu beantworten oder Hilfestellungen zu geben. Beides würde das Test-Ergebnis beeinflussen. Sollte der Teilnehmer dich um Hilfe bitten, erkläre ihm, dass das nicht deine Aufgabe ist und du ihm leider nicht helfen kannst. Er hat aber immer die Möglichkeit , die Aufgabe abzubrechen, wenn er nicht weiter weiß. Starte ggf. mit der Nachbefragung, sobald ihr mit den Test-Objekten und einzelnen Aufgaben durch seid.

4. Beende den Test

Danke dem Teilnehmer erneut für seine Hilfe und gib ihm die Möglichkeit Fragen zu stellen.

Wie du einen Remote Usability-Test moderierst

1. Sorge für ein Wohlgefühl beim Teilnehmer 👸

Heiße den Teilnehmer willkommen und sorge dafür, dass er sich gut fühlt. Sei freundlich, erkläre, dass das Produkt getestet wird und nicht er und dass er nichts falsch machen kann. Gib ihm das Gefühl, dass er ganz gelassen und entspannt den Test beginnen kann. Mach auch deutlich, dass er den Test in seinem Tempo absolvieren kann, dass es kein Zeitlimit gibt und dass es nicht darum geht, die Aufgaben möglichst schnell zu lösen.

2. Halte dich während des Tests zurück 🙊

Wenn der Teilnehmer seinen Aufgaben nachgeht und Schwierigkeiten hat ,den nächsten Schritt zu tun, lass ihn struggeln. Es ist nicht deine Aufgabe zu helfen, du könntest das Ergebnis verfälschen. Lass den Teilnehmer seinen Weg gehen, auch wenn er scheitert. Wenn er aufgibt, bitte ihn, sich der nächsten Aufgabe zu widmen. Wenn er partout nicht aufgibt, weise ihn darauf hin, dass es ok ist, wenn er abbricht.

3. Erinnere den Teilnehmer laut zu denken 📢

Manchmal vergißt ein Teilnehmer laut zu denken. Erinnere ihn freundlich daran, es zu tun. Wenn du das Gefühl hast, dass der Teilnehmer sich unwohl dabei fühlt, unterstütze ihn mit kleinen Reaktionen auf das Gesagte, z. B. mit „Okay“ oder „Mh-Mmh“.

4. Gib dem Teilnehmer Sicherheit ⛑️

Sollte der Teilnehmer unsicher fragen, ob er seinen Job gut macht, erinnere ihn daran, dass er nichts richtig oder falsch machen kann.

5. Vermeide es zu helfen und Fragen zum Produkt zu beantworten 💂‍♀️

Wenn ein Teilnehmer um Hilfe bittet, bitte ihn es erneut zu versuchen. Sollte er nicht vorwärts kommen, erinnere ihn, dass er abbrechen und zur nächsten Aufgabe übergehen kann. Anstatt Antworten auf Fragen zu geben, stell besser eine Gegenfrage, wie z. B. „Funktioniert es so, wie du es erwartet hast?“. Oder weise darauf hin, dass es nicht vorgesehen ist, Fragen zum Produkt zu beantworten, da das den Teilnehmer beeinflussen könnte.

Wie du einen Usability-Report erstellst

Nach dem Usability-Test folgt die Erstellung eines Reports, anhand dessen die gesammelten Eindrücke und Erkenntnisse mit den Stakeholdern geteilt werden. Der Report sollte möglichst knapp und leicht verständlich die wesentliche Erkenntnisse rüberbringen. In der Regel umfasst er nicht mehr als 10-15 Seiten. Bei der Beschreibung der Ergebnisse solltest du eine objektive Sprache wählen und deine persönliche Meinung außen vor lassen. Der Report sollte den Test ganz objektiv widerspiegeln.

Bevor du den Report schreibst, ist es sinnvoll all die gesammelten Daten zu codieren. Dass heißt, du notierst Zeiten (wie lange hat der Teilnehmer gebraucht, um die jeweilige Aufgabe zu lösen), Erfolgsraten (wurde die Aufgabe gelöst) und Aussagen, die wiederholt getroffen wurden (von einem oder mehreren Teilnehmern). Du notierst relevante Verhaltensweisen und Auffälligkeiten und sortierst die Daten in zuvor definierte Kategorien. Z. B. in: Erfolgsraten, Verhaltensfluss (welche Schritte haben die einzelnen Kandidaten gemacht um die jeweilige Aufgabe zu lösen), Fehlerquellen, Unsicherheiten, Probleme und Zitate.

Inhalte eines Usability-Reports:
  • Ziel, Methode & Testpersonen
    Fasse zunächst das Ziel des Tests zusammen, erwähne die Methode und führe auf, wer getestet wurde.
  • Kurze Zusammenfassung
    Beschreibe die wichtigsten Erkenntnisse aus dem Usability-Test und die Learnings in Bezug auf die User Experience des Produkts.
  • Fakten-Überblick
    Kommuniziere kurz die Fakten, ohne zu sehr ins Detail zu gehen. Gestalte eine Übersicht der Test-Aufgaben und dazu beispielsweise folgende Metriken:
    – Erfolgsraten
    – Fehlerraten
    – Subjektives Empfinden der Teilnehmer (happy, okay, unhappy…)
  • Details
    Teile jetzt die einzelnen Aufgaben samt ihrer Ergebnisse und Erkenntnisse. Führe auf, was du beim Test gelernt hast. Wo sind aus welchen Gründen Probleme entstanden, wo gab es Irritationen, was lief gut? Auch wenn du hier mehr ins Detail gehst, bleib bei den wesentlichen und relevanten Aussagen. Füge Screenshots und Zitate hinzu, damit die Stakeholder besser nachvollziehen können, was passiert ist. Es ist an dieser Stelle auch erlaubt, erste Ideen zur Problemlösung aufzuführen.
  • Ggf. Interview-Ergebnisse
    Wenn es vor und/oder nach dem Test noch eine kurze Umfrage gab, ergänze auch diese Ergebnisse in deinem Report.
Wenn die gesamte Vorgehensweise einmal verstanden wurde, wird es mit etwas Übung ein Leichtes Usability-Tests durchzuführen. Es braucht dafür keine externe Agentur, Usability-Tests können auch intern von UX Designern oder emphatischen Mitarbeitern vorbereitet und durchgeführt werden. Besonders wichtig ist dabei, jegliche Beeinflussung der Teilnehmer zu vermeiden und beim Report die eigene Meinung aussen vor zu lassen. Das Ergebnis muss ehrlich und objektiv kommuniziert werden, andernfalls hilft diese Methode nicht bei der Optimierung.

Wer schonmal einen Usability-Test durchgeführt hat, wird sicher bestätigen, dass diese Methode äußerst hilfreich ist und wertvolle Erkenntnisse liefert. Häufig werden mehr Erkenntnisse gesammelt als vermutet und die Ergebnisse sind oft überraschend. Gut analysiert bieten sie wertvolle Optimierungsmöglichkeiten und helfen das Produkt messbar zu verbessern.

Portrait Su Wiemer 2021

Hi, ich bin Su, Senior UX Designerin. Ich entwickle und schreibe über Lösungen für digitale Produkte, die Nutzer begeistern. Ganz nach dem Motto #makeusershappy.

Mehr UX Artikel:

""

24 Design Thinking Methoden, die bei der Lösungsfindung helfen

Artikel lesen

""

Großes Glossar: UI & UX Fachbegriffe, die Designer & Entwickler nutzen

Artikel lesen

""

User Journey Mapping-Workshop – eine Anleitung

Artikel lesen