it-swarm.com.de

Unterstützung der Teilnehmer bei Usability-Tests

Ich habe gerade eine Runde laborbasierter Usability-Tests im Rahmen eines Usability-Audits für eine webbasierte Kartenanwendung abgeschlossen. Ich habe zehn Aufgaben für die Teilnehmer, bei denen sie typische Kartenaktivitäten ausführen müssen (vergrößern Sie diesen Bereich; suchen Sie diesen Ort, messen Sie den Abstand zwischen x und y usw.).

Die erste Aufgabe besteht darin, die Karte an einem Ort ihrer Wahl zu vergrößern (in der Symbolleiste befindet sich eine kleine Lupe, mit der der Benutzer dies tun kann).

Aber für einen der Teilnehmer waren sie einfach konnten das Zoom-Werkzeug nicht finden. Dies sind gute Informationen, da wir umsetzbare Schritte unternehmen können, um sie sichtbarer zu machen. Viele der nachfolgenden Aufgaben erforderten jedoch die Verwendung dieses Zoomwerkzeugs. Ohne zu wissen, wie man zoomt, konnte der Test nicht abgeschlossen werden. Also habe ich den Teilnehmer darauf hingewiesen, wo sich das Zoom-Tool befindet. Mir ist klar, dass dies ein großes Nein-Nein bei Usability-Tests ist, aber ich hielt es für notwendig, um den Test abzuschließen.

Meine Frage ist: Sollte ich eingegriffen und dem Benutzer geholfen haben oder sollte ich den Test beendet haben? Ab wann geben Sie einen Usability-Test auf, um einen realistischeren Kontext zu erhalten?

14
Mitch Malone

Es gibt viele Leute, die sagen, dass Ihr Test bei diesem ersten Schritt hätte enden sollen - als Sie zu Recht festgestellt haben, dass der Teilnehmer den ersten Schritt nicht überstehen konnte - und Sie sollten einfach diesen Datenpunkt aufzeichnen und zum nächsten Teilnehmer übergehen . Daran ist nichts auszusetzen.

Einmal war ich der Tester, der das Zoom-Werkzeug nicht finden konnte - außer es war "Finde das (einige esoterische Symbol für ein) Werkzeug in der Google Toolbar." ", vor vielen Jahren, als Google Toolbar ein Browser-Add-On war und Google viele Leute für Usability-Tests auf den Campus brachte. Es war die erste Frage in ihrem Test. Ich sagte: "Wirklich, ich kann es nicht sehen. Ich würde mir vorstellen, dass es hier oder hier oder hier sein würde." Sie haben mich darauf hingewiesen, ähnlich wie Sie es mit dem Zoom-Werkzeug getan haben, und wir haben den Test fortgesetzt. Ich weiß nicht, wie sie die Daten verwendet haben, aber sie haben mit demselben Skript fortgefahren.

Um sicherzustellen, dass vernünftige Daten vorliegen (z. B. alle Benutzer, die alle Tests abgeschlossen haben), würde ich den Rest der Daten dieses Benutzers (oder meiner in der obigen Situation) bei der Berechnung der Ergebnisse nicht berücksichtigen, da sie meiner Meinung nach fehlerhaft/voreingenommen wären ABER es ist nichts Falsches daran, den Rest Ihrer Zeit mit dem Benutzer (oder potenziellen Benutzer) in etwas zu verwandeln, von dem Sie zusätzliche nützliche Daten erhalten könnten. Vielleicht geht das den Rest des Tests durch und bekommt Antworten/sieht Aktionen und sammelt nur die Daten, berechnet sie aber nicht oder betrachtet sie auf die gleiche Weise, aber vielleicht verschiebt es die Zeit im Test auf a anderer Test.

Ich würde Ihre Situation als ähnlich betrachten wie in Wie kann man einen Usability-Test retten, dessen Teilnehmer kein Vertrauen hat? , in dem Antworten Ideen wie das Wegwerfen der vordefinierten Aufgaben für eine selbst definierte Aufgabe enthielten, drehen Sie die " teste "in ein" Interview "und so weiter.

Ja, ich antworte im Wesentlichen "es kommt darauf an". Während ich wahrscheinlich den Test in etwas anderes verwandelt hätte, könnte ich den Test auch fortsetzen, aber die Ergebnisse nicht so stark abwägen - hängt davon ab, wie viele Tester ich in der Warteschlange hatte und wo ich mich im Testprozess befand.

10
jcmeloni

Sie beenden den Test nicht, weisen aber auch nicht auf das Tool hin.

Wenn jemand hoffnungslos feststeckt, bewerten Sie diese Sitzung für summative Zwecke offensichtlich als „Aufgabe kann nicht abgeschlossen werden (ohne Hilfe)“ und nehmen sie zu statistischen Zwecken in die Kategorie „Keine Freude“ auf. Solange Sie einheitliche Regeln für die Beurteilung haben, wann der Benutzer nicht alleine weitermachen kann, sind Ihre quantitativen Daten vollkommen gültig. Sie können die Sitzung fortsetzen und weitere Daten sammeln, um das Design zu informieren.

Der Grund dafür, dass nicht auf das Tool hingewiesen wird, besteht ironischerweise darin, mehr Daten zu sammeln. Sie wissen, dass der Benutzer das Tool nicht finden konnte, wissen aber wahrscheinlich nicht warum. Im Allgemeinen kann eine Unfähigkeit, etwas auf einer Seite zu finden, folgende Ursachen haben:

  1. Benutzer haben es sich angesehen, aber das Etikett/Symbol wurde nicht erkannt.

  2. Benutzer haben darauf geschaut, es aber nicht gesehen, weil es in Unordnung verloren ging.

  3. Benutzer suchten es an einem anderen Ort als dort, wo Sie es abgelegt haben.

  4. Benutzer suchten nach etwas völlig anderem als dem, was Sie verwendet haben.

Jeder dieser Gründe hat sehr unterschiedliche Designreaktionen. Eye-Tracking-Daten können helfen, die möglichen Gründe einzugrenzen, aber häufig sind auch Interviewdaten erforderlich.

Zeigen Sie dem Benutzer das Tool also nicht. Stellen Sie zunächst Fragen, um das Problem zu diagnostizieren:

  • Was versuchst du zu machen? (Ich muss zoomen)

  • Was suchen Sie zum Zoomen? (Ein gleitendes Ding, wie in Google Maps).

  • Okay, das ist eine gute Möglichkeit, aber wir probieren eine andere Methode aus. Welches Etikett oder Symbol hätte Zoom? (Ich weiß es nicht. Normalerweise ist es eine Lupe.)

  • (Pause)

  • Wo suchst du es? (Genau hier oben.)

  • Was siehst du dort? (Ein Drucker zum Drucken, das Symbol Speichern, ein Stecknadel zum Markieren eines Punkts.)

  • Oh. Der Push-Pin soll eine Lupe sein. Daran werden wir arbeiten.

Dort. Jetzt kennen Sie zwei Möglichkeiten, um das Design zu verbessern (verwenden Sie einen Schieberegler, wenn möglich, überarbeiten Sie das Lupenbild), und vier Möglichkeiten nicht, um es zu verbessern (Wechsel von einer Lupe zu einem anderen Objekt). die Steuerung größer oder mutiger machen und an einen anderen Ort verschieben).

Dies ist die allgemeine Regel für Usability-Tests. Vermeiden Sie es, für jedes Problem, auf das der Benutzer stößt, die Lösung anzugeben. Aber gib nicht einfach auf. Stellen Sie stattdessen Fragen, um Daten zu sammeln, und Anleitung den Benutzer, der der Lösung immer näher kommt. Fahren Sie dann mit dem Usability-Test fort.

8

Natürlich sollten Sie dem Benutzer helfen, damit Sie so viele Informationen wie möglich aus der Usability-Sitzung herausholen können. Sie haben ein Usability-Problem gefunden, aber es könnte andere geben, und diese Probleme könnten ziemlich unabhängig sein (können individuell angegangen werden, ohne zurückzutreten und das Ganze neu zu gestalten).

Sie möchten nicht an N Usability-Tests und N Fixierungsrunden teilnehmen, um N Usability-Probleme einzeln zu beheben.

Das ist zeitaufwändig und teuer.

Ein Usability-Test ist nicht 100% wissenschaftlich. Wenn es so wäre, würdest du es doppelblind machen oder so; Sie wären nicht einmal im Raum anwesend, so dass Sie die Themen in keiner Weise beeinflussen könnten (Körpersprache usw.).

Sie versuchen nicht, etwas in einer wissenschaftlichen Zeitschrift zu veröffentlichen oder ein staatliches Forschungsstipendium usw. zu erhalten. (Und diese Leute fummeln viel herum.)

7
Kaz

Wir hatten genau das gleiche Problem. Der Benutzer hatte eine Aufgabe erhalten und konnte nicht herausfinden, wie es geht. Ich wartete geduldig ein paar Minuten, bis sie versuchten, es zu finden. Schließlich habe ich getan, was Sie getan haben, und es ihnen nur gesagt, damit sie mit dem Rest des Tests weitermachen können.

Ich denke, wenn Leute sagen "Helfen Sie der Person nicht, die den Usability-Test durchführt", meinen sie wirklich, dass Sie nicht dort sitzen und sie festhalten und sie Schritt für Schritt durch den Test führen sollten. Sie versuchen zu simulieren, was passieren wird, wenn Ihr Programm oder Ihre Website in freier Wildbahn verwendet wird.

Aber wenn sie in eine Situation geraten, wie Sie sie beschreiben, in freier Wildbahn, sie werden aufgeben, gehen Sie zu einer anderen Site, deinstallieren Sie das Programm oder verwerfen Sie Ihr Produkt auf andere Weise.

Wie Sie bereits erwähnt haben, müssen Sie in diesem Fall müssen dieses Problem beachten, weil es eine große Sache ist. Besonders wenn es mit vielen Benutzern passiert.

Aber sobald Sie an diesem Punkt angelangt sind, es ist nichts Falsches daran, Ihre Verluste zu reduzieren und ihnen gerade genug zu sagen, um wieder loszulegen und weiterzumachen um Usability-Tests für etwas anderes durchzuführen, während Sie sie dort haben. Es macht keinen Sinn, die Möglichkeit auszuschließen, zusätzliche Dinge zu lernen, nur weil sie in einer Sache verblüfft sind.

1
rbwhitaker

Unser Protokoll war sehr einfach. Einige Benutzer stellen Fragen, bevor sie überhaupt auf den Bildschirm schauen (traurig, aber wahr :) #). Wenn der Benutzer zum ersten Mal fragt, antworten Sie: "Bitte versuchen Sie, die Lösung selbst zu finden, indem Sie auf den Bildschirm schauen" (nach einer Weile können Sie solche Dinge ziemlich überzeugend sagen). Wenn der Benutzer immer noch nicht weiterkommt (behalten Sie Ihren Timer im Auge und geben Sie ihm eine Minute oder ein beliebiges Zeitintervall, das Sie mit dem Rest Ihres Teams vereinbart haben), weisen Sie ihn mit einer sanften, aber nicht bevormundenden Funktion auf die Funktion hin, die er verwenden sollte Lächeln. Aber bevor Sie sie weitermachen lassen, fragen Sie sie, warum sie hier ein Problem hatten. Die Ergebnisse Ihrer Benutzertests sollten die Information enthalten, dass der Benutzer [hier] ein Problem hatte und dass der Grund für das Problem [dies] war. Verlassen Sie sich nicht auf Video- oder Audioaufnahmen, yada, die Überprüfung und Codierung dauert Stunden (normalerweise dreimal so lange). Sprechen Sie einfach mit dem Benutzer und notieren Sie sich dies in Ihrer Zwischenablage.

Bitten Sie Ihren Benutzer am Ende der Sitzung, eine Minute lang nachzuschauen und Ihnen mitzuteilen, wo und warum er die größten Probleme hatte und wo er das Gefühl hatte, wirklich mitgeschossen zu haben (AKA-Sammlung „kritischer Vorfälle“). Ähm ... notieren Sie sich diese Daten: Es ist Ihre Goldmine.

Auf diese Weise erhalten Sie natürlich keine guten Daten für die Arbeitszeit oder andere leistungsbasierte Messgrößen, aber das ist eine andere Art der Bewertung.

1
Jurek

Vielleicht nur, um die Ergebnisse weiterer Tests zu sehen, war die Intervention damals eine gute Entscheidung, aber lernen Sie aus diesen Informationen, weil entweder:

  • Vielleicht ist es nicht gut, dass Ihre Tests alle auf einer anderen Funktionalität beruhen.
  • Wenn Ihre Anwendung tut hauptsächlich auf dieser Funktionalität beruht, ist es sicherlich katastrophal , dass irgendein Teil Ihrer Die Testgruppe konnte diese Funktionalität nicht finden und/oder verwenden.

Mit anderen Worten, Sie sollten Ihre Anwendung entweder benutzerfreundlicher machen, wenn diese Funktionalität nicht verwendet wird (selbst wenn Sie klarstellen, wo auf sie zugegriffen wird, gibt es möglicherweise immer Personen, die sie nicht ordnungsgemäß/ohne große Schwierigkeiten bedienen können), oder Sie sollten diese Funktionalität in der Benutzeroberfläche stärker hervorheben, indem Sie die Aufmerksamkeit auf sich ziehen (Größe, Farbe, Bewegung, was auch immer Sie für angemessen halten). Und dann stellen Sie sicher, dass die Arbeit damit ein Kinderspiel ist.

1
MarioDS

Die Intervention des Moderators tritt auf, weil die Menschen unvorhersehbar sind! Und dies ist auch ein Beispiel, das den wertvollsten Aspekt des Testens mit tatsächlichen Personen veranschaulicht - Annahmen können weggeblasen werden ...

In diesem Fall war ein Eingreifen erforderlich, und nein, Sie hätten den Test nicht beenden sollen - dies ist angesichts der Logistik, Teilnehmer zu gewinnen, unrealistisch. Aber anstatt auf die Position des Tools hinzuweisen, können Sie sie auffordern, indem Sie fragen: "Wo erwarten Sie dies?" "Wo würdest du normalerweise danach suchen?" "Wo befindet sich das in der Anwendung, die Sie normalerweise verwenden?"

Dies hilft ihnen dabei, das Werkzeug (oder Informationen usw.) zu finden, ohne dass sie sich "albern" oder gestresst fühlen, weil sie es nicht selbst herausfinden können. Denken Sie daran, es ist stressig genug, um als Teilnehmer beobachtet zu werden!

Ich habe einmal an einer Sitzung teilgenommen, in der ich der Teilnehmer war, und die Moderatoren haben nicht eingegriffen, da ich beim Versuch, eine Aufgabe zu erledigen, feststeckte und sie nichts aus der Sitzung herausholten, außer 20 Minuten, in denen ich zunehmend frustriert wurde.

1
Ling