it-swarm.com.de

Sollte ich Benutzertests außerhalb einer kontrollierten Umgebung vertrauen?

Vor kurzem haben wir begonnen, Benutzertests für eine neue Website durchzuführen, die wir starten. Zuerst war mein Chef aus "Gründen" * gegen Benutzertests.

Nachdem ich die ersten Tests durchgeführt hatte, identifizierten wir bereits einige Schmerzpunkte. Das Lösen dieser Schmerzpunkte machte das Produkt viel besser. Mein Chef hatte jetzt eine neue Sicht auf Benutzertests und wollte sie an mehr Benutzern ** (hauptsächlich seinen Nachbarn/Freunden usw.) testen. Deshalb habe ich eine Reihe von Aufgaben für die Benutzer vorbereitet, die ich in unserer kontrollierten Umgebung und für ihn verwenden würde konnte Aufgaben an Benutzern testen, die er kannte.

Mein aktuelles Problem

Tests, die in unserer kontrollierten Umgebung durchgeführt werden, spiegeln fast die entgegengesetzten Ergebnisse seiner eigenen Benutzertests wider. Ich weiß, dass er ein bisschen projizieren kann, deshalb habe ich mich gefragt: Sollte ich Benutzertests vertrauen, die außerhalb einer kontrollierten Umgebung durchgeführt werden?

* Mit Gründen meine ich, dass die meisten Leute sagen: "Ich verstehe die Zielgruppe besser als die Zielgruppe sich selbst usw."

** Ja, diese Benutzer fallen in die Zielgruppe, unsere Zielgruppe ist extrem breit. Grundsätzlich jeder von 18 bis 50 Jahren.

4
Kevin M.

Ja Nein

Beide oben genannten Optionen können in Abhängigkeit von vielen Faktoren zutreffen.

Sehen Sie, das Durchführen von nicht moderierten Tests ist überhaupt nicht selten, da dies tatsächlich ziemlich häufig ist (siehe dieser Artikel , um die Unterschiede zwischen nicht moderierten und moderierten Tests zu verstehen).

Allerdings sind nicht alle Tests gleich, nicht alle gesuchten Antworten können mit denselben Tests erhalten werden, nicht immer ist der "richtige Test" korrekt . Dann haben Sie Umgebung ( gesteuert oder unkontrolliert, remote oder lokal, Benutzer in ihrer Umgebung gegen Benutzer in Ihrem Büro und so weiter), Fähigkeiten und Kenntnisse des Interviewers, Zeit, Budget, Vermögen .... nun, eine breite Palette von Variablen, die Einfluss auf Ihre Tests haben werden.

All dies bezieht sich auf Forschungsmethodik . Das Problem ist, dass viele Leute denken, dass Forschungsmethoden (oder -techniken) und Forschungsmethoden gleich sind. Um es klar zu stellen:

Forschungsmethoden sind die verschiedenen Verfahren, Schemata und Algorithmen, die in der Forschung verwendet werden. Alle Methoden, die ein Forscher während einer Forschungsstudie verwendet, werden als Forschungsmethoden bezeichnet. Sie sind im Wesentlichen geplant, wissenschaftlich und wertneutral. Forschungsmethoden helfen uns, Proben und Daten zu sammeln und eine Lösung für ein Problem zu finden.

Die Forschungsmethodik ist ein systematischer Weg, um ein Problem zu lösen. Es ist eine Wissenschaft des Studierens, wie Forschung durchgeführt werden soll. Im Wesentlichen werden die Verfahren, mit denen Forscher Phänomene beschreiben, erklären und vorhersagen, als Forschungsmethodik bezeichnet. Es ist auch definiert als das Studium von Methoden, mit denen Wissen gewonnen wird. Ziel ist es, den Arbeitsplan der Forschung zu geben.

( Definitionen aus RESEARCH METHODOLOGY paper)

Wie Sie sehen können ... ähnlich, aber nicht gleich. Und das habe ich auf die harte Tour gelernt: Ich betrachte mich als eine sehr sachkundige Person, wenn es um Tests und Forschung geht. Immerhin habe ich die verschiedenen verfügbaren Tests studiert, wie man Tests durchführt, wie man Teilnehmer überprüft ... nun, ich wusste genug, um voll qualifiziert zu sein. Jetzt ist meine Frau/Partnerin Psychologin, Professorin für Methoden und Techniken der wissenschaftlichen Forschung und insgesamt auf die Erforschung des menschlichen Verhaltens spezialisiert. Zu diesem Zeitpunkt hat sie nicht mit mir gearbeitet. Jahre vergingen und ich bemerkte, dass meine Forschungsfähigkeiten großartig waren, aber manchmal hatte ich Ergebnisse, die sich als falsch erwiesen, wenn sie gegen die reale Welt getestet wurden. Ich bat sie um Hilfe und nach sorgfältiger Prüfung sagte sie mir: "OK, Sie wissen viel über Methoden, viel mehr als ich. Sie wissen einfach nicht viel über Methodik, daher sind Ihre Ergebnisse nicht sehr zuverlässig." (Hinweis: Dies gilt insbesondere für Qualitative Methoden )

Kurz gesagt, zurück zu Ihrer Antwort

Alles ist möglich, aber für das, was Sie beschreiben, sind die Ergebnisse Ihres Managers wahrscheinlich unzuverlässig. Die Tatsache, dass er die Befragten kennt, macht das Testergebnis wahrscheinlich ungültig (nicht unbedingt, aber sehr wahrscheinlich). Abhängig von der Art des Tests schlage ich vor, dass Sie dies in Ihrem Büro tun oder vielleicht einige Guerilla-Tests

5
Devin

@ Devins Antwort ist sehr wertvoll. Vergewissern Sie sich, dass Sie seinen Standpunkt zum Unterschied zwischen Methoden und Methoden verstehen. Ich möchte hinzufügen:


Nur um diesen zuerst wegzulegen

Obwohl es das Rätsel schneller gelöst hätte, würde ich es vorziehen, nicht auf meine schnell denkende Heuristik zu verfallen, die besagt, dass ** der typische Chef nichts weiß und über alles entscheidet **, also möchte ich dies damit beginnen, dass ich hier davon ausgehe dass Ihr Chef qualifiziert ist, Tests durchzuführen und zu moderieren, wenn dies nicht zutrifft, würde ich mich definitiv mehr auf die nicht moderierte Version verlassen, oder in einer statistischen Sprache, wenn Sie es vorziehen, würde ich mich viel mehr auf eine zufällige unkontrollierte Stichprobe verlassen als auf eine voreingenommene geschichtete Stichprobe, jetzt die Antwort:


Möglicherweise möchten Sie die Ergebnisse zusammenführen

Benutzertests führen zu unterschiedlichen Ergebnissen, während der Hauptzweck zunächst darin besteht, die Verwendbarkeit unserer Produkte zu bewerten. Sie bringen häufig unterschiedliche Erkenntnisse auf den Tisch, die sich von den Erkenntnissen der Benutzer, den Markterkenntnissen und manchmal sogar der Wahrnehmung des Wertversprechens unterscheiden sehr wichtig, um zwischen Usability-Befunden und anderen Befunden unterscheiden zu können.

Das Problem bei breiten Zielgruppen ist die Inkonsistenz der Ergebnisse. Der Unterschied zwischen den Ergebnissen kann daher entweder auf unterschiedliche Benutzer oder auf die unterschiedliche Umgebung des Tests zurückzuführen sein.

Im Artikel der Nielsen Norman Group https://www.nngroup.com/articles/how-many-test-users/

Wie viele Testbenutzer in einer Usability-Studie ?

Die Antwort ist 5, außer wenn es nicht ist. Die meisten Argumente für die Verwendung von mehr Testteilnehmern sind falsch, aber einige Tests sollten größer und andere kleiner sein.

Nach meinem Verständnis ist die obige Antwort relevanter für den Usability Aspekt der Studie, was bedeutet, dass die Ergebnisse aus Usability-Sicht repräsentativ sind, wenn 5 Benutzer verwendet werden. Dies bedeutet jedoch nicht, dass die anderen Erkenntnisse repräsentativ sein müssen Nun, als Beispiel, wenn ein Benutzer sagt "Ich würde dieses Produkt nicht für diesen Betrag kaufen", bedeutet dies nicht unbedingt, dass der Markt es nicht kaufen wird, obwohl dies möglicherweise darauf hindeutet, dass das Wertversprechen einer besseren Überprüfung bedarf.

Wenn wir uns also einig sind, dass wir zwischen den Arten von widersprüchlichen Ergebnissen unterscheiden müssen, die Sie erhalten haben, und wir über Ergebnisse sprechen, die speziell Usability-Probleme widerspiegeln, sollte es sicher sein, diese zusammenzuführen und die gesamte Obermenge der Ergebnisse zu behandeln, anstatt zwischen ihnen wählen zu müssen Test A oder Test B.

         Usability issue 1  Usability issue 2   Usability issue 3
Test A:  Exists             Does not Exist      Exists
Test B:  Does not exist     Exists              Exists

Auf diese Weise können Sie argumentieren, dass Ihre Lösung umfassender ist.


Ein letzter Kommentar: Dies ist eine Managementmethode für den Umgang mit Dingen. Einige sind möglicherweise nicht mit dem Ansatz einverstanden, aber es liegt an Ihnen, wie Sie sich dafür entscheiden. Ich musste Scheinwerfer auf die verschiedenen Arten von Befunden in Ihre Überlegung einbeziehen, während Sie Ihren nächsten Schritt machten, viel Glück.

3
UX Labs

Ja, Sie können den Ergebnissen von Usability-Tests vertrauen, die außerhalb Ihrer kontrollierten Umgebung durchgeführt wurden. (Ich nehme an, Sie meinen Ihr internes Labor.) Schauen Sie sich Guerilla-Test an, was in der natürlichen Umgebung des Benutzers durchgeführt wird. (Nur für Tritte siehe auch Drunk User Testing .)

Ich denke jedoch, Ihre eigentliche Frage ist, ob Sie Usability-Tests Ihres Chefs oder anderen vertrauen können, die nicht verstehen, wie einfach es ist, die Ergebnisse zu verzerren. Und nein, Sie können diesen Ergebnissen nicht vertrauen. Es ist zu einfach, Leitfragen zu stellen, zu viel Unterstützung zu geben, dem Benutzer Hinweise zu geben, seine Einstellungen zu beeinflussen usw.

1
Ken Mohnkern