it-swarm.com.de

SUS Scores und Zweifel

Mein Team hat gerade angefangen, SUS) zu verwenden, um unsere Anwendungen gegeneinander auszuspielen. Es gibt einige Zweifel hinsichtlich der Beziehung der Fragen zu Webanwendungen und Websites. Manchmal lachen die Studienteilnehmer über die Fragen oder Ich weiß nicht, wie ich sie für den Kontext der Studie, an der sie teilgenommen haben, angemessen beantworten soll.

Einige Fragen, die Verwirrung stiften:

1. I think that I would like to use this system frequently.

Bei Autoversicherungen haben die Policen eine Laufzeit von 6 Monaten. Ist dies also häufig eine relative Laufzeit? Ich werde nicht jeden Tag ein Angebot einholen, nur wenn ich es brauche.

5. I found the various functions in this system were well integrated.

In welcher Beziehung steht dies zu einer Website, die eine einzelne Aufgabe hat (d. H. Ein Angebot für eine Autoversicherung erhalten)?

10. I needed to learn a lot of things before I could get going with this system.

Bedeutet dies, dass sie viel über das System oder das Produkt (Autoversicherung) lernen mussten?

Welche Erfahrungen haben andere mit dem SUS und wie nehmen Teilnehmer und Stakeholder die Ergebnisse wahr?

17
Stegel

Als ursprünglicher Autor von SUS sehe ich diese Art von Abfrage häufig. Ich denke, Sie müssen hier einen Kompromiss eingehen, basierend auf der Tatsache, dass ich vor 25 Jahren zum ersten Mal SUS] entwickelt habe, als ich an einem Usability-Engineering-Programm für die Entwicklung integrierter Office-Systeme arbeitete auf VAXes.

1) Die Terminologie scheint für eine bestimmte moderne Technologie (Websites, Mobiltelefone, What-Have-You) nicht besonders relevant zu sein, und die Leute führen dies in der Regel einfach auf die Art von Systemen zurück, die ursprünglich zur Bewertung verwendet wurden, und auf die Tatsache dass sie sich von den heute verwendeten Systemen und Anwendungen unterscheiden. In gewisser Hinsicht spielt das sowieso keine Rolle, da die einzelnen Elemente an sich keine Bedeutung haben sollen. Sie werden aus einem ursprünglichen, viel größeren Pool von Elementen ausgewählt, auf der Grundlage, dass sie die Elemente waren, die, wenn sie mit extremen Beispielen für verwendbare und unbrauchbare Systeme präsentiert wurden, die Fragen waren, die zu den extremsten positiven und negativen Antworten führten. (Daher sollten theoretisch Beispiele für Systeme mit weniger extremen Usability-Eigenschaften zu mehr Zwischenreaktionen führen.) Die Gesamtsumme all dieser Fragen führt zu einem allgemeinen Maß für die wahrgenommene Benutzerfreundlichkeit. Sie können also mit dem Wortlaut einzelner Elemente nicht einverstanden sein, aber sie sollten keinen diagnostischen Wert für sich haben oder sich auf die spezifischen Merkmale eines bestimmten Systems beziehen, das für einen bestimmten Zweck verwendet werden soll. Wenn Sie diese Art von Informationen wünschen, sollten Sie einen Fragebogen schreiben, der diese spezifischen Funktionen behandelt. Jedoch.....

2) SUS ist 25 Jahre alt und wurde, weil es frei verfügbar gemacht wurde, aufgegriffen und in vielen, vielen Usability-Bewertungen verwendet. (Cheapskates! Aber ich bin froh, dass so viele Leute haben fanden es nützlich). Folglich gibt es eine Fülle von Informationen über seine Verwendung und eine Reihe von normativen Daten. Es wurden einige ausgezeichnete Studien durchgeführt, die sich mit seiner Zuverlässigkeit und dem Sammeln normativer Daten befassten - insbesondere hat Tullis eine ausgezeichnete Papier über den ersteren Aspekt und Bangor und Kortum haben Daten über die Verwendung von SUS über mehr als ein Jahrzehnt) gesammelt.

Mir scheint, Sie haben die Wahl. Sie können Ihren eigenen Fragebogen erstellen, der möglicherweise eine Terminologie verwendet, die für die von Ihnen bewertete Technologie relevant ist. Es wird keine Masse an Erfahrungen und Daten aus anderen Studien geben, mit denen Sie es vergleichen können. Wenn Sie lediglich eine Version eines Systems oder einer Anwendung, die auf einer bestimmten Technologie basiert, mit einer Nachfolgeversion vergleichen, ist dies möglicherweise alles, was Sie benötigen. Angenommen, Sie möchten beispielsweise eine webbasierte Anwendung mit einer Anwendung vergleichen, die auf einer anderen Technologie basiert. Dann werden Sie auf die gleichen Probleme stoßen, die Sie bei SUS für richtig halten.

Ich habe nie behauptet, SUS ein perfektes Werkzeug zu sein. (Ich habe im Titel der veröffentlichten Version gesagt, dass es "schnell und schmutzig" war). Aber Ich denke, es hat sich im Laufe der Jahre bewährt und die Bemühungen von Leuten wie Thomas Tullis und Phil Kortum (die alle ihre Arbeiten ganz unabhängig von mir erledigt haben) haben zusätzliche Beweise dafür geliefert, dass es sich um ein Werkzeug handelt, das verwendet wird.

rgds

John Brooke

23
John Brooke

Im Allgemeinen scheint SUS für Websites in Ordnung zu sein. Tullis und Stetson verglich es mit anderen Usability-Umfragen bei der Bewertung eines Unternehmens-Intranets und SUS übertraf die anderen.

Es hört sich so an, als ob einige einzelne Elemente für Ihre Arbeit möglicherweise nicht zutreffen. Um dies systematisch zu überprüfen, erstellen Sie eine Korrelationsmatrix Ihrer Artikelantworten und berechnen Sie Cronbachs standardisiertes Alpha sowohl mit als auch ohne die problematischen Artikel. Wenn das Alpha ohne das Objekt höher ist als mit dem Objekt, misst es anscheinend nicht das gleiche zugrunde liegende psychologische Konstrukt wie die anderen Elemente, und Sie können es zu Recht einfach fallen lassen (oder neu schreiben, bis das Testen zeigt, dass es das Alpha verbessert).

Bevor Sie dies tun, sollten Sie den größeren Kontext berücksichtigen, in dem Sie die Skala verwenden. Baselining bedeutet, dass Sie Vergleiche mit späteren Ergebnissen anstellen. Bedenken Sie, dass die problematischen Elemente möglicherweise perfekt für andere Websites/Apps/Versionen geeignet sind, mit denen Sie vergleichen möchten, und erfassen Facetten subjektiver Benutzerfreundlichkeit, die Sie haben möchten. Zum Beispiel wird Ihre Versicherungs-App in fünf Jahren möglicherweise mehrere Funktionen enthalten (z. B. dem Benutzer helfen, festzustellen, ob seine Autos ein hohes Diebstahlrisiko darstellen). Die Antworten auf das Element "Verschiedene Funktionen" sind zwar überall zu finden, aber das sind immer noch nützliche Informationen, die es wert sind, aufgenommen zu werden, damit die Ergebnisse mit einer zukünftigen Multifunktionsversion vergleichbar sind.

Persönlich haben sich die von Ihnen ausgewählten Elemente vielleicht komisch angehört, aber wenn ich ein Benutzer wäre, würde ich sie auf nützliche Weise interpretieren. Ich würde "häufig verwenden" als relativ zu den Alternativen interpretieren (z. B. telefonisch ein Angebot einholen). Ich würde "gut integriert" so interpretieren, wie einfach ich mich ohne viel Zurückverfolgen oder erneutes Eingeben von Daten durch die Website bewege (z. B. kann ich mein Auto angeben, ohne unzählige Seiten durchgehen zu müssen). Wenn ich nicht viel lernen muss, kann ich meine Eingabe eingeben und das Angebot erhalten, ohne dass ich viel arbeiten muss. Ja, dazu gehört sowohl das Erlernen des Systems als auch des Themas: Ich kann also herausfinden, welche Farbe Sie für Ihre Links gewählt haben, und Sie haben klar erklärt, was „Selbstbehalt“ bedeutet. Nein, Sie wissen nicht, ob es Probleme gab, das System oder die Versicherung kennenzulernen, die zu einer niedrigen Punktzahl beigetragen haben. In diesem Fall sollten Sie jedoch nicht nach einzelnen Punktzahlen für die Diagnose suchen. SUS beabsichtigt nur ein psychologisches Konstrukt, nicht mehrere psychologische Dimensionen.

10

Wow, John Brook taucht auf. Cool! Ja, Ihr Tool ist immer noch sehr nützlich und relevant für UX!


Bei der Umfrage sollten Sie die Umfrage eindeutig definieren, indem Sie den Begriff "System" so bearbeiten, dass in der Umfrage genau angegeben wird, welches Produkt/welche Funktion/welche Dienstleistung Sie interessiert. Die Integration gilt möglicherweise nicht für die Angebotserstellung. Möglicherweise können Sie jedoch nach der Integration dieser Funktion in das größere System fragen.

In Bezug auf die von den Stakeholdern wahrgenommenen Ergebnisse ist die "wahrgenommene Benutzerfreundlichkeit" die perfekte Ergänzung zu einer größeren Anzahl von Tests. Beispielsweise kann ein Live-A/B-Test die Anzahl der beim Auschecken aufgetretenen Fehler zwischen zwei verschiedenen Designs vergleichen. usabilitytesting.com wird möglicherweise für Prototypen verwendet und Sie können die Anzahl kritischer Fehler als Leistungsindikator für Funktionen in Entwicklung/Design aufzeichnen.

Wenn Sie die einzige UX-Person im Personal sind und eine ganzheitliche UX-Teststrategie entwickeln möchten, sind einige davon nicht ohne Hilfe möglich. Vielleicht können Sie diese auch an die Anzahl der Mitarbeiter, Lieferanten oder andere Abteilungen (Marketing) binden/Forschung) in den Prozess.

3
rcmulcrone

Ich gebe zu, dass ich den SUS noch nie benutzt habe. Bei Frage 2 spielt es jedoch eine Rolle? Es ist unwahrscheinlich, dass ein Benutzer zwischen beiden unterscheidet. Wenn Sie dies als Basis für die Anwendung verwenden, erhalten Sie ein subjektives Maß für die Lernkurve. In diesem Fall glaube ich nicht, dass Sie das System von den darin enthaltenen Informationen trennen können.

Ich gehe davon aus, dass Sie die Sitzungen beobachten, und es scheint mir, dass Sie für mindestens die Hälfte der Fragen auf der Liste die qualitativen Beobachtungsdaten benötigen, um extreme Antworten zu verstehen.

1
Jeff Harrison

Selbst wenn Ihre Website nur eine Funktion hat, hat sie wahrscheinlich alle Arten von Inhalten. Marketingmaterial über Ihr Unternehmen, Preispläne, Nutzungsbedingungen usw. Wenn die einzige Funktion unter all diesen Dingen noch leicht zu finden ist, ist sie gut integriert. Wenn es im Dschungel anderer Inhalte verloren geht, ist es nicht. :) Ich denke, Ihre Benutzer werden diese Unterscheidung verstehen und angemessen reagieren.

Herr Brooke, ich habe oft das SUS verwendet und ich empfehle es immer meiner Human Factors-Klasse.

0
Magga Dora