it-swarm.com.de

Gibt es Forschungsergebnisse zur Abschwächung der Auswirkungen der Verwendung einer nicht repräsentativen Benutzergruppe auf die Messung der wahrgenommenen Benutzerfreundlichkeit?

Mein Kunde führt eine Reihe von Demonstrationen von Anbietern durch, bei denen die Mitarbeiter die wahrgenommene Benutzerfreundlichkeit des Systems (SUS und SEQ) messen sollen.

Ursprünglich haben wir nach einer konsistenten Gruppe von Evaluatoren gefragt, aber leider ist dies aufgrund einer "Planungsstörung" nicht möglich.

Irgendwelche Vorschläge, wie ich das Risiko mindern kann?

4
Matt Goddard

Im Gegenteil, alle Untersuchungen haben gezeigt, wie wichtig es ist, die tatsächliche Benutzergruppe in Ihrem Test zu verwenden und nicht den Auftragnehmer oder die Führung.

Trotzdem glaube ich, dass Ihre geplanten Studien besser sind als nichts. Jeder Usability-Spezialist hat eine Art "Quick and Dirty Testing" -Ratschlag oder "Do it yourself" -Ratschlag. Und diese Ratschläge beinhalten normalerweise eine zufällig ausgewählte Person von der Straße.

Sie müssen sich dieser Tendenz nur bewusst sein, wenn Sie Ihre Ergebnisse analysieren.

Um Ihre Ergebnisse zu validieren und das Ergebnis mit der tatsächlichen Benutzergruppe zu vergleichen, können Sie eine kleine Stichprobe auswählen und eine Korrelationsanalyse durchführen.


Aktualisieren

Wenn Sie einige Daten zu Ihrer tatsächlichen Benutzergruppe erhalten könnten, können Sie die Korrelation in z. Excel:

Spalte B und C sind die durchschnittlichen Ergebnisse der SUS. Spalte D und E sind die vergleichbaren Maße (dh für Frage 1,3,5,7,9: D = B-1 und E = C-1 und für Frage 2,4,6,8,10 D = 5 -B und E = 5-C). Die Korrelationsformel in C14 lautet wahrscheinlich "= KORRELATION (D2: D11; E2: E11)" (ich habe die norwegische MS Office-Ausgabe)

Eine hohe Korrelation zeigt an, dass Sie wahrscheinlich in beiden Gruppen das gleiche Ergebnis erzielen würden.

enter image description here

2

Aufbauend auf Jørns Antwort: Mithilfe statistischer Analysen können Sie eine kleine Gruppe qualitativ hochwertiger Benutzer mit den anderen vergleichen. Welche Tests am besten geeignet sind, hängt von Ihrer Stichprobengröße und den Annahmen ab, die Sie sicher über die Art Ihrer Daten treffen können (z. B. normalverteilt, gleiche Abweichungen usw.).

Um die Punktzahlen von zwei Gruppen auf dem SUS zu vergleichen, würde ich mit den Gesamtpunktzahlen beginnen (auf der Skala von 0 bis 100). Überprüfen Sie, ob die Ergebnisse ungefähr normal verteilt sind (entweder visuell im Histogramm oder mit einem statistischen Test wie Kolmogorov-Smirnov oder Shapiro-Wilk), und berechnen Sie dann den Mittelwert und die Standardabweichung für beide Gruppen. Ihre Nullhypothese lautet, dass die Punktzahlen für beide Gruppen gleich sind und dass die Unterschiede in den Punktzahlen zwischen den beiden Gruppen dem Zufall zugeschrieben werden können. Wenn Sie gleiche Varianzen annehmen können, können Sie einfach einen nabhängiger Stichproben-T-Test mit ungleichen Stichprobengrößen verwenden, andernfalls verwenden Sie die Variante für ungleiche Abweichungen Welch-t-Test . Sie können dies mit jeder Tabellenkalkulation oder jedem Statistikprogramm tun oder einen der Online-Rechner wie dieser von graphpad verwenden.

Stichprobenberechnung: Gruppe A (10 reale Benutzer): Mittelwert 68, Standardabweichung 17, n = 10 Gruppe B (40 zufällige Personen): Mittelwert 76, Standardabweichung 19, n = 40

Der ungepaarte t-Test ergibt einen p-Wert von 0,23 (nicht signifikant), sodass die Differenz zwischen den Mitteln dem Zufall zugeschrieben werden kann.

Falls Ihre Ergebnisse zeigen, dass es keinen Unterschied zwischen den beiden Gruppen gibt, kann ich davon ausgehen, dass Ihre Daten eine genaue Darstellung der tatsächlichen Benutzer liefern und Sie die beiden Gruppen zur weiteren Analyse kombinieren können.

Wenn nicht, versuchen Sie, Ihre Daten ein wenig zu massieren. Es ist bekannt, dass SUS) sowohl die Lernbarkeit (in den Punkten 4 und 8) als auch die Benutzerfreundlichkeit (in den übrigen Punkten) misst (gemäß Forschung ). Versuchen Sie also, dies wegzulassen Punkt 4 und 8 und führen Sie Ihre Tests nur für die Usability-Dimension aus.


Alles, was ich oben geschrieben habe, ist, wenn Sie außer den Testergebnissen keine zusätzlichen Daten haben. Wenn Sie in der Lage sind, demografische Daten zu sammeln (selbst grundlegende Informationen zur Sitzungsnummer könnten wertvoll sein), haben Sie viel mehr Möglichkeiten.

2
Marielle