it-swarm.com.de

Was sind einige bewährte Methoden beim Testen, um verschiedene Designideen zu vergleichen?

Es gibt eine Besonderheit unserer (B2B) App, die viel Verwirrung stiftet. (Es handelt sich um Listen von URLs, von denen einige sehr lang sein können, und um unterschiedlichen Status unterschiedliche Status zuzuweisen. Im Backend gibt es eine Menge boolescher Mathematik, aber offensichtlich versuchen wir, dies vor den Benutzern zu verbergen. )

Ein Teil der Verwirrung ist, dass die Domäne komplex ist. Wir haben vier Entwürfe entwickelt, um die Dinge zu klären, und ich möchte sie testen. Irgendwelche Ratschläge, wie man die Tests überschaubar hält? Einige Herausforderungen:

  • wir haben nicht genügend Benutzer, um automatisierte A/B-Tests jeglicher Art durchzuführen
  • es ist ein etwas komplexes konzeptionelles Modell, für dessen Verständnis wahrscheinlich zumindest ein wenig Fachwissen erforderlich ist
  • trotzdem sind unsere Benutzer nicht unbedingt sehr technisch
4
sprugman

Es ist möglich, einen kontrollierten (Labor-) Test mit einem Innersubjekt-Design durchzuführen. Zu diesem Zweck wäre jeder Teilnehmer jeder Bedingung (Design) ausgesetzt. Es kann Ordnungseffekte geben (dh sie lernen im Laufe der Zeit), um die Reihenfolge auszugleichen, in der die Teilnehmer jedes Design durcharbeiten (Teilnehmer 1 erhält also Designs 1,2,3,4; Teilnehmer 2 erhält 2,3,4,1 ; Teilnehmer 3 bekommt Design 3,4,1,2; und so weiter). Dies hilft, Auftragseffekte zu vermeiden.

Das Schwierige ist, herauszufinden, was Sie messen möchten. Das hängt von den Zielen ab, die die Software erreichen soll.

2

Ich würde vorschlagen, etwas wie Silverback zu verwenden (nicht sicher, ob Sie Macs haben oder nicht, aber es ist nur ein Beispiel für eine App, die das tut, woran ich denke), um tatsächlich diejenigen festzulegen, die wollen -be-Endbenutzer spezifische Aufgaben innerhalb der verschiedenen Designs und sehen, wie sie ausgeführt werden.

Sie können sehen, ob sie die in ihrer Domäne erforderlichen Schritte ausführen können. Sie können sehen, wo sich die Problemstellen befinden, und Ihre Designs möglicherweise darauf basierend anpassen. Außerdem erhalten Sie mehr, als den Benutzer tatsächlich zu bitten, sich zu melden. Sie melden ihre Probleme möglicherweise nicht genau oder können sie nicht so detailliert artikulieren, wie Sie es können, wenn Sie sie in Aktion beobachten.

Ich habe in der Vergangenheit nur oberflächliche Guerilla-Tests durchgeführt, aber es ist eine einfache Idee und scheint gut zu funktionieren, wenn Sie nur über begrenzte Ressourcen verfügen.

1
Sam K