it-swarm.com.de

Welche Personen wähle ich für groß angelegte A / B-Tests aus?

Was sind die besten Methoden, um zu entscheiden, welche Benutzer zu einem groß angelegten A/B-Test auf einer Website zugelassen werden sollen? Im Folgenden sind zwei meiner Bedenken bezüglich dieses Auswahlprozesses aufgeführt.

Die Abneigung erfahrener Benutzer gegen Veränderungen

Menschen sind Gewohnheitstiere. Sobald wir etwas für eine lange Zeit verwenden, werden wir sehr effizient und Routinen erfordern weniger Gehirnaktivität. Veränderungen, egal ob zum Guten oder zum Schlechten, stoßen auf Abneigung. Wenn wir den Teppich unter dem Benutzer hervorziehen, wird es ihnen unangenehm, ihre Gewohnheit zu brechen und den neuen Prozess zu lernen. Wenn wir Statistiken über die Reaktion von erfahrenen Benutzern auf eine neue Benutzeroberfläche sammeln würden, würden diese die Ergebnisse beeinträchtigen, da wir nur eine neue ausländische Hürde in ihre übliche Routine setzen.

Ein persönliches Beispiel für meine Abneigung gegen Änderungen war, als ich auf der Google-Suchmaschinen-Ergebnisseite für A/B-Tests ausgewählt wurde. Sie hatten die Unterstreichungen aus den Ergebnistiteln entfernt. Ich hatte viele Sekunden lang auf die Seite gestarrt und mich gefragt, was gerade passiert war. Die Art und Weise, wie ich das SERP analysiert habe, war seit 10 Jahren in meinen Augen verwurzelt und jetzt hat es sich geändert. Ich war Shell schockiert. Ich wette, dass ich zusammen mit anderen in diesem A/B-Test Die Ergebnisse von Google wurden durch unsere schlechte Reaktionszeit beeinträchtigt.

Vermutlich sollte der A/B-Test nur an neuen Benutzern durchgeführt werden, um die Abneigung der menschlichen Natur gegen Veränderungen zu vermeiden. Aber wie erkennt man, wer alt und wer neu auf einer Website ist? Ein Benutzer hätte seine Cookies löschen können, sodass sie wie ein neuer Benutzer aussehen, aber tatsächlich Ihre Website 2 Jahre lang verwendet haben könnten.

Immer die gleiche Version sehen

Sollte einem bestimmten Benutzer nur eine Version der neuen Benutzeroberfläche angezeigt werden? Wenn sie beispielsweise Version F sieht, sollte sie Version F weiterhin sehen, bis der A/B-Test abgeschlossen ist. Meine Theorie ist, dass Benutzer, die mit zu vielen Versionen überladen sind, verwirrt sind und die Ergebnisse beeinträchtigen.

Wie können Sie technisch gesehen immer wieder dieselbe Version für denselben Benutzer bereitstellen? Eine schwache Lösung besteht darin, ein Cookie im Browser des Benutzers zu speichern, das angibt, welcher Version sie zuerst zufällig zugewiesen wurden. Cookies werden jedoch nicht über Computer übertragen. Zum Beispiel wurde mir das neue Google SERP zu Hause und die alte Version bei der Arbeit) serviert. Ich musste mich auf die verschiedenen Versionen einstellen, als ich von der Arbeit zurück nach Hause kam und umgekehrt. Wir können dies auch nicht lösen, indem wir eine Version an ein Konto binden, da nicht garantiert ist, dass Benutzer jederzeit angemeldet sind.

3
JoJo

Sie sollten regelmäßige Besucher nicht überraschen. Zeigen Sie wiederholten Besuchern dieselbe Variante. Das Problem besteht darin, wie Sie hervorheben, zu wissen, ob der Benutzer die Site zuvor besucht hat.

  • Die Verwendung von Cookies ist eine Lösung. Da dies clientseitig ist, funktioniert es nicht für denselben Benutzer von verschiedenen Computern, und der Benutzer hat möglicherweise seine Cookies gelöscht.
  • Serverseitige Protokollierung von IP. Sie können die Besucher-IP protokollieren und diese Informationsserverseite speichern. Auf diese Weise wären Sie nicht anfällig für das Löschen der Cookies, aber derselbe Benutzer auf verschiedenen Computern ist immer noch ein Problem. Ein weiteres Problem bei dieser Lösung besteht darin, dass mehrere Benutzer dieselbe IP-Adresse verwenden können und diese dieselbe Version der Site erhalten.
  • Anmeldung. Wenn sich die Benutzer auf der Site registrieren/anmelden können, ist dies offensichtlich die beste Lösung, um demselben Benutzer dieselbe Version bereitzustellen, auch von verschiedenen Computern aus.

AFAIK, es ist nicht möglich, den Benutzer auf verschiedenen Computern ohne irgendeine Form von Anmeldefunktion zu identifizieren.


Übrigens,

Sie sollten sich auch dieses interessante Experiment (und dieser Artikel ) ansehen.

Der Zweck dieser Website ist es, den Browser so eindeutig wie möglich zu identifizieren. Durch die Berücksichtigung vieler Faktoren kann für jeden Browser ein ziemlich eindeutiger "Fingerabdruck" identifiziert werden. Wenn Sie davon ausgehen, dass jeder Benutzer auf verschiedenen Macines fast das gleiche Setup hat, können Sie einige kritische Faktoren auswählen, um zu bestimmen, welche Variante den Besuchern angezeigt werden soll. Wenn derselbe Benutzer zwischen IE und FireFox) wechselt, kann er einige Variationen des Aussehens erwarten.

3