it-swarm.com.de

Was machen Sie mit einem nicht schlüssigen A / B-Test? Das Wechselgeld behalten oder verlieren?

Kurzfassung

Wenn Sie einen A/B-Test ausführen und feststellen, dass sich Ihre Schlüsselmetrik nicht unterscheidet, behalten Sie die experimentelle Version bei oder setzen Sie die Site wieder auf das Steuerelement zurück?

Story Version

Ihr Kunde kommt in Ihr Büro gestürzt.

"Ich weiß, was diese Webseite zum POP macht! Ändern Sie das Produktfoto in einen Buff-Typ, der ein Bier hält, und setzen Sie den Aufruf zum Handeln über seine Brust!"

"Ähm ... ich denke nicht, dass das wirklich den Bedürfnissen Ihrer Benutzer entspricht, und es passt nicht zum Thema der ..."

"Meine Mutter LIEBT Buff Dudes!"

"Ähm ... ok, wie wäre es, wenn wir das A/B testen und sehen, ob es einen Unterschied macht."

Sie führen also den albernen A/B-Test durch und sind etwas überrascht, dass es keinen Unterschied gibt. Wäre es sinnvoller, nur die Änderungsanforderung zu implementieren oder dem Client mitzuteilen, dass dies nicht wirklich geholfen hat?

10

Angenommen, Sie testen eine Änderung an einem vorhandenen System , bevorzugen Sie die Steuerung. Es ist das, woran die Leute gewöhnt sind, einfach weil es bereits vorhanden ist. Wenn Tests für Benutzer, die mit Ihrer Site nicht vertraut sind, nicht schlüssig sind, hilft die Änderung im besten Fall nicht, im schlimmsten Fall verwirrt sie die aktuellen Benutzer kurz.

Sie haben die Nullhypothese nicht abgelehnt. Halten Sie sich an das, was Sie haben.

Wenn es sich um einen A/B-Test eines unveröffentlichten Features handelt, handelt es sich um einen Urteilsspruch. Tun Sie, was am besten zu der Site oder den Standardkonventionen passt. Da Sie keinen Unterschied bemerkt haben, ist es möglich, dass beide gleich passen.

Stellen Sie jedoch sicher, dass Sie einen ordnungsgemäßen Test durchgeführt haben. Wenn viele Ihrer Tests nicht schlüssig sind, testen Sie möglicherweise die falschen Änderungen (es ist zu wenig, um eine Rolle zu spielen) oder Sie testen nicht richtig. Es ist möglich, dass die Funktion, die Sie A/B testen , keine große Rolle spielt , und wenn dies der Fall ist, sollten Sie keinen zusätzlichen Aufwand betreiben in die Änderung zu machen.

10
Ben Brocka

Ich denke, Sie müssen mit dem Wortlaut hier vorsichtig sein, da "keine Änderung" nicht unbedingt "nicht schlüssig" bedeutet. Beispielsweise kann ein nicht schlüssiges Ergebnis immer noch eine Erhöhung einer Metrik anzeigen, jedoch aufgrund anderer Faktoren (Stichproben, Unterrepräsentation, technische Probleme usw.) unbrauchbar sein. Wenn Sie jedoch keine Änderung sehen, wie bereits erwähnt, sollte dies dazu führen, dass die Steuerung bevorzugt wird, anstatt die Änderung einzuführen, da dieses neue Element möglicherweise andere Faktoren beeinflusst, die Ihr A/B-Test nicht erfassen soll, und Sie daher mehr Tests benötigen, um zu sehen was die Änderung mit sich bringen könnte.

1
kylomylo

Ich glaube, es gibt bestimmte Fälle, in denen sich die Anwendung der Änderungen lohnen kann. Dies ist natürlich sehr subjektiv für die Änderung. Es ist ideal, das erwartete Ergebnis zu erraten und im Voraus zu planen, was zu tun ist. Wenn eine Änderung zusätzliche Vorteile bietet, die der Benutzer nicht bemerkt, kann die Implementierung eine gute Sache sein. Zum Beispiel eine Änderung, die die Bandbreitennutzung reduziert, die Gebühren für das Unternehmen senkt usw.

0
Daniel Zahra