it-swarm.com.de

Unerwartete A / B-Testergebnisse

Wir haben gerade einen A/B-Test für eine unserer Zielseiten mit Visual Website Optimizer durchgeführt. Wir sind eine Online-Reservierungsseite für Hotelbuchungen.

Auf der Zielseite werden Informationen zu einem bestimmten Hotel (Bilder, Beschreibung, Karte, Ausstattung) und eine Suchmaschine angezeigt, in der die Daten des Aufenthalts, der Zimmertyp, die Währung usw. mit einer Schaltfläche zum "Suchen" der Verfügbarkeit für dieses Hotel ausgewählt werden ...

Das Suchfeld befindet sich jetzt am unteren Rand der Seite (Sie müssen nach unten scrollen, um es zu sehen). Die Variante bestand darin, das Suchfeld oben auf der Seite zu platzieren (in beiden Fällen horizontal). Bei dieser Art von Zielseiten haben alle unsere Konkurrenten das Suchfeld oben auf der Seite (normalerweise auf der linken Seite). Die Statistiken für den Test: Prozentualer Verkehr, der in den Test einbezogen werden soll: 100% Gesamtzahl der Besucher: 250

KONTROLLE (127): Suche senden: 34,65% Buchung senden: 4,72%

VARIATION (123): Suche einreichen: 27,64% Buchung senden: 3,25%

Entgegen unserer Hypothese scrollen Besucher lieber nach unten. Sie reichen mehr Suchanfragen und Buchungen (Conversions) ein als in der Variante.

Würden Sie diesen Ergebnissen vertrauen? Vielleicht nicht genug Besucher?

6
Jose

Was Sie dort haben, ist ein Null-Ergebnis - es gibt keinen wirklichen Unterschied zwischen den beiden.

Lassen Sie uns von den Prozentsätzen zu den tatsächlichen Zahlen zurückkehren.

Kontrolle (127): Eingereichte Suche 44, gebucht 6

Variation (123): Eingereichte Suche 34, gebucht 4

Nur wenn man die Zahlen ansieht, sieht es nicht besonders überzeugend aus. Wenn nur eine Person weniger in der Kontrolle und eine weitere Person in der Variante gebucht hätten, hätten wir auf beiden die gleichen Nummern ...

Nun - es gibt dieses Ding, das als statistisches Vertrauen bezeichnet wird. Es ist ein Ausdruck dafür, wie sicher wir sein können, dass wir die Ergebnisse nicht nur durch Zufall erzielt haben. Dies wird oft als "p-Wert" ausgedrückt. Es ist allgemein anerkannt, dass Sie einen p <0,05 wünschen, was ungefähr bedeutet, dass 95% sicher sind, dass das Ergebnis signifikant ist.

VWO hat sogar ein nettes Online-Tool, um es für Sie zu berechnen http://visualwebsiteoptimizer.com/ab-split-significance-calculator/ :-)

Wenn wir uns den p-Wert für die Suche ansehen, ist er 0,115 - nicht signifikant.

Wenn wir uns den p-Wert für Buchungen ansehen, ist er 0,4 - nicht einmal annähernd signifikant.

Prozentsätze sind bei A/B-Tests völlig falsch . Sie müssen sich das statistische Konfidenzniveau ansehen, mit dem Sie eine Verbesserung erzielen.

Was Sie hier haben, ist ein "nicht bewiesen". Sie müssten viel mehr Ergebnisse sammeln oder einen größeren Unterschied zwischen den Ergebnissen feststellen, bevor Sie sicher sein können, dass die Änderung die Situation verbessert/verschlechtert hat.

14
adrianh

Gut. Die halbe Idee eines A/B-Tests ist überrascht sein ... ;-)

Aber ich würde diesen Fall definitiv mehr untersuchen!

Ich würde auch nicht sagen, dass die Ergebnisse überzeugend sind. Der Unterschied ist zu gering, um zu dem Schluss zu kommen, dass Ihre Besucher A gegenüber B bevorzugen (und Sie sollten mehr Benutzer haben).

  • Führen Sie einige Benutzertests oder Interviews nach Aufgaben durch, um weitere "Qualitätsinformationen" zu erhalten.
  • Finden Sie auch heraus, warum so wenige Benutzer das Suchfeld überhaupt verwenden. Ich hätte gedacht, dass die meisten Benutzer direkt zum Suchfeld gingen ...
6