it-swarm.com.de

Tipps für A / B-Tests?

Es scheint eine zunehmende Anzahl von A/B-Testdiensten (wie Google Website Optimiser ) und Personen zu geben, die diese verwenden. Haben Sie Tipps zur Verwendung und Analyse der Ergebnisse?

12
Philip Morton

Philip

Betreff: Analyse der Ergebnisse. Schauen Sie sich die Einfache Statistik für AdWords A/B-Tests und Hamster von Jason Cohen an.

Es ist einer der besten Artikel, die ich je über das Verständnis der statistischen Relevanz der Ergebnisse eines A/B-Tests gelesen habe. Plus (und das ist ein großes Plus für mich) es macht Spaß zu lesen.

Die Hauptbotschaft:

Sie bestimmen, ob ein A/B-Test einen statistisch signifikanten Unterschied zeigt:

Definieren Sie N als "Anzahl der Versuche". - (Klicken Sie auf Ergebnisse für Variante A + Variante B)

Definieren Sie D als "die halbe Differenz zwischen dem" Gewinner "und dem" Verlierer "."

Das Testergebnis ist statistisch signifikant, wenn D.2 ist größer als N.

Eine vollständige Erklärung finden Sie im Artikel.

Alles Gute,

Matt

9
Matt Goddard

Es gibt einen wirklich schönen Artikel von Cennydd Bowles, den Sie wahrscheinlich nützlich finden werden statistische Signifikanz und andere Fallstricke bei A/B-Tests

6
adrianh

Ich war an Website Optimizer und Omniture, Marketo sowie einigen selbst entwickelten A/B-Testtools beteiligt. Meine wichtigste Erkenntnis ist folgende: Garbage In - Garbage Out .

Die Schlüsselfrage lautet: "Was testen Sie? Wer entscheidet das?" Ist es nur "Lass uns versuchen, die Kontrolle zu übertreffen" oder ist es "Lass uns etwas über unser Publikum lernen". Letzteres ist viel wichtiger. Sie müssen zu den WARUM-Fragen kommen, nicht nur zu den WAS.

Bei Intuit zum Beispiel haben sie alle Arten von schrecklichen Designs vom Komitee getestet und die Nadel nie wirklich bewegt. Sie haben auch nie erfahren, warum eins besser ist als das andere.

Bei der Benutzererfahrung muss es darum gehen, in die Köpfe der Menschen zu gelangen. Es kann nicht einfach sein, Pixel zufällig zusammen zu werfen und zu hoffen, dass es besser ist als die letzte Anstrengung.

Entschuldigung, vielleicht bin ich vom Thema abgeflogen. Ich habe gesehen, dass AB-Tests in vielerlei Hinsicht schief gelaufen sind. Und lassen Sie mich nicht mit multivariaten Tests (DOE) beginnen.

Letzter Gedanke: Avinash Kaushiks Blog und Bücher sind großartig, um etwas über Analytik zu lernen. Er ist ein Superstar auf dem Gebiet.

4
Glen Lipka

Möglicherweise finden Sie Smashing Magazine Der ultimative Leitfaden für A/B-Tests eine nützliche A/B-Testressource:

Es enthält einen Abschnitt über Tools für A/B-Tests sowie Folgendes:

  • Was ist A/B-Test?
  • Was zu testen?
  • Erstellen Sie Ihren ersten A/B-Test
  • Verhaltensregeln
  • Klassische A/B-Testfallstudien
  • Ressourcen für das Eintauchen in A/B-Tests
4
Nathalie C

Es gibt einen ziemlich guten Artikel von Jon Von Tividar unter http://www.futurenowinc.com/resources/abtesting.pdf

Ein gutes Stück über die Vermeidung falscher Maxima - ich bin mit Glen und denke, Sie können die Peaks möglicherweise nur erreichen, indem Sie zuerst eine ganze Reihe von Techniken anwenden - und dann Tweak mit A/B- oder multivariaten Tests. Zumindest im Webdesign benötigen Sie einen „intelligenten Schöpfer“ und können ihn nicht der Evolution überlassen, indem Sie die natürliche Selektion a/b testen.

[NB: Ich bin auch erstaunt, wie oft ich sehe, dass Leute Ergebnisse mit absolut keinem Verständnis für grundlegende Statistiken und Bedeutungen behaupten - und mich nicht dazu bringen, Leute zu vermarkten, die kreative Konzepttests durchführen ...]

Jon

3
Jon Dodd