it-swarm.com.de

Lohnt sich das Testen von A / B für Sie?

Ein Kunde erkundigt sich nach Blind-A/B-Split-Tests für eine Online-Anwendung, die sich hauptsächlich auf die Benutzerfreundlichkeit des Entwurfs und des Anwendungsworkflows konzentrieren. Jemand im Büro des Kunden las einen Artikel darüber, wie alle großen Agenturen A/B-Tests von Konzepten durchführen, bevor sie live gehen.

--edit-- Über die Anwendung: Es handelt sich um eine öffentlich zugängliche Anwendung, aber die Benutzer werden als Mitglieder bezahlt, so dass sie nicht kostenlos und offen genutzt werden können. Benutzer sind direkte Kunden, die ihrerseits das Produkt an ihre Kunden weiterverkaufen. Zu Spitzenzeiten würde der Datenverkehr wahrscheinlich + -1000 Benutzer betragen. Einige von ihnen wären tägliche Benutzer, während ein kleinerer Teil nur 1X/Woche sein könnte. --bearbeiten--

Haben die Ergebnisse den Mehraufwand gerechtfertigt?

3
bpeterson76

Ich hoffe, ich verstehe Ihre Situation richtig. Wenn nicht, hinterlasse einen Kommentar und ich räume ein bisschen auf.

In Ihrer Situation bin ich mir nicht sicher, wie gut A/B-Tests funktionieren werden - ich bin darum bemüht, brauchbare Ergebnisse zu erzielen. Es gibt zwei Probleme zu überwinden - statistisch gültige Ergebnisse zu erhalten und diese Ergebnisse dann zu verstehen.

Das erste Problem, das Sie sehen müssen, ist, dass die ~ 1000 Personen, die Ihren Dienst nutzen, nicht Ihre gesamte Benutzerbasis sind und Sie nicht sicher sein können, ob sie für Ihre Benutzer repräsentativ sind. Nur weil diese 1000 Benutzer beim A/B-Testen bestimmte Tendenzen aufweisen, bedeutet dies nicht, dass auch andere Benutzergruppen diese Tendenzen aufweisen. Und ich denke, das trübt auch die statistische Gültigkeit der Ergebnisse, weil Sie falsche Proben haben.

Sie haben auch zwei Kategorien von Personen, die Ihren bestimmten Service nutzen und die wissen, wie viele die weiterverkauften Systeme nutzen. In Ihrem System haben Sie die häufigen und seltenen Benutzer. Aber wie steht es mit den anderen Einsätzen? Wenn sich Ihre Änderungen auch auf sie auswirken würden, könnten Sie ihre Fähigkeit beeinträchtigen, ihre Ziele zu erreichen, ohne dass Daten zur Nutzererfahrung in A oder B vorliegen.

Das Verständnis der erzielten Ergebnisse ist schwierig, insbesondere wenn Sie Ihre A/B-Tests für mehrere Bereitstellungen Ihres Dienstes bereitstellen. Wenn Sie Daten aus mehreren unterschiedlichen Populationen erfassen, stellen Sie möglicherweise fest, dass Sie die gewünschten Ergebnisse mit A in einigen und B in anderen erzielen. Sie müssen dann entscheiden, ob dies tatsächlich korrekt ist, und dann entscheiden, was Sie damit tun möchten.

Ehrlich gesagt würde ich in diesem Fall Umfragen empfehlen. Informieren Sie sich über den Hintergrund Ihrer Benutzer - Altersgruppe, Geschlecht, Computererfahrung, Beruf - und wie diese die Software verwenden. Finden Sie dann heraus, welche Funktionen sie mögen oder nicht mögen, welche Funktionen einfach zu verwenden sind oder nicht und so weiter. Diese Umfrage sollte an so viele Personen wie möglich gerichtet sein - sowohl an Personen, die Ihre Bereitstellung verwenden, als auch an Personen, die andere Bereitstellungen verwenden.

5
Thomas Owens

A/B-Tests haben ihren Platz, aber es sind einige Dinge zu beachten. Am wichtigsten ist, dass Sie eine eindeutige Erfolgsmetrik haben. Das heißt Es muss einfach zu beurteilen sein, welche Leistung besser ist als A oder B. Dies gilt in erster Linie, wenn sich Ihre Website an einem bestimmten kommerziellen Ziel orientiert (z. B. Menschen dazu bringen, Bestellungen aufzugeben, auf Anzeigenlinks zu klicken usw.).

Sie benötigen außerdem eindeutige Testalternativen und eine ausreichende Benutzerbasis, um statistisch gültige Ergebnisse für jede A/B-Paarung zu erhalten. Die Anzahl der Paarungen und die Testdauer spielen ebenfalls eine Rolle.

Wenn Sie mehr an einer Verbesserung der allgemeinen Benutzerfreundlichkeit interessiert sind, sollten Sie eine kooperative Bewertung der Benutzerfreundlichkeit durchführen (indem Sie sich mit Testbenutzern zusammensetzen und diese beobachten, indem Sie eine Aufgabenliste durchgehen und Probleme notieren). Es ist billiger und liefert sehr nützliche Ergebnisse.

Letztendlich geht es darum, was Sie erreichen wollen.

3
Kris

Jemand im Büro des Kunden las einen Artikel darüber, wie alle großen Agenturen A/B-Tests von Konzepten durchführen, bevor sie live gehen.

Schön und gut, wenn Sie für große Agenturergebnisse auf einer großen Agenturwebsite viel Agenturgeld erhalten ... Wie Kris und Thomas Owens festgestellt haben, skaliert die statistische Stichprobe leider nicht runter sehr gut.

Benutzer, die für den Service bezahlt haben, sind nicht die Leute, auf die sich das multivariate Testen im Allgemeinen konzentriert (und das mit Bedacht) - die Idee ist, wie man Leute konvertiert, die nicht Abonnenten sind weil es mehr von ihnen gibt und ihre Aufmerksamkeit mehr wert ist als die potenzielle Verwirrung bestehender Abonnenten, die sich ohnehin bereits abgemeldet haben.

3
danlefree

In einer Situation, in der Entwickler/Manager für eine bestimmte Seite mehrere Dinge im Auge haben, ist das Testen von A/B mit genügend Benutzerverkehr eine gute Möglichkeit, um zu entscheiden, was besser funktioniert.

Wenn die Entscheidungen vorgeschrieben sind und es nicht viel Raum zum Experimentieren gibt (die Wahrheit der meisten Webdev-Shops), werden oberflächliche A/B-Tests nicht die erwarteten Ergebnisse bringen.

Der Trick des A/B-Testens besteht darin, genügend statistische Daten zu erhalten und dann die Ergebnisse zu analysieren - wobei die Analyse der schwierige Teil ist. Das Einrichten von A/B ist also nicht so zeitaufwendig wie das Verstehen der Daten.

Möglicherweise möchten Sie auch die Verwendung von Live-Usability-Tests in Betracht ziehen, die unter seit.com beschrieben sind.

Oder sogar automatisierte Tools wie ClickTale , die Ihnen zeigen, wie Benutzer Ihre Seiten verwenden.

0
Evgeny

A/B-Tests sind relativ kostengünstig und heutzutage einfach durchzuführen. Sie können das kostenlose Google Website-Optimierungstool oder ein ähnliches Tool wie das virtuelle Website-Optimierungstool verwenden, das bis zu 50 US-Dollar pro Monat kostet. Ich empfehle A/B-Tests für alle zielgerichteten Aufgaben (Conversions, Abonnements usw.). Im schlimmsten Fall erhalten Sie keinen statistischen Gewinner und verschwenden 50 US-Dollar. Im besten Fall verbessern Sie die Conversion-Raten und Ihr Kunde verdient mehr Geld.

Wenn Sie sich Ihre Beschreibung ansehen, scheint es, als würden sie eher nach Usability-Tests als nach Conversion-Optimierung suchen. Wenn das der Fall ist, habe ich sowohl clicktale (oben bereits erwähnt) als auch usertesting.com verwendet. Beide sind nach meiner Erfahrung das Geld wert. ustertesting.com ermöglicht einfache allgemeine Usability-Tests, und mit einem Klick können Sie sehen, was die tatsächlichen Benutzer tun.

Sie können sowohl A/B-Tests als auch Usability-Tests für insgesamt weniger als 500 USD durchführen. Wenn also das Budget vorhanden ist und Sie klare Ziele haben, lohnt es sich auf jeden Fall.

0
Joshak