it-swarm.com.de

Wie validieren Unternehmenssoftware A / B-Tests?

Ich habe gerade angefangen, für ein Unternehmen für Unternehmenssoftware zu arbeiten, und es fällt mir schwer, die Validierung zu integrieren, um zu sehen, was für den Benutzer funktioniert.

Ich bin es gewohnt, für mehr konsumentenbasierte Software zu arbeiten, und sie sind nicht "gezwungen", die Software zu verwenden. Wie validieren Sie es jedoch, wenn Ihre Benutzer gezwungen sind, es zu verwenden?

Angenommen, ich habe zwei Sätze von Werkzeugschaltflächen für den A/B-Test. Eins mit nur Symbolen, eins mit nur Worten. Wie würde ich überprüfen, was das Beste ist? In einer B-to-C-Lösung können Sie häufig daran erkennen, wie oft auf die Schaltflächen geklickt wird, wie lange sie in der Software verbleiben, wie oft sie die Software verwenden - aber was ist mit einer Unternehmenslösung, wenn die Benutzer dazu gezwungen werden? Verwenden Sie die Software? Wie gestalten Sie die Validierung in dieser Situation?

9
CleverNode

(die meisten) Enterprise A/B-Testtools geben Ihnen ein margin of error Berechnung unter Berücksichtigung Ihres gewünschten Konfidenzindex.

Was dies bedeutet (vorausgesetzt, Sie möchten 90% Vertrauen)

<confidence %> der Zeit, in der meine Conversion-Rate innerhalb von +/-<margin of error> von <conversion rate>

In 90% der Fälle beträgt meine Conversion-Rate +/- 10% einer Conversion-Rate von 5%. Das bedeutet, dass meine Conversion-Rate in 10% der Fälle unter 4,5% und über 5,5% liegt.

Es gibt viele Beiträge, die dies erklären:

Ich werde auch erwähnen, dass je länger Sie Ihren Test ausführen (2 Monate, 6 Monate usw.), desto wahrscheinlicher ist es, dass Ihre Daten konvergieren. Je mehr Sie eine Münze werfen, desto näher kommen Sie 50/50, werden aber möglicherweise nie näher. Dies ist der Grund für längere Testdauern, und auch der Grund für die Durchführung von A/A-Tests ist von Zeit zu Zeit eine kluge Idee.

2
d-_-b

Test im Kontext

Erstens verstehe ich Ihre Erklärung für den Unterschied zwischen der Wahl, Software zu verwenden, und der Wahl, aber ich sehe nicht wirklich, wie sich dies auf Ihre Tests auswirken wird. Ein Benutzer verwendet die App entweder zum Ausführen einer Aufgabe oder nicht, und Sie können nicht wirklich steuern, aus welchen Gründen er sie möglicherweise nicht verwendet. Sicher, in einem "frei wählbaren" System sollte Ihr Design so "gut" sein wie Ihr bester Konkurrent (Benchmarking), aber das sollte das Testen von Option A gegen Option B in Ihrer App nicht behindern.

Sinnvolle Ziele - Mögliche Auswirkungen

Wenn die von Ihnen getesteten Optionen keinen potenziellen Einfluss auf die Leistung haben, sprechen Sie von Ästhetik. Wenn es einen möglichen Einfluss gibt (z. B. die Zeit bis zum Abschluss der Aufgabe erhöht/verkürzt, Anzahl der erforderlichen Klicks), haben Sie die Grundlage für ein aussagekräftiges Ziel.

Mit vielen Benutzern

A/B-Test, Erfolg im Kontext Ihres Ziels messen (Zeitaktionen/Klicks zählen), statistisch auf signifikante Unterschiede analysieren .

Mit ein paar Benutzern

Benutzer testen mindestens 5 Benutzer, identifizieren Hauptprobleme oder nicht.

3
dennislees

Wenn Sie ein Leistungsmaß haben, das Sie durch die Verwendung der Software zur Ausführung einer festgelegten Aufgabe erfassen können, können Sie ein Experiment einrichten und die Ergebnisse mit einem "T-Test" analysieren. (Einige Details finden Sie hier .

1
David

Ich gehe davon aus, dass Sie mit Enterprise-Software Software meinen, die vor Ort bereitgestellt wird und auf die die Cloud nicht zugreifen kann.

In Fällen, in denen Sie keinen A/B-Test mit einem Live-Publikum durchführen können, können Sie einen Auswahltest verwenden, um das günstige Symbol zu ermitteln. Der Auswahltest ist wie ein einfacher A/B-Test, aber Sie können ihn mit Ihrem eigenen Team verwenden oder einige Benutzer aus dem Unternehmen rekrutieren, in dem Ihre Software bereitgestellt wird.

Drucken Sie einfach die beiden Schaltflächen aus und zeigen Sie sie einigen Personen. Dies wäre ein rudimentärer Test, gibt Ihnen aber einige Vorstellung davon, ob es funktioniert oder nicht.

Um mehr Testideen zu erhalten, können Sie Personen beobachten, die Ihre Software verwenden (wo sie bereitgestellt wird), und dann eine Hypothese zum Testen von Ideen erstellen.

1
Aakanksha Gaur