it-swarm.com.de

Wie kann eine groß angelegte Folgenabschätzung validiert werden, ohne Daten zu verzerren? Crowd-Sourcing-Techniken?

Ich suche nach einem Job, der eine Validierung der Informationsarchitektur von einer sehr großen Website für Gesundheits- und Sozialwesen mit rund 6500 Seiten erfordert.

Hier ist mein Ansatz:

  1. Analyse der vorhandenen Forschung: Der Bereich ist Gesundheits- und Sozialwesen - ich habe keinen Zweifel daran, dass es eine Fülle von Forschungsdaten für verschiedene demografische Daten geben wird, die Aufschluss darüber geben, welche Abschnitte besonders wichtig sind
  2. Enger Fokus zum Testen: 6500 Seiten sind unmöglich, aber angesichts der Forschung aus Phase 1 können wir den Fokus auf x Schlüsselabschnitte beschränken
  3. Führen Sie eine Kartensortierung mit x Benutzern durch, um eine prototypische Folgenabschätzung zu erstellen
  4. (Wiederholungstest - optional)

Bedenken: Die Website richtet sich an eine sehr breite Bevölkerungsgruppe. Um die Kartensortierung richtig durchzuführen, müssen viele Benutzer statistisch signifikante Ergebnisse liefern, aber der Kunde verfügt nur über ein begrenztes Budget, sodass dies möglicherweise nicht möglich ist.

Hier ist also die Frage:

Wie kann man bei einer großen und komplexen Informationsarchitektur mit vielen verschiedenen Benutzertypen die Folgenabschätzung validieren, ohne die Daten aufgrund der geringen Stichprobengröße zu verzerren? Gibt es billige Crowd-Sourcing-Techniken in großem Maßstab, die Sie kennen?

5
colmcq

Grundsätzlich ist die Validierung für große IA ähnlich wie in anderen Situationen. Führen Sie eine geschlossene Kartensortierung durch.

Weitere Kommentare zu Ihrem Problem: Lesen Sie den Artikel Skalieren der Kartensortiermethode auf über 500 Elemente: Umstrukturierung des Google AdWords-Hilfezentrums von Nakhimovsky et al. Ideen zur Durchführung von Kartensortierungen mit vielen Elementen . Im Wesentlichen müssen Sie die Anzahl der zu sortierenden Elemente auf eine überschaubare Anzahl ermitteln.

In Bezug auf die Breite der Bevölkerungszahl haben Sie meines Erachtens zwei vernünftige Optionen: Führen Sie entweder eine Kartensortierung mit vielen Benutzern durch und verwenden Sie die Ergebnisse als Grundlage für die Folgenabschätzung oder eine für jede der Hauptbenutzergruppen und verwenden Sie diese Ergebnisse als Designgrundlage. Wenn ich dachte, dass separate Sortierungen für jede Gruppe zusätzliche Informationen liefern würden, die tatsächlich im Entwurfsprozess verwendet würden, würde ich das tun. Wenn nicht, würde ich nur eine Sortierung mit mehr Benutzern durchführen.

Anzahl der Benutzer beim Sortieren von Karten: Sie benötigen ungefähr 15 bis 20 Benutzer (laut Tullis & Wood, 2004) pro Benutzergruppe, um angemessene Ergebnisse zu erzielen. Ich würde wahrscheinlich einen der webbasierten Kartensortierungsdienste verwenden. Auf diese Weise können Sie eine angemessene Anzahl von Benutzern relativ billig erhalten, da die Vergütung für Benutzer geringer sein kann, da das webbasierte Sortieren bequemer ist. Der Nachteil ist, dass Sie die qualitativen Daten nicht in Form von Benutzerkommentaren und Begründungen dieser Art erhalten. Der Vorteil ist, dass quantitative Daten mit einer papierbasierten Sortierung vergleichbar sein sollten ( Bussolon et al., 2006 )

Wie auch immer, das ist die Spitze meines Kopfes.

7
Illotus

Hinweis: Ich vertrete Optimal Workshop , das Unternehmen, das die unten vorgeschlagenen Tools herstellt.

Wenn Ihr Budget es zulässt, würde ich vorschlagen, dass Sie mit einer moderierten Kartensortierung mit einer kleinen Anzahl von Teilnehmern (3-15) beginnen. In diesem Prozess werden Sie wahrscheinlich etwas über Ihre Kartenetiketten und die Inhaltsabdeckung erfahren, sodass Sie nach Abschluss dieser Phase alle erforderlichen Anpassungen an Ihren Karten vornehmen können. Wenn das Budget knapp ist, können Sie diesen Schritt überspringen (oder mit weniger Personen testen) und zu einem späteren Zeitpunkt mehr Ressourcen für Benutzertests zuweisen.

Führen Sie dann eine entfernte und nicht moderierte OPEN-Kartensortierung mit einem Tool wie OptimalSort mit etwa 50 Karten und so vielen Teilnehmern durch, wie Sie benötigen, um genügend Daten zu erhalten, damit Sie und Ihr Kunde Vertrauen in Ihre Entscheidungen haben.

Wenn klar ist, dass bestimmte Benutzergruppen nur an bestimmten Inhalten interessiert sind, können Sie bestimmte Kartensortierungen für bestimmte Benutzergruppen durchführen. Durch das Sortieren der Karten erhalten Sie eine gute Vorstellung von Ihren Kategorien der obersten Ebene und Hinweise für die unteren Ebenen. Sie können Kartensortierungen auf niedrigeren Inhaltsebenen wiederholen, wenn Sie der Meinung sind, dass Sie zu diesem Zeitpunkt nicht über genügend Informationen verfügen, um den vollständigen Baum zu erstellen.

Sobald Sie Ihre vorgeschlagene/prototypische Folgenabschätzung erstellt haben, verwenden Sie ein Baumtest-Tool wie Treejack, um Ihre Folgenabschätzung in einem aufgabenbasierten Kontext zu validieren. Dies ist anstelle einer geschlossenen Kartensortierung. Baumtests werden in diesem Artikel von Dave O'Brien beschrieben. Möglicherweise müssen Sie mehrere Baumtests durchführen, um Ihre Folgenabschätzung zu verfeinern, bevor Sie mit anderen Phasen des Projekts fortfahren können (verbrauchen Sie also beim ersten Treffer nicht Ihre gesamte Datenbank potenzieller Studienteilnehmer). Es kann auch nützlich sein, Ihre Benutzer zu segmentieren und jedes Segment mit geeigneten Aufgaben gegen denselben Baum (IA) zu testen.

3
Andrew Mayfield