it-swarm.com.de

Expertenbewertung der Suchmaschine - Strukturierung des Berichts

Ich schreibe einen Bericht für einen Kunden, der versucht zu beschreiben, warum seine Suchmaschine Benutzer ausfällt.

Ich strukturiere den Bericht so:

abschnitt 1) ​​Expertenbewertung der Schnittstelle. Enthält Heuristiken wie Platzierung und Größe des Suchfelds auf dem Bildschirm, Klarheit und Lesbarkeit der Ergebnisse usw. In diesem Abschnitt kann ich feststellen, welche Probleme mit der Schnittstelle vorliegen

abschnitt 2) Analyse von Suchprotokollen: Google Analytics teilt mir die häufigsten Suchbegriffe mit und ob es Muster gibt, z. B. einfache Schlüsselwörter oder Abfragen in natürlicher Sprache

abschnitt 3) Testen der Suchmaschine mit einer Reihe gängiger Suchbegriffe (n), um festzustellen, wie schlecht/gut die Suchmaschine relevante, genaue Ergebnisse liefert. Dies ist schwierig, da ein gewisses Maß an Subjektivität bestimmt, was relevant oder irrelevant ist. Es wird verschiedene Personas geben, die das System verwenden und für die die Relevanz variieren wird.

frage: Abschnitt eins und zwei sind einfach, aber Abschnitt 3 ist etwas kniffliger. Wie finde ich eine Möglichkeit, die Genauigkeit und Relevanz der Suche objektiv zu messen? Willkürlich?

frage: Gibt es noch etwas, von dem Sie denken, dass ich es in meinen Bericht aufnehmen sollte?

danke im Voraus.

5
colmcq

Für den dritten sollten Sie Anwendungsfälle entwickeln, die ein klares Ziel haben. Erstellen Sie dann einige Personas, die versuchen, dieses Ziel zu erreichen.

Zum Beispiel möchte jemand die Punktzahl eines Fußballspiels wissen. Wie würde jede Person suchen und was würde sie bekommen und wie viel Graben würde es dauern.

Oder führen Sie einige Usability-Tests durch. AppSumo hat sogar einen Deal heute für http://www.usabilitytesting.com

Was Sie hinzufügen sollten, würde ich eine Heatmap und alle Statistiken einer vergleichbaren Site empfehlen (um sie als eine Art Benchmark anzuzeigen. Ihre Absprungrate beträgt 45%, die Absprungrate dieser anderen Site beträgt 33%).

3
jonshariat

Relevanz und Genauigkeit lassen sich am besten anhand der Benutzerzufriedenheit messen.

Eine Möglichkeit, die Benutzerzufriedenheit zu messen (außer Usability-Tests), besteht darin, die Geschäftsergebnisse zu betrachten. Obwohl die Verschmelzung von Geschäftsergebnissen mit der Zufriedenheit der Benutzer ein schlüpfriger Hang ist, kann es sehr effektiv sein, die Chance auf mehr Geld als Hebel für ein Argument zu nutzen, um Unternehmen zu überzeugen. Finden Sie heraus, wie gut Benutzer Konvertierung sind, indem Sie SEO-Trichter (z. B. in Google Analytics) oder andere Leistungskennzahlen analysieren, die das Unternehmen eingerichtet hat (z. B. Anzahl der Verkäufe aus der Anzeige von Suchergebnissen).

Wenn es sich beispielsweise um eine Website zur Hotelsuche handelt, ermitteln Sie, wie viele Personen nach etwas suchen, klicken Sie auf ein Ergebnis und buchen Sie ein Zimmer. Dadurch erhalten Sie eine Zahl, die Sie mit den Geschäftszielen vergleichen und daraus Schlussfolgerungen ziehen können. Zum Beispiel: Die Suchergebnisse sind nicht sehr gut, da die Leute offensichtlich nicht so viele Zimmer buchen, wie Sie möchten.

Es ist eine verzerrte Sichtweise auf die Welt, aber es ist oft die, die für Ihren Kunden wichtig ist.

1
Rahul

Ich weiß nicht viel über die Art der Suchaufgaben, die Datenmenge und die Ziele Ihres Benutzers, daher werde ich meine Antwort nur auf allgemeine Statistiken konzentrieren, um Relevanz und Genauigkeit zu quantifizieren. Hier gehe ich davon aus, dass Ergebnisse als relevant oder irrelevant eingestuft werden können, ohne dass dazwischen etwas liegt.

Ein Ansatz zur Messung der (subjektiven) Relevanz (der in Bereichen wie der Sprachforschung häufig verwendet wird) besteht darin, ein Kodierungsschema anzugeben und die Suchergebnisse von mehreren Personen klassifizieren zu lassen. Einige Ergebnisse werden eindeutig als relevant eingestuft, andere als irrelevant und andere als relevant für einige Personen, aber irrelevant für andere. Um einen Einblick in den Grad der Subjektivität zu erhalten, der mit der Aufgabe verbunden ist, stehen verschiedene statistische Messungen für die Zuverlässigkeit zwischen Bewertern zur Verfügung ( Übersicht über verschiedene Methoden ).

Für die Genauigkeit müssen Sie sowohl bestimmen, wie viele irrelevante Elemente fälschlicherweise als Ergebnisse dargestellt wurden, als auch wie viele relevante Elemente fälschlicherweise weggelassen wurden. Einfache Genauigkeit: Gute Klassifikationen geteilt durch die Gesamtzahl der Klassifikationen. Manchmal sind falsch positive und falsch negative Ergebnisse nicht gleich schlecht, dann würden Sie auf Spezifität/Sensitivität, positiven/negativen Vorhersagewert usw. zurückgreifen.

Wenn Sie Ihre Ergebnisse jedoch nicht wirklich quantifizieren müssen, können Sie sich auf die subjektive Erfahrung und Benutzerzufriedenheit konzentrieren und einige Beispiele für Ergebnisse nennen, die eindeutig irrelevant sind, um zu zeigen, was verbessert werden muss.

Hinzugefügt:

Louis Rosenfeld gab kürzlich einen Workshop zu Site Search Analytics an der UX Lissabon ( Folien auf Slideshare , der Teil über das Messen von Relevanz und Präzision beginnt auf Folie 21). Für Relevanz misst er die Position des 'besten' Ergebnisses in der Liste (Abstand von oben). Für die Präzision verwendet er eine Bewertungsskala mit den Kategorien relevant/nahe/verlegt/irrelevant, was zu unterschiedlichen Bewertungen für verschiedene Zulässigkeitsstufen führt (streng/locker zulässig).

1
Marielle

Zusammenfassung:

  • Strukturieren Sie den Suchmaschinenbericht nach relativen Stärken/Schwächen, wenn Sie können.
  • Andernfalls helfen Sie ihnen, ihr Suchspiel mit einem Abschnitt mit UX-Vorschlägen zu verbessern, um die Suche zu vereinfachen - d. H. Wenn die Engine in jeder Hinsicht düster ist.

"Ich schreibe einen Bericht für einen Kunden, der versucht zu beschreiben, warum seine Suchmaschine Benutzer ausfällt."

Sie müssen das Risiko eines Berichts verringern, der anzeigt, dass die Engine Benutzer ausfällt, aber nicht zeigt, warum. Das Problem ist, dass, wenn die Engine überhaupt keine genauen relevanten Ergebnisse liefert, es für die Person, die den Bericht in Auftrag gegeben hat, nicht viel nützt, dies zu sagen und dies im Detail zu sagen - selbst wenn eine schlechte Selektivität der Grund dafür ist, warum Benutzer versagt .

  • Wenn Ihre vorläufigen Untersuchungen zeigen, dass die Suche einigen Benutzern unter bestimmten Umständen gute Dienste leistet, wird Teil 3 von Ihres Berichts um die Kontraste herum erstellt. Zum Beispiel könnte es für Leute gut sein, die nach Zugangsvoraussetzungen für Vollzeitstudiengänge in Hauptfächern suchen, die eher mit formalen als mit umgangssprachlichen Begriffen identifiziert werden. Dies wäre sein "Sweet Spot" - und es könnte in der Tat sehr gut sein. Aber das könnte ein kleiner Prozentsatz der Besucher sein.

Kennzeichnen und sortieren Sie die Benutzerbeschwerden, sodass Muster verwandter Beschwerden entstehen.

Zu diesem Zeitpunkt haben Sie Hinweise darauf, wo die Suchmaschine relativ schwach ist - z. (Zeit) richtet sich nicht an Personen, die Abendkurse oder Fernkurse suchen; (Stufe) unterscheidet nicht zwischen Kursen mit anerkannten Berufskursen und Kursen mit Zertifikaten; (Synonyme) finden keine "Mykologie", wenn Sie nach "Pilzkultur" oder "Pilzzucht" suchen. (Kursinhalt) gibt Auskunft über die Zulassungsvoraussetzungen, nicht jedoch darüber, was im Kurs behandelt wird.

"Wie finde ich eine Möglichkeit, die Genauigkeit und Relevanz der Suche objektiv zu messen?"

Um dies in eine Messung umzuwandeln, ist es völlig in Ordnung, eine subjektive Bewertung zu verwenden, ob eine Suche (eine Benutzersuche oder eine erfundene) erfolgreich war oder nicht. Es ist der kumulative Effekt mehrerer Suchversuche, der wertvolle Erkenntnisse liefert und die Übung ausreichend objektiv macht. Geben Sie Diagramme an, die den Sucherfolg kontrastieren, wenn Sie sich für jeden Aspekt im Sweet Spot befinden, und wenn nicht . Die Gesamterfolgsraten sind nicht nützlich, um Veränderungen zu steuern, die relativen Erfolgsraten jedoch.

  • Wenn die Suche keinen Benutzern gute Dienste leistet, haben Sie eine viel schwierigere Zeit. Sie müssen mehr Detektivarbeit leisten, um herauszufinden, warum gute Ergebnisse nicht ganz oben auf der Liste stehen. Zu sagen, dass sie nicht sind, ist nicht genug. Dies geht über die reine UX-Arbeit hinaus, und wenn Sie sich in diesem speziellen Extremfall befinden, müssten Sie Ihrem Bericht etwas anderes anbieten, um einen Mehrwert zu erzielen.

"Gibt es noch etwas, von dem du denkst, dass ich es in meinen Bericht aufnehmen sollte?"

UX-Empfehlungen suchen

Dies ist der Fall, wenn die vorhandene Suchmaschine und UX keine Benutzer gut bedienen :

Anstatt sich mit dem Suchcode und seinen Metriken zu befassen, kann Ihr Bericht einen auf die Domäne zugeschnittenen UX-Ansatz vorschlagen, der es Entwicklern erleichtert, selektiven Suchcode zu schreiben - aber diese Arbeit liegt immer noch bei ihnen. Dies sind mögliche Beispiele für die Art von Dingen, die Sie sagen könnten.

  • Ein häufiges Problem sind zu ähnliche Ergebnisse, die die Spitzenplätze in einer Liste überschwemmen. (Sie möchten nicht alle 20 Dokumente über Pharmakologie in Bristol oben haben - wenn die Suche eine allgemeine Suche nach Pharmakologie ist). Sie schlagen also eine Schnittstelle vor, um Benutzern mitzuteilen, dass ein Ergebnis tatsächlich eine Sammlung verwandter Ergebnisse ist UND um diese Sammlung zu untersuchen.
  • Sie können eine Schnittstelle vorschlagen, die Synonyme enthält, die in einer bestimmten Suche verwendet werden und die der Benutzer selektiv deaktivieren kann.
  • Wenn es sich um eine facettierte Suche handelt, können Sie möglicherweise geeignetere Facetten vorschlagen, basierend auf Ihrer Analyse der tatsächlich gestellten Anforderungen und der Dokumente, die zurückgegeben werden sollten.

In jedem Fall untermauern Sie Ihre Empfehlung mit Beweisen.


Andere zu berücksichtigende Kleinigkeiten

  • Gibt es im Geschäft PDF-Dokumente, die von Drucksachen gescannt werden? Wurden sie OCR gemacht? Versuchen Sie, nach einem Text zu suchen, von dem Sie wissen, dass er dort ist.
  • Befinden sich relevante Informationen tatsächlich in der Datenbank? Versuchen Sie, einen Kurs in der Datenbank zu finden, der Pilzkultur enthält. Vergleichen Sie die Ergebnisse mit der Eingabe von "Mykologiekursen" in Google.
  • Wie vergleicht sich google site-search mit ihrer benutzerdefinierten Suche?
1
James Crook

In Ermangelung von Usability-Tests würde ich empfehlen, eine kognitive exemplarische Vorgehensweise durchzuführen. Idealerweise führen Sie für jede Ihrer Personas eine exemplarische Vorgehensweise für das wichtigste Szenario durch.

Für weitere Informationen mit Beispielen kann ich empfehlen, die 4 Fragen, die in einer kognitiven exemplarischen Vorgehensweise gestellt werden müssen bei UserFocus zu lesen.

0
Antony Quinn