Datenqualität

Warum wir in Zeiten von riesigen, weltumspannenden Online-Panels, Big Data und „intelligenten“ Algorithmen noch immer auf Face to Face Umfragen setzen?

Wer aufgrund mangelhafter Datenqualität Entscheidungen trifft, ist schlecht beraten.

Unser Ziel ist es, die größtmögliche Datenqualität für unsere Kunden bereit zu stellen. Dies ist oft mit herkömmlichen Online Befragungen nicht möglich. Ablenkungen durch situative Faktoren sind nicht kontrollierbar.

Dies ist oft dann der Fall, wenn Umfragen per Mobilgerät beantwortet werden. Stellen Sie sich vor, die Person, die den Fragebogen ausfüllt, sieht gleichzeitig fern und konzentriert sich vordergründig auf die Beantwortung, im Hintergrund laufen Werbespots. Oder der Online Fragebogen wird klassisch am Laptop ausgefüllt, nebenbei „läuft“ Facebook und eine Nachrichtenseite ist offen. Die hier ausgespielten Werbeanzeigen können einen maßgeblich verzerrenden Effekt auf die Umfragedaten haben.

Das sind doch nur vereinzelte Ausreißer?

Eine Studie von Univ.-Prof. Dr. Mayerhofer (WU Wien) untermauert diesen negativen Effekt. Bis zu 37% der Teilnehmer einer Studie (Durchgeführt per Online Befragung) konnten sogenannte Attention Checks nicht korrekt lösen.

Eine möglich Variante ist es, Personen persönlich, von Angesicht zu Angesicht zu befragen. Hier greifen Effekte, wie zum Beispiel Commitment gegenüber dem Interviewer, was die Abbruchrate deutlich senkt und sicherstellt, dass die Aufmerksamkeit bei den befragten Themen bleibt. Durch Survey-Metadata können wir außerdem beeinflussende Faktoren protokollieren und gegebenenfalls in die Auswertung mit ein beziehen.

Attention Checks bei

Online Umfragen bei brandalytics.

Um auch bei Online Befragungen sicher zu stellen, dass unaufmerksame Befragte nicht in die Stichprobe miteinbezogen werden, bekommen diese bei uns zu jeder market research Studie Checkfragen. Dies können einerseits reverse coded items sein oder jene, die die Aufmerksamkeit prüfen. Beispielsweise könnte eine Instruktion lauten: Wählen Sie bitte bei der folgenden Frage die Antwortmöglichkeit 3.

Mixed-Mode Survey.

Es ist aus zeitlicher und budgetärer Sicht nicht immer praktikabel, Face to Face Umfragedaten zu generieren. Manchmal erreicht man ungewöhnliche Zielgruppen hautpsächlich auch nur Online. Da wir nach größtmöglicher Repräsentation streben (Minimierung des coverage error), starten wir gegebenenfalls mit der kostengünstigsten Methode (Online) und füllen mit der "höherwertigen" Face to Face Methode auf.

Referenzen: 

De Leeuw, E.D. (2005). To Mix or Not to Mix Data Collection Modes in Surveys. Journal of Official Statistics, 21, 233–255.

Maniaci, M., & Rogge, R. D. (2014). Caring about carelessness: Participant inattention and its effects on research,
Journal of Research in Personality, 48, 61-83.

Mayerhofer, W. (2016). Wen interessiert eigentlich noch die Qualität von Online-Umfragen? transfer 3/16.