DJI-Familiensurvey: Der Zwang, mit unterschiedlichen Stichproben zu leben

Zusammenfassung

In der Methodenausbildung wird großer Wert auf die Kenntnis von Datenanalysever-fahren verwendet. Die Zahlen, die die Grundlage von verschiedenen Berechnungsverfahren bilden, werden dabei als gegeben und den Anforderungen entsprechend angenommen. Wie man aber an die Daten kommt, die man für die Analyse braucht, wird sehr viel seltener und viel weniger ausführlich behandelt. Die Instrumente und die Durchführung der Datenerhebung bestimmen aber viel wesentlicher, welche Analysestrategien und -verfahren angebracht sind, als eine umfassende Kenntnis aller möglichen, höchst differenzierten Analysetechniken. Ein Fehler bei der Datenerhebung kann später nicht mehr durch Analysetricks geheilt werden. Eine Information, die nicht erhoben worden ist, steht für spätere Analysen nicht zur Verfügung. Ähnliches gilt für die Auswahl von Personen, die untersucht werden sollen. Die erhobenen Daten können nur Aussagen über Personen machen, die — zumindestens als Gruppe — auch in die Auswahl, d.h. die Stichprobe gekommen sind. Schätzungen über Größenordnungen von solchen Gruppen aus Stichproben sind nur dann sinnvoll, wenn man davon ausgehen kann, daß die Größenverhältnisse in den Stichproben möglichst wenig verzerrt sind. D.h. auch hier, Fehler, die bei der Auswahl gemacht werden, sind später nicht mehr heilbar. Dies gilt trotz den Heilsversprechen über manche Techniken, wie Gewichtungsstrategien, die — wie bei Münchhausen — helfen sollen, sich am eigenen Zopf aus dem Sumpf zu ziehen. Eine schlechte Stichprobe bleibt eine schlechte Stichprobe, trotz aller Versuche, sie zum besseren zu transformieren (s.a. Alt & Bien 1994 ).Wissen über die Verfahren der Datengeneration (Stichprobenproblematik, Datenerhebungsinstrumente, Reliabilitäts-, Va- liditäts, Objektivitäts- und Bedeutsamkeitsbeurteilungen) ist daher mindestens so wichtig, wenn nicht sogar noch wichtiger, als Kenntnisse über Analyseverfahren.

Die hier vorgestellten Erfahrungen und Erkenntnisse wären nicht möglich gewesen, wenn uns nicht ZUMA und die verschiedenen Erhebungsinstitute (insbesondere Infratest-Burke) bereitwillig bei der Suche nach Erklärungen für Verzerrungen unterstützt hätten. Der vorliegende Erfahrungsbericht ist als breiter Einstieg in die Problematik gedacht und daher aus Platzgründen ohne vertiefende Auseinandersetzung mit theoretischen und methodischen Konsequenzen, die noch an anderer Stelle in dieser Veröffentlichung aufgegriffen werden.