Skip to main content
SpringerLink
Log in

Effekte von Merkmalen des administrativen Untersuchungsdesigns auf die Teilnahme an Fragebogenstudien im Schulkontext: Eine experimentelle Studie zu den Auswirkungen von Mehrfachkontaktierung und Incentives

Administrative procedures to increase the response rate in questionnaire studies in the school context: an experimental study of the effects of reminders and incentives

  • Allgemeiner Teil
  • Published:
Zeitschrift für Erziehungswissenschaft Aims and scope Submit manuscript

Zusammenfassung

In der empirischen Bildungsforschung ist man häufig mit dem Problem der Nicht-Teilnahme von Zielpersonen einer Untersuchung konfrontiert. In den Sozialwissenschaften wurde aufgezeigt, dass durch gezielte administrative Strategien die Teilnahme verbessert werden kann. Für Bildungsstudien im Schulkontext sind diese Möglichkeiten bisher kaum untersucht. In der vorliegenden Studie wird in einer Elternbefragung von N = 3935 Schülerinnen und Schülern der 6. Jahrgangsstufe in Berlin der Effekt der administrativen Strategien Verlosung und Erinnerungsschreiben im Rahmen eines experimentellen Untersuchungsdesigns geprüft. Es zeigt sich, dass die angewandten Strategien die Rücklaufquote der Elternbefragung erhöhen können. Zudem finden sich Hinweise darauf, dass Eltern, die tendenziell weniger häufig an den entsprechenden Untersuchungen teilnehmen, durch die administrativen Strategien verstärkt in die Befragung eingebunden werden können.

Abstract

Educational researchers are often confronted with the problem of nonresponse in empirical studies. For studies in the social sciences it is shown that specific administrative strategies can raise the response rate. These possibilities have been rarely investigated in educational studies. The present study investigates the strategies of using incentives and reminders in a large-scale questionnaire study of the parents of N = 3935 6th grade students in Berlin. The results show a positive effect of lotteries and reminders on the response rate of the parents. Furthermore there is some evidence to suggest that these strategies may be successful in involving those parents who can be characterized as higher-risk nonrespondents.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Log in via an institution

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Institutional subscriptions

Abb. 1

Notes

  1. Der Begriff „Teilnehmer“ umfasst im Folgenden sowohl männliche wie auch weibliche Personen.

  2. Zudem kann die Aufnahme von Kovariaten zu einer Verringerung der Fehlervarianz und dadurch zu einer Erhöhung der Teststärke führen (Bortz und Schuster 2010).

  3. Die Unterschiede der Experimentalgruppen wurden zudem gegeneinander auf statistische Signifikanz geprüft, indem multivariate Regressionsmodelle (unter Kontrolle der individuellen Personenmerkmale) berechnet wurden, bei denen die Referenzkategorie jeweils durch eine andere Treatmentgruppe repräsentiert wurde. Die Analysen ergaben die gleichen Befunde wie der signifikanzstatistische Vergleich der prozentualen Rücklaufquoten.

  4. Die Teilnahmechance in der Kontrollgruppe betrug 44,4 zu 55,6 bzw. 1:1,25225 = 0,799. Die Teilnahmechance in der Experimentalgruppe 1 betrug 54,3 zu 45,7 bzw. 1,18818 zu 1 = 1,18818. Entsprechend resultiert ein Odds Ratio von 1,188/0,798 = 1,49.

  5. Die betrachteten Personenmerkmale wurden gleichzeitig in das Modell eingeführt, die Effekte sind daher unter Kontrolle der jeweils anderen Prädiktoren zu interpretieren. Bivariate logistische Regressionen zeigten für die meisten Prädiktoren in Höhe und Richtung vergleichbare Befunde zu den multivariaten Analysen (Geschlecht des Kindes OR = 1,27; p < 0,001; Durchschnittsnote der Förderprognose: OR = 1,48; p < 0,001; zu Hause gesprochene Sprache: OR = 0,62; p < 0,001; HISEI: OR = 1,21; p < 0,001). Unterschiede fanden sich lediglich für die Effekte des Bildungsabschluss in der Familie, wobei der Effekt dieses Prädiktors in bivariaten Betrachtungen nicht signifikant wurde (OR = 1,08; p > 0,05) und für das Interesse an Bildungsfragen, dessen Effekt in bivariaten Betrachtungen das 5 %-Signifikanzniveau erreichte (OR = 1,11; p < 0,05).

  6. b Haupteffekt + b Interaktionseffekt = 0,24 + 0,42 = 0,66. Überführt man den logistischen Regressionskoeffizienten von b = 0,66 in das Odds Ratio resultiert OR = 1,93.

Literatur

  • Armstrong, J. S. (1975). Monetary incentives in mail surveys. Public Opinion Quarterly, 39, 11–116.

    Article  Google Scholar 

  • Axford, N., Lehtonen, M., Kaoukji, D., Tobin, K., & Berry, V. (2012). Engaging parents in parenting programs: Lessons from research and practice. Children and Youth Services Review, 34(10), 2061–2071.

    Article  Google Scholar 

  • Baron, G., De Wals, P., & Milord, F. (2001). Cost-effectiveness of a lottery for increasing physicians’ responses to a mail survey. Evaluation & the Health Professions, 24(1), 47–52.

    Article  Google Scholar 

  • Baumert, J., Stanat, P., & Demmrich, A. (2001). PISA 2000: Untersuchungsgegenstand, theoretische Grundlagen und Durchführung der Studie. In J. Baumert, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, & W. Schneider (Hrsg.), PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich (S. 15–68). Opladen: Leske und Budrich.

    Google Scholar 

  • Baumert, J., Stanat, P., & Watermann, R. (2006). Herkunftsbedingte Disparitäten im Bildungswesen: Differenzielle Bildungsprozesse und Probleme der Verteilungsgerechtigkeit. Wiesbaden: Springer VS.

    Book  Google Scholar 

  • Becker, M., Gresch, C., Baumert, J., Watermann, R., Schnitger, D., & Maaz, K. (2010). Durchführung, Daten und Methoden. In K. Maaz, J. Baumert, C. Gresch, & N. McElvany (Hrsg.), Der Übergang von der Grundschule in die weiterführende Schule: Leistungsgerechtigkeit und regionale, soziale und ethnisch-kulturelle Disparitäten (S. 107–122). Bonn: Bundesministerium für Bildung und Forschung, BMBF.

    Google Scholar 

  • Becker, M., Neumann, M., Kropf, M., Maaz, K., Baumert, J., Dumont, H., Böse, S., Tetzner, J., & Knoppick, H. (2013). Durchführung, Datengrundlage, Erhebungsinstrumente und statistische Methoden. In K. Maaz, J. Baumert, M. Neumann, M. Becker, & H. Dumont (Hrsg.), Die Berliner Schulstrukturreform. Bewertung durch die beteiligten Akteure und Konsequenzen des neuen Übergangsverfahrens von der Grundschule in die weiterführenden Schulen (S. 49–74). Münster: Waxmann.

    Google Scholar 

  • Blohm, M., & Diehl, C. (2001). Wenn Migranten Migranten befragen. Zum Teilnahmeverhalten von Einwanderern bei Bevölkerungsbefragungen. Zeitschrift für Soziologie, 30(3), 223–242.

    Google Scholar 

  • Bortz, J., & Schuster, C. (2010). Statistik für Human- und Sozialwissenschaftler (7. Aufl.). Berlin: Springer.

    Book  Google Scholar 

  • Bos, W., Gröhlich, C., Guill, K., Scharenberg, K., & Wendt, H. (2010). Ziele und Anlage der Studie KESS 8. In W. Bos & C. Gröhlich (Hrsg.), KESS 8– Kompetenzen und Einstellungen von Schülerinnen und Schülern am Ende der Jahrgangsstufe 8 (S. 1–12) Hamburg: Behörde für Schule und Berufsbildung.

    Google Scholar 

  • Brennan, M., & Charbonneau, J. (2009). Improving mail survey response rates using chocolate and replacement questionnaires. Public Opinion Quarterly, 73(2), 368–378.

    Article  Google Scholar 

  • Buuren, S. van; & Oudshoorn, K. (1999). Flexible multivariate imputation by MICE(Report No. PG/VGZ/99.054). Leiden: TNO Prevention and Health.

  • Church, A. H. (1993). Estimating the effect of incentives on mail survey response rates: A meta-analysis. Public Opinion Quarterly, 57(1), 62–79.

    Article  Google Scholar 

  • Dillman, D. A. (1978). Mail and telephone surveys: The total design method. New York: Wiley-Interscience.

    Google Scholar 

  • Dillman, D. A. (2007). Mail and internet surveys: The tailored design, Second edition – 2007 Update. Hoboken: John Wiley.

    Google Scholar 

  • Dumas, J. E., Begle, A. M., French, B., & Pearl, A. (2010). Effects of monetary incentives on engagement in the PACE parenting program. Journal of Clinical Child and Adolescent Psychology, 39(3), 302–313.

    Article  Google Scholar 

  • Edwards, P., Roberts, I., Clarke, M., DiGuiseppi, C., Pratap, S., Wentz, R., & Kwan, I. (2002). Increasing response rates to postal questionnaires: Systematic review. British Medical Journal, 324, 1183.

    Article  Google Scholar 

  • Ehmke, T., & Siegle, T. (2007). How well do parents do in PISA? Results concerning the mathematical competency of parents and children in the German PISA sample. In M. Prenzel (Hrsg.), Studies on the educational quality of schools (S. 61–78). Münster: Waxmann.

    Google Scholar 

  • Esbensen, F. A., Melde, C., Taylor, T. J., & Peterson, D. (2008). Active parental consent in school-based research – How much is enough and how do we get it? Evaluation Review, 32(4), 335–362.

    Article  Google Scholar 

  • Esser, H. (1986). Können Befragte lügen? Zum Konzept des wahren Wertes im Rahmen der handlungstheoretischen Erklärung von Situationseinflüssen bei der Befragung. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 38(2), 314–36.

    Google Scholar 

  • Feskens, R., Hox, J., Lensvelt-Mulders, G., & Schmeets, H. (2006). Collecting data among ethnic minorities in an international perspective. Field Methods, 18(3), 284–304.

    Article  Google Scholar 

  • Fox, R. J., Crask, M. R., & Kim, J. (1988). Mail survey response rate – A meta-analysis of selected techniques for inducing response. Public Opinion Quarterly, 52(4), 467–491.

    Article  Google Scholar 

  • Ganzeboom, H. B. G., De Graaf, P. M., Treiman, D. J., & De Leeuw, J. (1992). A standard international socio-economic index of occupational status. Social Science Research, 21(1), 1–56.

    Article  Google Scholar 

  • Goyder, J., Warriner, K., & Miller, S. (2002). Evaluating SES bias in survey nonresponse: A new measure. Journal of Official Statistics, 18(1), 1–11.

    Google Scholar 

  • Graham, J. W. (2009). Missing data analysis: Making it work in the real world. Annual Review Psychology, 60(1), 549–576.

    Article  Google Scholar 

  • Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646–675.

    Article  Google Scholar 

  • Groves, R. M., & Couper, M. P. (1998). Nonresponse in household interview surveys. Hoboken: Wiley.

    Book  Google Scholar 

  • Groves, R. M., Singer, E., & Corning, A. (2000). Leverage-saliency theory of survey participation. Public Opinion Quarterly, 64(3), 299–308.

    Article  Google Scholar 

  • Groves, R. M., Presser, S., & Dipko, S. (2004). The role of topic interest in survey participation decisions. Public Opinion Quarterly, 68(1), 2–31.

    Article  Google Scholar 

  • Groves, R. M., Couper, M. P., Presser, S., Singer, E., Tourangeau, R., Acosta, G. P., & Nelson, L. (2006). Experiments in producing nonresponse bias. Public Opinion Quarterly, 70(5), 720–736.

    Article  Google Scholar 

  • Hartmann, P., & Schimpl-Neimanns, B. (1992). Sind Sozialstrukturanalysen mit Umfragedaten möglich? Analysen zur Repräsentativität einer Sozialforschungsumfrage. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 44(2), 315–340.

    Google Scholar 

  • Heberlein, T. A., & Baumgartner, R. (1978). Factors affecting response rates to mailed questionnaires: A quantitative analysis of the published literature. American Sociological Review, 43(4), 447–462.

    Article  Google Scholar 

  • Heinrichs, N. (2006). The effects of two different incentives on recruitment rates of families into a prevention program. The Journal of Primary Prevention, 27(4), 345–365.

    Article  Google Scholar 

  • Hopkins, K. D., & Gullickson, A. R. (1992). Response rates in survey research: A meta-analysis of the effects of monetary gratuities. Journal of Experimental Education, 61(1), 52–62.

    Article  Google Scholar 

  • Hubbard, R., & Little, E. L. (1988). Promised contributions to charity and mail survey responses – replication with extension. Public Opinion Quarterly, 52(2), 223–230.

    Article  Google Scholar 

  • Jacob, R., & Jacob, B. (2012). Prenotification, incentives, and survey modality. Journal of Research on Educational Effectiveness, 5, 401–418.

    Article  Google Scholar 

  • James, J. M., & Bolstein, R. (1990). The effect of monetary incentives and follow-up mailings on the response rate and response quality in mail surveys. Public Opinion, 54(3), 346–361.

    Article  Google Scholar 

  • Kreuter, F., Eckman, S., Maaz, K., & Watermann, R. (2010). Children’s reports of parents’ education level: Does it matter whom you ask and what you ask about? Survey Research Methods, 4(3), 127–138.

    Google Scholar 

  • Leakey, T., Lunde, K. B., Koga, K., & Glanz, K. (2004). Written parental consent and the use of incentives in a youth smoking prevention trial: A case study from project SPLASH. American Journal of Evaluation, 25(4), 509–523.

    Article  Google Scholar 

  • Lüdtke, O., Robitzsch, A., Trautwein, U., & Köller, O. (2007). Umgang mit fehlenden Werten in der psychologischen Forschung. Probleme und Lösungen. Psychologische Rundschau, 58(2), 103–117.

    Article  Google Scholar 

  • Lüdtke, O., Nagy, G., Neumann, M., Becker, M., & Jonkmann, K. (2010). Durchführung und methodische Grundlagen. In U. Trautwein, M. Neumann, G. Nagy, O. Lüdtke, & K. Maaz (Hrsg.), Schulleistungen von Abiturienten: Die neu geordnete gymnasiale Oberstufe auf dem Prüfstand (S. 91–108). Wiesbaden: Springer VS.

    Chapter  Google Scholar 

  • Maaz, K. (2006). Soziale Herkunft und Hochschulzugang. Effekte institutioneller Öffnung im Bildungssystem. Wiesbaden: Springer VS.

    Google Scholar 

  • Maaz, K., Baumert, J., Neumann, M., Becker, M., & Dumont, H. (2013). Die Berliner Schulstrukturreform. Bewertung durch die beteiligten Akteure und Konsequenzen des neuen Übergangsverfahrens von der Grundschule in die weiterführenden Schulen. Münster: Waxmann.

    Google Scholar 

  • Mack, S., Huggins, V., Keathley, D., & Sundukchi, M. (1998). Do monetary incentives improve response rates in the survey of income and program participation? Proceedings of the section on survey methodology. American Statistical Association, 529–534.

  • Martinez-Ebers, V. (1997). Using monetary incentives with hard-to-reach populations in panel surveys. International Journal of Public Opinion Research, 9, 77–86.

    Article  Google Scholar 

  • Muthén, B. O., & Muthén, L. K. (1998–2011). MPlus (Version 6.1) [Computer Software]. Los Angeles.

  • Nikolova, R. (2011). Grundschulen als differentielle Entwicklungsmilieus. Münster: Waxmann.

    Google Scholar 

  • Olsen, F., Abelsen, B., & Olsen, J. A. (2012). Improving response rate and quality of survey data with a scratch lottery ticket incentive. BMC Medical Research Methodology, 12, 52.

    Article  Google Scholar 

  • Porter, S. R., & Whitcomb, M. E. (2003). The impact of lottery incentives on student survey response rates. Research in Higher Education, 44(4), 389–407.

    Article  Google Scholar 

  • Prenzel, M., Carstensen, C. H., Schöps, K., & Maurischat, C. (2006). Die Anlage des Längsschnitts bei PISA 2003. In M. Prenzel, J. Baumert, W. Blum, R. Lehmann, D. Leutner, M. Neubrand, R. Pekrun, J. Rost, & U. Schiefele (Hrsg.), PISA 2003. Untersuchungen zur Kompetenzentwicklung im Verlauf eines Schuljahres (S. 29–62). Münster: Waxmann.

    Google Scholar 

  • Rässler, S., Rubin, D. B., & Schenker, N. (2008): Incomplete data: Diagnosis, imputation, and estimation. In E. de Leeuw, J. Hox, & D. A. Dillman (Hrsg.), International handbook of survey methodology (S. 370–386). New York: European Association of Methodology.

    Google Scholar 

  • Roose, H., Lievens, J., & Waege, H. (2007). The joint effect of topic interest and follow-up procedures on the response in a mail questionnaire – An empirical test of the leverage-saliency theory in audience research. Sociological Methods & Research, 35(3), 410–428.

    Article  Google Scholar 

  • Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. New York: John Wiley & Sons.

    Book  Google Scholar 

  • Schnell, R. (1997). Nonresponse in Bevölkerungsumfragen: Ausmaß, Entwicklung und Ursachen. Opladen: Leske und Budrich.

    Book  Google Scholar 

  • Singer, E., & Ye, C. (2013). The use and effects of incentives in surveys. The ANNALS of the American Academy of Political and Social Science, 645(1), 112–141.

    Article  Google Scholar 

  • Thompson, T. L. (1984). A comparison of methods of increasing parental consent rates in social research. Public Opinion Quarterly, 48(4), 779–787.

    Article  Google Scholar 

  • Trapp, G., Giles-Corti, B., Martin, K., Timperio, A., & Villanueva, K. (2012). Conducting field research in a primary school setting: Methodological considerations for maximizing response rates, data quality and quantity. Health Education Journal, 71(5), 590–596.

    Article  Google Scholar 

  • Warriner, K., Goyder, J., Gjertsen, H., Hohner, P., & Mc Spurren, K. (1996). Charities, no; Lotteries, no; Cash yes – Main effects and interactions in a Canadian incentives experiment. Public Opinion Quarterly, 60(4), 542–562.

    Article  Google Scholar 

  • Yammarino, F. J., Skinner, S. J., & Childers, T. L. (1991). Understanding mail survey response behavior – A meta-analysis. Public Opinion Quarterly, 55(4), 613–639.

    Article  Google Scholar 

  • Yu, J., & Cooper, H. (1983). A quantitative review of research design. Effects on response rates on questionnaires. Journal of Marketing Research, 20(1), 36–44.

    Article  Google Scholar 

Download references

Author information

Authors and Affiliations

  1. Deutsches Institut für Internationale Pädagogische Forschung (DIPF), Warschauer Straße 34–38, 10243, Berlin, Deutschland

    Michaela Kropf,  Marko Neumann,  Michael Becker &  Kai Maaz

Authors
  1. Michaela Kropf
    View author publications

    You can also search for this author in PubMed Google Scholar

  2. Marko Neumann
    View author publications

    You can also search for this author in PubMed Google Scholar

  3. Michael Becker
    View author publications

    You can also search for this author in PubMed Google Scholar

  4. Kai Maaz
    View author publications

    You can also search for this author in PubMed Google Scholar

Corresponding author

Correspondence to Michaela Kropf.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Kropf, M., Neumann, M., Becker, M. et al. Effekte von Merkmalen des administrativen Untersuchungsdesigns auf die Teilnahme an Fragebogenstudien im Schulkontext: Eine experimentelle Studie zu den Auswirkungen von Mehrfachkontaktierung und Incentives. Z Erziehungswiss 18, 327–350 (2015). https://doi.org/10.1007/s11618-015-0624-8

Download citation

  • Received:

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s11618-015-0624-8

Schlüsselwörter

Keywords

Search

Navigation