Advertisement

Evaluation, Kausalität und Validität

Wissenschaftliches Ideal und universitäre Praxis
  • Tobias WolbringEmail author
Chapter

Zusammenfassung

Im vorliegenden Beitrag werden, ausgehend von der Unterscheidung präskriptiver und kausalanalytischer Komponenten der Wirkungsevaluation, Fragen an die Validität für Beispiele aus dem Bereich der Evaluation von Studium und Lehre herausgearbeitet. Ein Teilaspekt, dem aufgrund seiner aus Sicht des Autors eminenten Bedeutung gesonderte Beachtung gewidmet wird, ist der theoretische Explikationsbedarf, der im Vorfeld von Programmevaluationen besteht und der am Beispiel des Studiengangs als Programm illustriert wird. Sodann wird auf Basis des kontrafaktischen Modells der Kausalität ein Verständnis für die methodischen Grundlagen der Analyse von Wirkungen, d. h. kausaler Effekte, entwickelt sowie das Feldexperiment als idealtypisches Referenzdesign dargestellt und anderen Untersuchungsplänen gegenübergestellt. Schließlich wird das zuvor skizzierte methodische Ideal mit der dominierenden Realität an deutschen Hochschulen abgeglichen. Als Beispiele dienen hierfür einerseits Studiengangsevaluationen mittels Studierendenbefragung, andererseits Versuche die Bologna-Reform ex post facto einer Wirkungsevaluation zu unterziehen.

Literatur

  1. Bauer, Gerrit. 2015. Natürliche Experimente in der Sozialforschung. Ein Überblicksartikel mit ausgewählten Beispielen. In Experimente in den Sozialwissenschaften. 22. Sonderband der Sozialen Welt, Hrsg. Marc Keuschnigg und Tobias Wolbring, 268–288. Baden-Baden: Nomos.Google Scholar
  2. Bloom, Howard S. 1984. Accounting for no-shows in experimental evaluation designs. Evaluation Review 8(2): 225–246.CrossRefGoogle Scholar
  3. Borsboom, Denny, Gideon J. Mellenbergh, und Jaap van Heerden. 2004. The concept of validity. Psychological Review 111(4): 1061–1071.CrossRefGoogle Scholar
  4. Brüderl, Josef. 2010. Kausalanalyse mit Paneldaten. In Handbuch der sozialwissenschaftlichen Datenanalyse, Hrsg. Christof Wolf und Henning Best, 963–994. Wiesbaden: VS Verlag.CrossRefGoogle Scholar
  5. Campbell, Donald T. 1957. Factors relevant to the validity of experiments in social setting. Psychological Bulletin 54(4): 297–312.CrossRefGoogle Scholar
  6. Campbell, Donald T. 1969. Reforms as experiments. American Psychologist 24(4): 409–429.CrossRefGoogle Scholar
  7. Clayson, Dennis E. 2009. Student evaluations of teaching: Are they related to what students learn? A meta-analysis and review of the literature. Journal of Marketing Education 31(1): 16–30.CrossRefGoogle Scholar
  8. Cronbach, Lee J. 1982. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass.Google Scholar
  9. Dubben, Hans-Hermann, und Hans-Peter Beck-Bornholdt. 2006. Die Bedeutung der statistischen Signifikanz. In Methoden der Sozialforschung. 44. Sonderband der Kölner Zeitschrift für Soziologie und Sozialpsychologie, Hrsg. Andreas Diekmann, 61–74. Wiesbaden: VS-Verlag.Google Scholar
  10. Duhem, Pierre M. 1954 [1906]. The aim and structure of physical theory. Princeton: Princeton University Press.Google Scholar
  11. Dunning, Thad. 2012. Natural experiments in the social sciences. A design-based approach. Cambridge: Cambridge University Press.CrossRefGoogle Scholar
  12. Enders, Craig K. 2010. Applied missing data analysis. New York/London: Guilford Press.Google Scholar
  13. Falk, Armin, und James J. Heckman. 2009. Lab experiments are a major source of knowledge in the social sciences. Science 326: 535–538.CrossRefGoogle Scholar
  14. Felderer, Barbara, Alexandra Birg, und Frauke Kreuter. 2014. Paradaten. In Handbuch Methoden der empirischen Sozialforschung, Hrsg. Nina Baur und Jörg Blasius, 357–365. Wiesbaden: Springer VS.Google Scholar
  15. Franzen, Axel, und Sonja Pointner. 2014. Die Black Box der Studierenden: Studienmotivation und -verhalten vor und nach der Bologna-Reform. Beiträge zur Hochschulforschung 36(2): 8–32.Google Scholar
  16. Gerber, Alan S., und Donald P. Green. 2012. Field experiments. Design, analysis, and interpretation. New York: W.W. Norton & Company.Google Scholar
  17. Helbig, Marcel, Tina Baier, und Anna Kroth. 2012. Die Auswirkung von Studiengebühren auf die Studierneigung in Deutschland. Evidenz aus einem natürlichen Experiment auf Basis der HIS-Studienberechtigtenbefragung. Zeitschrift für Soziologie 41(3): 227–246.CrossRefGoogle Scholar
  18. Hoerster, Norbert. 1969. Zum Problem der Ableitung eines Sollens aus einem Sein in der analytischen Moralphilosophie. Archiv für Rechts- und Sozialphilosophie 55(1): 11–39.Google Scholar
  19. Holland, Paul. 1986. Statistics and causal inference. Journal of the American Statistical Association 81: 945–960.CrossRefGoogle Scholar
  20. Hübner, Malte. 2012. Do tuition fees affect enrollment behavior? Evidence from a ‚natural experiment‘ in Germany. Economics of Education Review 31(6): 949–960.CrossRefGoogle Scholar
  21. Hume, David. 1739–1740 [1978]. A treatise of human nature. Oxford: Claredon Press.Google Scholar
  22. Imbens, Guido W., und Donald Rubin. 2008. Rubin causal model. In The new palgrave dictionary of economics, Bd. 2, Hrsg. Steven N. Durlauf und Lawrence E. Blume. Hampshire: Palgrave Macmillan.Google Scholar
  23. Keizer, Keith, Siegwart Lindenberg, und Linda Steg. 2014. Doing field studies. What is it all about? Group Processes and Intergroup Relations 17(3): 404–414.CrossRefGoogle Scholar
  24. Koch, Erik. 2004. Gute Hochschullehre. Theoriebezogene Herleitung und empirische Erfassung relevanter Lehraspekte. Hamburg: Verlag Dr. Kovaĉ.Google Scholar
  25. Kromrey, Helmut. 1994. Evaluation der Lehre durch Umfrageforschung? Methodische Fallstricke bei der Messung von Lehrqualität durch Befragung von Vorlesungsteilnehmern. In Universität und Lehre. Ihre Evaluation als Herausforderung an die Empirische Sozialforschung, Hrsg. Peter Mohler, 91–114. Münster: Waxmann.Google Scholar
  26. Kromrey, Helmut. 2001a. Evaluation von Lehre und Studium – Anforderungen an Methodik und Design. In Evaluation universitärer Lehre – zwischen Qualitätsmanagement und Selbstzweck, Hrsg. Christiane Spiel, 21–59. Münster: Waxmann.Google Scholar
  27. Kromrey, Helmut. 2001b. Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24(2): 105–132.Google Scholar
  28. Levitt, Steven D., und John A. List. 2008. Field experiments in economics: The past, the present, and the future. European Economic Review 53(1): 1–18.Google Scholar
  29. Little, Roderick J.A., und Donald B. Rubin. 2002. Statistical analysis with missing data, 2. Aufl., New York: Wiley.Google Scholar
  30. Moore, George E. 1949. Ethics. New York: Oxford University Press.Google Scholar
  31. Morgan, Stephen L., und Christopher Winship. 2007. Counterfactuals and causal inference. Cambridge: Cambridge University Press.CrossRefGoogle Scholar
  32. Mutz, Rüdiger. 2001. Studienreform als Programm. Landau: Empirische Pädagogik.Google Scholar
  33. Nickel, Sigrun, Hrsg. 2011a. Der Bologna-Prozess aus Sicht der Hochschulforschung. Analysen und Impulse für die Praxis. Gütersloh: BMBF.Google Scholar
  34. Nickel, Sigrun, 2011b. Zwischen Kritik und Empirie – Wie wirksam ist der Bologna-Prozess? In Der Bologna-Prozess aus Sicht der Hochschulforschung. Analysen und Impulse für die Praxis, Hrsg. Sigrun Nickel, 8–17. Gütersloh: BMBF.Google Scholar
  35. Opp, Karl-Dieter. 2014. Methodologie der Sozialwissenschaften. Einführung in Probleme ihrer Theoriebildung und praktischen Anwendung, 7. Aufl., Wiesbaden: Springer VS.Google Scholar
  36. Patton, Michael Quinn. 2008. Utilization-focused evaluation, 4. Aufl., Thousand Oaks: Sage.Google Scholar
  37. Pohlenz, Philipp. 2009. Datenqualität als Schlüsselfrage der Qualitätssicherung von Lehre und Studium. Bielefeld: Universitätsverlag Webler.Google Scholar
  38. Popper, Karl R. 1944 [2000]. Die Stückwerk-Sozialtechnik. In Karl Popper Lesebuch, Hrsg. David Miller, 293–308. Tübingen: UTB.Google Scholar
  39. Pötschke, Manuela. 2010. Mehrebenenmodelle: angemessene Modellierung von Evaluationsdaten. In Lehre und Studium professionell evaluieren: Wie viel Wissenschaft braucht die Evaluation? Hrsg. Philipp Pohlenz und Antje Oppermann, 109–122. Bielefeld: Universitätsverlag Webler.Google Scholar
  40. Quast, Heiko, Heike Spangenberg, Bettina Hannover, und Edith Braun. 2012. Determinanten der Studierbereitschaft unter besonderer Berücksichtigung von Studiengebühren. Zeitschrift für Erziehungswissenschaft 15(2): 305–326.CrossRefGoogle Scholar
  41. Quine, Willard Orman van. 1951. Two dogmas of empiricism. Philosophical Review 60: 20–53.Google Scholar
  42. Rindermann, Heiner. 2001. Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts. Landau: Empirische Pädagogik.Google Scholar
  43. Rocconi, Louis M. 2013. Analyzing multilevel data: Comparing findings from hierarchical linear modeling and ordinary least squares regression. Higher Education 66(4): 439–461.CrossRefGoogle Scholar
  44. Rogers, Patricia J. 2007. Theory-based evaluation: Reflections ten years on. New Directions for Evaluation 114: 63–81.CrossRefGoogle Scholar
  45. Rubin, Donald B. 1974. Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology 66(5): 688–701.CrossRefGoogle Scholar
  46. Sacerdote, Bruce. 2001. Peer effects with random assignment: Results for dartmouth roommates. Quarterly Journal of Economics 116(2): 681–704.CrossRefGoogle Scholar
  47. Schimank, Uwe. 1995. Hochschulforschung im Schatten der Lehre. Frankfurt a. M.: Campus.Google Scholar
  48. Schneider, Michael, und Maida Mustafić, Hrsg. 2015. Gute Hochschullehre: Eine evidenzbasierte Orientierungshilfe. Heidelberg: Springer.Google Scholar
  49. Sedlmeier, Peter, und Frank Renkewitz. 2013. Forschungsmethoden und Statistik. Ein Lehrbuch für Psychologen und Sozialwissenschaftler, 2. erweiterte Aufl. München: Pearson.Google Scholar
  50. Shadish, William R., Thomas D. Cook, und Donald T. Campbell. 2002. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin.Google Scholar
  51. Smith, Herbert L. 2013. Research design: Toward a realistic role for causal analysis. In Handbook of causal analysis for social research, Hrsg. Stephen L. Morgan, 45–73. New York: Springer.CrossRefGoogle Scholar
  52. Stockmann, Reinhard. 2006. Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Münster: Waxmann.Google Scholar
  53. van Buuren, Stef. 2012. Flexible imputation of missing data. Boca Raton: CRC Press.CrossRefGoogle Scholar
  54. Weiss, Carol H. 1997. Theory-based evaluation: Past, present, and future. New Directions for Evaluation 76: 41–66.CrossRefGoogle Scholar
  55. Wicherts, Jelte M., und Marjan Bakker. 2014. Broken windows, mediocre methods, and substandard statistics. Group Processes and Intergroup Relations 17(3): 388–403.CrossRefGoogle Scholar
  56. Winter, Martin. 2010. Effekte der Studienstrukturreform. Versuch einer Einordnung von Beiträgen der empirischen Hochschulforschung zur Debatte um die Bologna-Reform in Deutschland. HSW 2(10): 45–55.Google Scholar
  57. Winter, Martin. 2011. Die Revolution blieb aus: Überblick über empirische Befunde zur Bologna-Reform in Deutschland. In Der Bologna-Prozess aus Sicht der Hochschulforschung. Analysen und Impulse für die Praxis, Hrsg. Sigrun Nickel, 20–35. Gütersloh: BMBF.Google Scholar
  58. Wissenschaftsrat. 2011. Entwicklung der Fachstudiendauer an Universitäten von 2007 bis 2009. Drs. 1676-11. http://www.wissenschaftsrat.de/download/archiv/1676-11.pdf. Zugegriffen am 17.01.2016.
  59. Witte, Johanna, Don F. Westerheijden, und Andrew McCoshan. 2011. Wirkungen von Bologna auf Studierende: Eine Bestandsaufnahme in 48 Hochschulsystemen. In Der Bologna-Prozess aus Sicht der Hochschulforschung. Analysen und Impulse für die Praxis, Hrsg. Sigrun Nickel, 36–49. Gütersloh: BMBF.Google Scholar
  60. Wolbring, Tobias. 2013. Fallstricke der Lehrevaluation. Möglichkeiten und Grenzen der Messbarkeit von Lehrqualität. Frankfurt a. M./New York: Campus.Google Scholar
  61. Wolbring, Tobias. 2014. Kausalanalyse und Wirkungsevaluation. Potential Outcomes, Graphenmethodologie und ihre Anwendung am Beispiel der Bologna-Reform. Zeitschrift für Evaluation 13(2): 243–270.Google Scholar
  62. Wolbring, Tobias, und Marc Keuschnigg. 2015. Feldexperimente in den Sozialwissenschaften. Grundlagen, Herausforderungen, Beispiele. In Experimente in den Sozialwissenschaften. 22. Sonderband der Sozialen Welt, Hrsg. Marc Keuschnigg und Tobias Wolbring, 219–245. Baden-Baden: Nomos.Google Scholar
  63. Wottawa, Heinrich, und Heike Thierau. 2003. Lehrbuch Evaluation, 3 Aufl., Bern: Huber.Google Scholar
  64. Zimmermann, Ekkart. 2015. Das Experiment in den Sozialwissenschaften: Entwicklungen und Chancen. In Experimente in den Sozialwissenschaften. 22. Sonderband der Sozialen Welt, Hrsg. Marc Keuschnigg und Tobias Wolbring, 17–33. Baden-Baden: Nomos.Google Scholar

Copyright information

© Springer Fachmedien Wiesbaden 2016

Authors and Affiliations

  1. 1.Universität MannheimMannheimDeutschland

Personalised recommendations