Die Schätzung von kausalen Effekten: Überlegungen zu Methoden der Kausalanalyse anhand von Kontexteffekten in der Schule

Zusammenfassung

Im Vordergrund eines Großteils quantitativer Sozialforschung steht die Schätzung von kausalen Effekten. Um ein besseres Verständnis des Problems der kausalen Inferenz zu entwickeln, wird in diesem Beitrag das Kausalitätsproblem anhand einer klassischen Frage der Bildungssoziologie veranschaulicht: Dem Effekt der sozialen Zusammensetzung der Mitschüler auf die Leistungen von Schülern. Dabei werden nach einer Einführung in die Frage von Peer-Effekten in der Schule derkontrafaktische Ansatz zur Kausalität sowie das fundamentale Problem der Kausalanalyse anhand dieses Beispiels verdeutlicht und anschließend sowohl Experimente als auch eine Reihe von statistischen Verfahren zur Lösung des Selektionsproblems diskutiert. Im Einzelnen behandelt der Beitrag neben der Kontrolle nach Kovariaten durch die heute gängigen Regressionsmodelle, Matchingverfahren (etwa Propensity Score Matching), Fixed-Effekt und Difference-in-Difference-Modelle sowie instrumentelle Variablen und das Regression Discontinuity Design. Das Augenmerk der Einführung liegt nicht auf dem mathematischen Hintergrund oder den Schätzverfahren sondern vielmehr auf der generellen Logik der Ansätze sowie den impliziten Annahmen. Abschließend wird der adäquate Umgang mit möglichen Selektionsprozessen anhand einer beispielhaften Analyse zu Kontexteffekten in der Schule veranschaulicht.

Abstract

This article discusses the problem of causal inference based on contextual peer effects in education. For this purpose, I first introduce the counterfactual approach to causality and the fundamental problem of causal inference. Subsequently, experiments and a number of statistical methods are discussed as possible approaches to estimate causal effects. In particular, conditioning on observables using common linear regression models as well as matching procedures (such as propensity score matching), fixed-effects models, the difference-in-difference approach, instrumental variables, and the regression discontinuity design are discussed. The introduction of these methods is neither focused on the mathematical background nor on the estimation procedure but rather on the general logic and the assumptions connected with a causal interpretation of the estimated effects. The paper closes with an analysis of compositional peer effects in German elementary schools to illustrate the adequate treatment of selection processes.

Appendices

Anhang A – Analyseverfahren

In diesem Anhang werden weitere Details zu den verschiedenen Analyseverfahren vorgestellt. In Bezug auf Matchingverfahren wird das genaue Vorgehen in vier Schritten ausführlicher beschrieben und bei den anderen Verfahren erste, sehr verkürzte Hinweise auf die statistische Umsetzung der Verfahren gegeben.

Matchingverfahren

Stuart (2010) beschreibt das Vorgehen bei der Umsetzung von Matchingverfahren anschaulich in vier Schritten (weitere Details finden sich auch bei Rosenbaum2009 oder Morgan und Harding2006). Demnach wird im ersten Schritt zunächst ein Unterschiedsmaß definiert, auf deren Basis die Beobachtungseinheiten verglichen werden. Unterscheiden lässt sich grundsätzlich zwischen einer exakten Maßzahl auf der einen Seite und eindimensionalen Unterschiedsmaßen auf der anderen Seite. Beim exakten Matching werden nur Einheiten gepaart, die in allen verwendeten Kovariaten übereinstimmen. Gerade bei einer hohen Anzahl von Kovariaten und kontinuierlichen Variablen ist dieser Ansatz allerdings aufgrund zu kleiner Zellgrößen in der Regel nicht durchführbar. Als Alternative werden verschiedene eindimensionale Unterschiedsmaße verwendet. Darunter fällt auch der prominente Ansatz des propensity score (p-score) matching. Unter der wahren propensity score versteht man die (unbekannte) Wahrscheinlichkeit, dass eine bestimmte Einheit das Treatment erhält. In der Regel ist die wahre propensity score allerdings unbekannt, sodass die geschätzte Wahrscheinlichkeit des Treatments bei bestimmten Kovariaten verwendet wird. Diese lässt sich unter anderem durch eine direkte Modellierung des Selektionsprozesses mit Hilfe von logistischen Regressionen oder ähnlichen Verfahren als P(T_i = 1|X) berechnen. Entscheidend im ersten Schritt ist auch die Frage, welche Variablen in die Berechnung der Distanz zwischen Beobachtungen einbezogen werden. Grundsätzlich gelten die gleichen, bereits diskutierten Kriterien wie auch bei Regressionsmodellen. Da in diesem Schritt allerdings das vornehmliche Ziel in der Vorhersage der propensity scores besteht, lassen sich weitgehend problemlos eine große Anzahl von Variablen verwenden, solange diese Variablen nicht selbst vom Treatment beeinflusst werden (pre-treatment-Variablen).

Im zweiten Schritt wird das eigentlich Matching auf Basis der zuvor definierten Distanz durchgeführt, wobei unterschiedliche Methoden wie etwa „nearest neighbor matching“ oder „full matching“ in der Literatur zur Anwendung kommen. Diese Methoden unterscheiden sich im Wesentlich dadurch, wie viele Einheiten nach dem Matching erhalten bleiben und welches Gewicht den verschiedenen Einheiten zugesprochen wird. Beim einfachsten Verfahren, dem 1:1 „nearest neighbor matching“, wird etwa jede Einheit aus der Treatmentgruppe mit der Einheit aus der Kontrollgruppe gepaart, die ihr im Hinblick auf die zuvor definierte Distanz am ähnlichsten ist.¹⁶ Weitere Methoden werden etwa von Stuart (2010, S. 7–10) diskutiert.

Im dritten Schritt wird die Qualität der gematchten Stichprobe durch eine Evaluation des Bias zwischen der Treatment- und Kontrollgruppe analysiert. Eigentliches Ziel ist es, dass die multivariate Verteilung aller beobachten Kovariaten zwischen den beiden Gruppen gleich ist. Ein Vergleich von multivariaten Verteilungen ist allerdings mit Schwierigkeiten verbunden. Daher werden in der Praxis normalerweise Statistiken auf Basis von einzelnen Variablen verwendet, wie etwa die standardisierte Differenz zwischen den Mittelwerten. Sollte die gematchte Stichprobe die Unterschiede zwischen den Gruppen im Vergleich zu der Ausgangsstichprobe nicht eindeutig reduzieren oder weiterhin einen klaren Bias aufweisen, wird der erste bis dritte Schritt wiederholt, solange bis die gematchte Stichprobe möglichst kleine Unterschiede zwischen den beiden Gruppen aufweist.

Schließlich wird im vierten Schritt zum ersten Mal die abhängige Variable einbezogen und der kausale Effekt auf Basis der gematchten Stichprobe geschätzt. Ho et al. (2007) empfehlen, das gleiche Regressionsmodell zu verwenden, dass auch ohne Matching zur Anwendung gekommen wäre. Abschließend sollten auch Sensitivitätsanalysen durchgeführt werden, wie in der Literatur zu Matchingverfahren besprochen (Gangl und DiPrete2004).

Fixed-Effekt-Modelle

Statistisch lassen sich FE-Modelle durch einfache Regressionsmodelle mit einer zusätzlichen Dummy-Variable für jede Gruppe/jedes Individuum schätzen, was identisch mit einer getrennten Konstante für jede Gruppe ist:

$ {{y}_{\textit{ij}}}={{\alpha }_{j}}+\theta {{T}_{\textit{ij}}}+{{X}_{ij}}\beta +{{\varepsilon }_{ij}} $

wobei sich j auf die Gruppe und i auf die Beobachtung innerhalb der Gruppe bezieht. Der Index j für die Konstante α bedeutet, dass eine gruppenspezifische Konstante geschätzt wird. Diese Spezifikation ist allerdings bei einer hohen Anzahl von Gruppen mit Problemen verbunden, da für jede Gruppe ein getrennter Koeffizient geschätzt werden muss. Dementsprechend werden FE-Modelle üblicherweise nach der Subtraktion der gruppenspezifischen Mittelwerte geschätzt. Dies führt zu identischen Koeffizienten, aber macht es unnötig, getrennte gruppenspezifische Konstanten zu schätzen:

$ ({{y}_{\textit{ij}}}-{{\bar{y}}_{j}})=\theta ({{T}_{\textit{ij}}}-{{\bar{T}}_{j}})+({{X}_{\textit{ij}}}-{{\bar{X}}_{j}})\beta +({{\varepsilon }_{ij}}-{{\bar{\varepsilon }}_{j}}) $

Difference-in-Difference-Ansatz

Statistisch lässt sich der kausale Effekt in DD-Modellen durch einfache Regressionen mit einer gruppenspezifischen Konstante wie bei FE Modellen sowie einem Interaktionsterm berechnen:

$ {{y}_{ijt}}={{\alpha }_{j}}{{\gamma }_{t}}+\theta {{T}_{ijt}}+{{\varepsilon }_{ijt}} $

wobei α_j den zeitkonstanten, gruppenspezifischen Effekt darstellt, γ_t den zeitspezifischen Effekt, der den Gruppen gemein ist und T_ijt einen Interaktionsterm der Zeitpunkte und Gruppen, wo die Intervention aufgetreten ist (in Abb. 1 die Beobachtungen der oberen Trendlinie zu den Zeitpunkten 6 und 7). Dementsprechend stellt θ den Treatmenteffekt dar. Diese Modelle lassen sich einfach erweitern, etwa durch Kontrollvariablen in der Form von X_ijtβ (Meyer1995).

IV-Modelle

Statistisch lassen sich IV-Modelle durch two-stage least square (2SLS) Verfahren berechnen. Dabei wird in einem ersten Schritt der Effekt des Instruments Z auf den Treatmentstatus T geschätzt (Formel 2) und in einem zweiten Schritt der Effekt des aus dem ersten Schritt vorhergesagten Treatmentstatus T auf die abhängige Variable Y (Formel 3). Diese first und second stage Regressionen lassen sich darstellen als

$ {{\hat{T}}_{i}}={{\alpha }_{1}}+\delta {{Z}_{i}}+{{X}_{i}}{{\beta }_{1}}+{{\varepsilon }_{i}} $

(2)

$ {{y}_{i}}={{\alpha }_{2}}+\theta {{\hat{T}}_{t}}+{{X}_{i}}{{\beta }_{2}}+{{\varepsilon }_{i}} $

(3)

wobei es sich bei$\hat{\rm{T}}_{\rm{i}}$ um den endogenen Treatmentstatus handelt, bei Z_i um ein exogenes Instrument für den Treatmentstatus und bei X_i um zusätzliche exogene Kovariaten nach denen kontrolliert wird. Angrist und Pischke (2008, 121 ff.) diskutieren das 2SLS Verfahren im Detail sowie alternative Schätzverfahren. Eine gute Einführung findet sich auch bei Angrist und Krueger (2001).

Anhang B – Kontrollvariablen

Tab. 1 Beschreibung der Kontrollvariablen