Modellvergleich und Ergebnisinterpretation in Logit- und Probit-Regressionen

Zusammenfassung

Logit- und Probitregression werden als multivariate Analyseverfahren zur Analyse von dichotomen abhängigen Variablen in den Sozialwissenschaften routinemäßig eingesetzt. Beide Verfahren können so interpretiert werden, dass sich aus einer linearen Modellierung einer unbeobachteten Variabley* eine nichtlineare Modellierung der Wahrscheinlichkeiten füry = 1 ergibt. Wir zeigen erstens, dass diese Nichtlinearität im Vergleich zu linearen Regressionsverfahren zu Problemen bei der Interpretation der Modellergebnisse führt. Insbesondere die in der logistischen Regression häufig verwendeten odds ratios (exponierte Logit-Koeffizienten) sind unseres Erachtens problematisch. Stattdessen empfehlen wir neben graphischen Interpretationshilfen die Verwendung von (korrigierten) durchschnittlich marginalen Effekten (AME). Zweitens zeigen wir anhand einer Serie von Monte-Carlo-Simulationen, dass die üblichen Regressionskoeffizienten bei Logit- und Probitanalysen nicht zwischen verschachtelten Modellen verglichen werden können. Da in den Sozialwissenschaften bei der Modellbildung jedoch häufig schrittweise vorgegangen wird, wäre ein Verfahren, das einen validen Vergleich von Effektstärken zwischen den Modellen erlaubt, sehr nützlich. Wie wir anhand unserer Simulationsstudie zeigen, führen durchschnittlich marginale Effekte und Koeffizienten, die nach dem Vorschlag von Karlson et al. (Sociological Methodology 42, 2012) korrigiert wurden, in sehr verschiedenen Situationen zu gültigen Ergebnissen.y*-standardisierte Koeffizienten sind für einen Modellvergleich hingegen weniger geeignet und Koeffizienten eines linearen Wahrscheinlichkeitsmodells sollten ausschließlich bei normalverteilten Variablen verwendet werden.

Abstract

In the social sciences logit and probit models are often used multivariate data analysis procedures for binary dependent variables. Both procedures can be thought of as resting on a linear model for an unobserved variable y* from which a nonlinear model for the probability of y = 1 is derived. We first show that compared to linear models this nonlinearity leads to problems of interpreting results from such analysis. In particular odds ratios (exponentiated logit coefficients) often used in logistic regression are problematic in this respect. Instead we recommend using graphical procedures and reporting (corrected) average marginal effects (AME). Based on a series of Monte-Carlo simulations we next demonstrate that the regression coefficients from logit and probit models should not be compared between nested models. Because model building in the social sciences often employs a stepwise procedure a method allowing valid comparisons of effect sizes between models would be advantageous. Results from our simulation study show that average marginal effects and regression coefficients corrected by a method proposed by Karlson et al. (Sociological Methodology 42, 2012) lead to satisfactory results in many different scenarios. In contrast, y*-standardized coefficients are of limited utility and coefficients from a linear probability model should only be used with normally distributed variables.