Evaluation of forecasts in AR models with outliers

Abstract

The ex-post evaluation of forecasts by the realized forecast errors is an important tool in choosing an adequate model to represent the analyzed time series data and also in comparing competing forecast methods. Measures like the mean squared error MSE and the mean absolute error MAE are frequently used for this purpose. Especially when analyzing data with outliers MSE and MAE may produce misleading results. This paper presents robustified versions MRSE and MRAE of MSE and MAE, respectively. They are much better suited to identify those forecasts which are based on the parameters of the underlying model. This feature is illustrated by a simulation study.

Zusammenfassung

Die Ex-post-Beurteilung von Vorhersagen anhand der realisierten Prognosefehler ist ein wichtiges Hilfsmittel bei der vergleichenden Bewertung konkurrierender Prognoseverfahren oder auch bei der Modellauswahl im Rahmen der Analyse einer Zeitreihe. Hierzu werden häufig der mittlere quadratische Fehler MSE, der mittlere absolute Fehler MAE und ähnliche Maße herangezogen. Gerade bei ausreißerbehafteten Daten zeigt es sich, daß die Verwendung von MSE und MAE zu irreführenden Resultaten führen kann. In dieser Arbeit werden robustifizierte Versionen des MSE und MAE -MRSE bzw. MRAE—vorgestellt, die in einer Simulationsstudie insbesondere bei Daten mit Ausreißern zu einer deutlich sichereren Identifikation der Vorhersage anhand der zugrundeliegenden Modellparameter führten.