The behavior of trust-region methods in FIML-estimation

Abstract

This paper presents a Monte-Carlo study on the practical reliability of numerical algorithms for FIML-estimation in nonlinear econometric models. The performance of different techniques of Hessian approximation in trust-region algorithms is compared regarding their “robustness” against “bad” starting points and their “global” and “local” convergence speed, i.e. the gain in the objective function, caused by individual iteration steps far off from and near to the optimum.

Concerning robustness and global convergence speed the crude GLS-type Hessian approximations performed best, efficiently exploiting the special structure of the likelihood function. But, concerning local speed, general purpose techniques were strongly superior. So, some appropriate mixtures of these two types of approximations turned out to be the only techniques to be recommended.

Zusammenfassung

Diese Arbeit beschreibt eine Monte-Carlo-Studie über die praktische Verläßlichkeit numerischer Algorithmen zur FIML-Schätzung in nichtlinearen ökonometrischen Modellen. Dabei wird die Güte verschiedener Hessematrixnäherungen in trust-region Algorithmen vergleichen hinsichtlich der “Robustheit” gegenüber “schlechten” Starwerten und hinsichtlich “globaler” und “lokaler” Konvergenzgeschwindigkeit, d. h. der Größe der Verbesserung der Zielfunktion bei Iterationsschritten weit entfernt bzw. in der Nähe vom Optimum.

Während sich GLS-Typ Näherungen der Hessematrix hinsichtlich Robustheit und globaler Konvergenz als deutlich überlegen erweisen wegen ihrer effizienten Ausnutzung der speziellen Struktur der Likelihood-Funktion, konvergieren Verfahren, die für allgemeine Zielfunktionen entwicklet wurden, wesentlich schneller in der Nähe des Optimums. Für die praktische Anwendung erweisen sich daher lediglich geeignete “Mischungen” dieser beiden Näherungstypen als empfehlenswert.