A method of trust region type for minimizing noisy functions

Abstract

The optimization of noisy functions in a few variables only is a common problem occurring in various applications, for instance in finding the optimal choice of a few control parameters in chemical experiments. The traditional tool for the treatment of such problems is the method of Nelder-Mead (NM). In this paper an alternative method based on a trust region approach (TR) is offered and compared to Nelder-Mead. On the standard collection of test functions for unconstrained optimization by Moré et al. [9], TR performs substantially more robust than NM. If performance is measured by the number of function evaluations, TR is on the average twice as fast as NM.

Zusammenfassung

Die Optimierung verrauschter Funktionen in einer geringen Zahl von Variablen ist ein häufig in Anwendungen vorkommendes Problem, z.B. um die optimale Wahl einiger Kontrollparameter in chemischen Experimenten zu finden. Das traditionelle Werkzeug zur Behandlung solcher Probleme ist das Verfahren von Nelder-Mead (NM). In dieser Arbeit wird eine auf Vertrauensbereichen beruhende Alternative (TR) vorgestellt und mit Nelder-Mead verglichen. Auf Moré et al.’s bekannter Sammlung von Testfunktionen für Optimierung ohne Nebenbedingungen arbeitet TR wesentlich robuster als NM. Mißt man die Qualität an der Zahl der Funktionsauswertungen, so ist TR im Mittel doppelt so schnell wie NM.