Nichtparametrische Methoden und der naive Bayes-Klassifizierer

Zusammenfassung

In diesem Kapitel betrachten wir eine Klasse von nichtparametrischen Algorithmen, welche in der Literatur als „Bäume“ bekannt sind. Die einfache Struktur ermöglicht sowohl deren Anwendungen auf Klassifikations- als auch Regressionsprobleme. Im ersten Teil des Kapitels wird die Struktur des zugehörigen Algorithmus formalisiert, so dass Bäume als Lösung von Optimierungsproblemen formuliert werden können. Eine theoretische Betrachtung am Beispiel sogenannter binärer Bäume zeigt, dass auch Bäume in ihrer elementaren Form noch keine guten Eigenschaften besitzen, wenn der feature-Vektor X hochdimensional ist. Im weiteren Verlauf des Kapitels führen wir Techniken wie das Bagging, das Boosting und Random Forests ein, welche durch Kombination mehrerer Bäume versuchen, dieses Problem zu lösen. Wir sehen explizit an den theoretischen Resultaten zum Boosting, dass hier eine bessere Qualität erreicht werden kann.