Advertisement

Informatik Forschung und Entwicklung

, Volume 14, Issue 3, pp 154–163 | Cite as

Lernen mit Kernen

Support-Vektor-Methoden zur Analyse hochdimensionaler Daten
  • Bernhard Schölkopf
  • Klaus-Robert Müller
  • Alexander J. Smola
Originalbeiträge

Zusammenfassung.

Dieser Beitrag erläutert neue Ansätze und Ergebnisse der statistischen Lerntheorie. Nach einer Einleitung wird zunächst das Lernen aus Beispielen vorgestellt und erklärt, dass neben dem Erklären der Trainingdaten die Komplexität von Lernmaschinen wesentlich für den Lernerfolg ist. Weiterhin werden Kern-Algorithmen in Merkmalsräumen eingeführt, die eine elegante und effiziente Methode darstellen, verschiedene Lernmaschinen mit kontrollierbarer Komplexität durch Kernfunktionen zu realisieren. Beispiele für solche Algorithmen sind Support-Vektor-Maschinen(SVM), die Kernfunktionen zur Schätzung von Funktionen verwenden, oder Kern-PCA (principal component analysis), die Kernfunktionen zur Extraktion von nichtlinearen Merkmalen aus Datensätzen verwendet. Viel wichtiger als jedes einzelne Beispiel ist jedoch die Einsicht, dass jeder Algorithmus, der sich anhand von Skalarprodukten formulieren lässt, durch Verwendung von Kernfunktionen nichtlinear verallgemeinert werden kann.

Die Signifikanz der Kernalgorithmen soll durch einen kurzen Abriss einiger industrieller und akademischer Anwendungen unterstrichen werden. Hier konnten wir Rekordergebnisse auf wichtigen praktisch relevanten Benchmarks erzielen.

Schlüsselwörter: Maschinelles Lernen, Klassifikation, Mustererkennung, Regression, Merkmalsextraktion, Data Mining, Neuronale Netze, Kernmethoden, Ziffernerkennung, Zeitreihenprognose 

Abstract.

We describe recent developments and results of statistical learning theory. In the framework of learning from examples, two factors control generalization ability: explaining the training data by a learning machine of a suitable complexity. We describe kernel algorithms in feature spaces as elegant and efficient methods of realizing such machines. Examples thereof are Support Vector Machines (SVM) and Kernel PCA (Principal Component Analysis). More important than any individual example of a kernel algorithm, however, is the insight that any algorithm that can be cast in terms of dot products can be generalized to a nonlinear setting using kernels.

Finally, we illustrate the significance of kernel algorithms by briefly describing industrial and academic applications, including ones where we obtained benchmark record results.

Key words:Machine learning, classification, pattern recognition, regression, feature extraction, data mining, neural networks, kernel methods, digit recognition, time series prediction 
CR Subject Classification:I.2.6, I.5, G.3, I.4.7, I.7.5, I.4.8, F.1.1, H.2.8 

Preview

Unable to display preview. Download preview PDF.

Unable to display preview. Download preview PDF.

Copyright information

© Springer-Verlag Berlin Heidelberg 1999

Authors and Affiliations

  • Bernhard Schölkopf
    • 1
  • Klaus-Robert Müller
    • 1
  • Alexander J. Smola
    • 1
  1. 1.GMD FIRST, Rudower Chaussee 5, D-12489 Berlin (e-mail: {bs,klaus,smola}@first.gmd.de, Tel. 030-6392-1875, Fax 030-6392-1805, www: http://svm.first.gmd.de) DE

Personalised recommendations