Zusammenfassung
Im Folgenden betrachten wir ML-Methoden, die einen parametrisierten Hypothesenraum verwenden \(\mathcal {H}\). Jede Hypothese \(h^{(\mathbf{w})} \in \mathcal {H}\) in diesem Raum ist durch einen spezifischen Gewichtsvektor charakterisiert \(\mathbf{w}\in \mathbb {R}^{n}\). Darüber hinaus betrachten wir ML-Methoden, die eine Verlustfunktion verwenden \(L({(\mathbf{x},y)},{h^{(\mathbf{w})}})\) so dass der durchschnittliche Verlust oder das empirische Risiko \( f(\mathbf{w}) :=(1/m) \sum _{i=1}^{m} L({(\mathbf{x}^{(i)},y^{(i)})},{h^{(\mathbf{w})}})\) reibungslos vom Gewichtsvektor abhängt \(\mathbf{w}\).
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
Eine Funktion \(f: \mathbb {R}^{n} \rightarrow \mathbb {R}\) wird als glatt bezeichnet, wenn sie stetige partielle Ableitungen aller Ordnungen hat. Insbesondere können wir den Gradienten \(\nabla f(\mathbf{w})\) für eine glatte Funktion \(f(\mathbf{w})\) an jedem Punkt \(\mathbf{w}\) definieren.
- 2.
Literatur
I. Goodfellow, Y. Bengio, A. Courville, Deep Learning (MIT Press, Cambridge, 2016)
W. Rudin, Principles of Mathematical Analysis, 3. Aufl. (McGraw-Hill, New York, 1976)
Y. Nesterov, Introductory lectures on convex optimization, Applied Optimization, Bd. 87. (Kluwer Academic Publishers, Boston, MA, 2004)
S. Oymak, B. Recht, M. Soltanolkotabi, Sharp time-data tradeoffs for linear inverse problems. IEEE Trans. Inf. Theory 64(6), 4129–4158 (2018). (June)
T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning Springer Series in Statistics. (Springer, New York, 2001)
A. Jung, A fixed-point of view on gradient methods for big data. Frontiers in Applied Mathematics and Statistics 3, 1–11 (2017)
N. Murata, A statistical study on on-line learning, in On-line Learning in Neural Networks. Hrsg. by D. Saad (Cambridge University Press, New York, 1998), S. 63–92
A. Krizhevsky, I. Sutskever, G. Hinton, Imagenet classification with deep convolutional neural network, in Neural Information Processing Systems (NIPS, 2012)
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
Copyright information
© 2024 Der/die Autor(en), exklusiv lizenziert an Springer Nature Singapore Pte Ltd.
About this chapter
Cite this chapter
Jung, A. (2024). Gradientenbasiertes Lernen. In: Maschinelles Lernen. Springer, Singapore. https://doi.org/10.1007/978-981-99-7972-1_5
Download citation
DOI: https://doi.org/10.1007/978-981-99-7972-1_5
Published:
Publisher Name: Springer, Singapore
Print ISBN: 978-981-99-7971-4
Online ISBN: 978-981-99-7972-1
eBook Packages: Computer Science and Engineering (German Language)