Abstract
Wir beschreiben hier Erfahrungen mit verschiedenen Implementierungen neuronaler Netze auf einem massiv parallelen SIMD-Rechner und einem MIMD-Supercomputer. Bei dem SIMD- Rechner handelt es sich um eine MasPar MP-1216 mit 16384 Prozessoren, der MIMD-Rechner ist eine Intel Paragon mit 72 Prozessoren. Zwei der Implementierungen wurden als knoten- und trainingsmusterparallele Simulatorkerne des Stuttgarter Neuronale Netze Simulators (SNNS) entwickelt, die MIMD-Implementierung auf der Intel Paragon verwendet nur Trainingsmusterparallelität. Die parallelen Implementierungen liefern bei optimaler Netztopologie sehr hohe Leistungsdaten: unsere Höchstwerte liegen bei 348 MCPS und 129 MCUPS für Backpropagation auf der MasPar MP-1. Auf einer MasPar MP-2 mit ebenfalls 16384 Prozessoren konnten 972 MCPS und 360 MCUPS gemessen werden.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
Literatur
J. D. Allen, D. E. Schimmel: Efficient Neural Networks on SIMD Machines, School of EE., Georgie Inst, of Technology, Atlanta, Georgia 30332-0250, MasPar Challenge Competition Paper, MasPar Corp., Sunnyvale, CA, 1992.
Carpenter, G.A., Grossberg, S.: The ART of Adaptive Pattern Recognition by a Self-Organizing Neural Network, IEEE Computer, March 1988, 77–88
G. Chinn, K.A. Grajski, C. Chen, C. Kuszmaul, S. Tomboulian: Systolic Array Implementations of Neural Nets on the MasPar MP-1 Massively Parallel Processor, MasPar Corp. Int. Report
Fahlman, S.E.: Faster Learning Variations on Backpropagation: An Empirical Study, in [Touretzky etal. 88]
S. E. Fahlman, C. Lebiere: The Cascade Correlation Learning Architecture, Report CMU-CS-90–100, Computer Science, CMU, Pittsburgh, PA 15213, August 1991
Goddard, N.H., Lynne, K.J., Mintz, T., Bukys, L.: The Rochester Connectionist Simulator: User Manual, Tech Report 233 (revised), Univ. Rochester, NY, 1989
K. A. Grajski, G. Chinn, C. Chen, C. Kuszmaul, S. Tomboulian: Neural Network Simulation on the MasPar MP-1 Massively Parallel Processor, INNC, Paris, 1990
Hecht-Nielsen, R.: Neurocomputing, Addison-Wesley, 1990
R. Hübner: 3D-Visualisierung der Topologie und der Aktivitat neuronaler Netze, Diplomarbeit Nr. 846, Univ. Stuttgart, Fakultat Informatik, Jan. 92
M. Hüttel: Parallele Implementierungen mehrstufiger feedforward-Netze auf einem SIMD-Parallelrechner, Studienarbeit Nr. 1124, Univ. Stuttgart, Fak. Informatik, Juli 92
M. Jurik: Backpercolation, (probably unpublished) paper distributed by Jurik Research and Consulting, PO 2379, Aptos, CA 95001 USA
N. Mache: Entwicklung eines massiv parallelen Simulatorkerns für neuronale Netze auf der MasPar MP-1216, Diplomarbeit Nr. 845, Univ. Stuttgart, Fakultat Informatik, Feb. 92
N. Morgan, J. Beck, P. Kohn, J. Bilmes, E. Allman, J. Beer: The Ring Array Procesor (RAP): A Multiprocessing Peripheral for Connectionist Applications, Journal of Parallel and Distributed Computing, Special Issue on Neural Networks, XTV: 248–259, 1992
U. Mueller, B. Baumle, P. Kohler, A. Gunzinger, W. Guggenbuhl: Achieving Supercomputer Performance for Neural Network Simulation with an Array of Digital Signal Processors, IEEE Micro, Oct. 1992, pp 55–65
T. Poggio, F. Girosi: A Theory of Networks for Approximation and Learning, A.I. Memo No. 1140, A.I. Lab., M.I.T., 1989
RPROP - A Fast Adaptive Learning Algorithm, Proc. of the Int. Symp. on Computer and Information Science V II, 1992
Rumelhart, D.E., McClelland, J.A., the PDP Research Group:Parallel Distributed Processing, Vol. 1,2, MIT Press, Cambridge MA, 1986
M. Schmalzl: Rotations- und translationsinvariante Erkennung maschinenge- schriebener Zeichen mit neuronalen Netzen, Studienarbeit Nr. 1011, Univ. Stuttgart, Fakultat Informatik, Juli 91
O. Schnabel: Sekundarstrukturvorhersage von Proteinen mit Time-Delay-Netz-werken, Studienarbeit Nr. 1097, Univ. Stuttgart, Fak. Informatik, Mai 92
T. J. Sejnowski, C.R. Rosenberg: NETtalk: a parallel network that learns to read aloud, The John Hopkins Univ. EE and Comp. Science Technical Report JHU/EECS-86/01, 32 pp., also in: Anderson, Rosenfeld: Neurocomputing: Foundations of Research, ch. 40, pp. 661–672, MIT Press, 1988
J. Sienel: Kompensation von Storgerauschen in Spracherkennungssystemen mittels Neuronaler Netze, Studienarbeit 1037, Univ. Stuttgart, Fakultat Informatik, Okt. 1991
A. Singer. Implementations of Artificial Neural Networks on the Connection Machine, Thinking Machines Corp. Tech. Rep. RL 90-2, Jan. 1990, auch in: Parallel Computing 14 (1990) pp. 305–315, North Holland
Touretzky, D.: Advances in Neural Information Processing Systems 1, Morgan Kaufmann, 1989
Touretzky, D., Hinton, G., Sejnowski, T.: Proc. of the 1988 Connectonist Models Summer School, June 17–26, Carnegie Mellon Univ., Morgan Kaufmann, 1988
A. Veigel: Rotations- und translationsinvariante Erkennung handgeschriebener Zeichen mit neuronalen Netzwerken, Diplomarbeit Nr. 811, Univ. Stuttgart, Fakultat Informatik, Sept. 91
M. Vogt: Implementierung und Anwendung von “Generalized Radial Basis Functions” in einem Simulator neuronaler Netze, Diplomarbeit Nr. 875, Univ. Stuttgart, Fakultat Informatik, Jan. 92
A. Waibel: Consonant Recognition by Modular Construction of Large Phonemic Time-Delay Neural Networks, in [Touretzky 89] pp. 215–223
M. Witbrock, M. Zagha: An Implementation of backpropagation learning on GF11, a large SIMD parallel computer, Parallel Computing 14 (1990) pp. 329–346, North Holland
X. Zhang, M. Mckenna, J.P. Mesirov, D. L. Waltz: An efficient implementation of Backpropagation on the Connection Machine CM-2, TMC TR, auch in: Parallel Computing 14 (1990) pp. 317–327, North Holland
A. Zell, Th. Korb, T. Sommer, R. Bayer: A Neural Network Simulation Environment, Proc. Applications of Neural Networks Conf., SPIE Vol. 1294, pp. 535–544
A. Zell, Th. Korb, N. Mache, T. Sommer: SNNS, Stuttgarter Neuronale Netze Simulator, Nessus-Handbuch, Univ. Stuttgart, Fakultät Informatik, Bericht 3/91
A. Zell, N. Mache, T. Sommer. T. Korb: The SNNS Neural Network Simulator, Mustererkennung 1991, 13. DAGM Symposium Mustererkennung, Okt. 1991, Munchen, Informatik-Fachberichte 290, Springer, pp. 454–461
A. Zell (Ed.): Workshop: Simulation Neuronaler Netze mit SNNS, Universitat Stuttgart, Fakultat Informatik, Report No. 10/92, Sept. 1992
A. Zell, N. Mache, M. Vogt, M. Hiittel: Problems of Massive Parallelism in Neural Network Simulation, IEEE Int. Conf. on Neural Networks ICNN-93, San Francisco, pp 1890–1895, CA, March 28-Apiil 1, 1993
A. Zell, N. Mache, R. Hubner, G. Marnier, M. Vogt, K.-U. Hermann, M. Schmalzl, T. Sommer, A. Hatzigeorgiou, S. Doring, D. Posselt, M. Reczko, M. Riedmiller: SNNS User Manual, Vers. 3.0, Univ. Stuttgart, Fakultat Informatik, Report 3/93
P. Zimmerer, A. Zell:Translations- und rotationsinvariante Erkennung von Werkstücken mit neuronalen Netzen, Mustererkennung 1991,13. DAGM Symposium, Okt 1991, Munchen, Informatik-Fachberichte 290, Springer, pp. 51–58
Author information
Authors and Affiliations
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 1993 Springer-Verlag Berlin Heidelberg
About this paper
Cite this paper
Zell, A., Mamier, G., Mache, N., Vogt, M. (1993). Simulation Neuronaler Netze auf SIMD- und MIMD-Parallelrechnern. In: Spies, P.P. (eds) Europäischer Informatik Kongreß Architektur von Rechensystemen Euro-ARCH ’93. Informatik aktuell. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-78565-8_9
Download citation
DOI: https://doi.org/10.1007/978-3-642-78565-8_9
Publisher Name: Springer, Berlin, Heidelberg
Print ISBN: 978-3-540-57315-9
Online ISBN: 978-3-642-78565-8
eBook Packages: Springer Book Archive