History in a nutshell

Diese sehr kurze Übersicht über die Geschichte der neuronalen Netze soll hauptsächlich von Personen und deren Leistungen erzählen, die in hier behandelten Lernabschnitten zu neuronalen Netzen besprochen werden.

1943	Warren McCulloch und Walter Pit	Warren McCulloch (1898-1969). Einer der Gründungsväter der„Neuroinformatik“.
		Walter Pitts. Entwickelte mit McCulloch eines der ersten Neuronenmodelle.(1923-1969)
1949	Donald O. Hebb beschrieb in seinem Buch `The Organization of Behaviour` die mittlerweile klassische Hebb'sche Lernregel als einfaches universelles Lernkonzept individueller Neurone. Die Hebb'sche Lernregel bildet bis heute die Grundlage fast aller Lernverfahren für neuronale Netze.	Donald Hebb (1904-1985) berühmt durch seine Hebbsche Lernregel.
1958	Rosenblatt entwickelte das Perzeptron ein sehr bekanntes neuronales Netz. Desweiteren lieferte Rosenblatt auch den Beweis dafür, dass das Perzeptron alles repräsentieren kann, was es mit dem von ihm angegebenen Lernverfahren lernen kann. Dies ist als Perzeptron-Konvergenz-Theorem bekannt.	Frank Rosenblatt (1928–1969) bekannt durch das Perzeptron-Konvergenz-Theorem.
1969	Marvin Minsky und Seymour Papert führten in ihrem Klassiker „Perceptrons“ eine genaue mathematische Analyse des Perzeptrons durch und zeigten, dass das Modell viele wichtige Probleme wie z.B. das `XOR-Problem` nicht lösen kann. Leider folgerten sie daraus, dass auch mächtigere Modelle als das Perzeptron die gleichen Probleme aufweisen und bezeichneten das gesamte Gebiet der neuronalen Netze als „research dead-end“. Dies erwies sich als falsch, war aber dennoch der Auslöser dafür, dass Forschern auf diesem Gebiet in den nächsten 15 Jahren nur wenige Forschungsgelder zur Verfügung standen.	Seymour Papert
1982	John Hopfield (Physiker) beschrieb in seinem berühmten Artikel „Neural networks and physical systems with emergent collective computational abilities“ ein Modell das jetzt als Hopfield-Netz bekannt ist. Das Hopfield-Netz ist ein neuronales Äquivalent des Ising-Modells aus der statistischen Physik, was uns hier aber nicht weiter zu interessieren braucht. Später erweiterte er das Modell auf kontinuierliche Hopfield-Netze und zeigte in seinem Artikel „Neurons with graded response have collective computational properties like those of twostate neurons“, dass diese Netze mit Hilfe einer Energiefunktion untersucht werden können. 1985 veröffentlichte er einen Artikel „Neural Computation of Decisions in Optimization Problems“ und stellte dar, wie diese Netze Optimierungsaufgaben, darunter das berühmte Travelingsalesman-Problem, lösen können. Damit überzeugte er viele Forscher von der Wichtigkeit des Forschungsgebiets.	Hopfield übertrug Methoden der statistischen Physik auf die Theorie der neuronalen Netze.
	Teuvo Kohonen ist vor allem für seine Arbeiten über Netzwerke, die als Self-Organizing-Maps (Selbstorganisierende Karten) oder eben Kohonennetze bezeichnet werden, bekannt geworden. Diese Netzwerktypen sind biologisch gut motiviert.	Teuvo Kohonen und seine „Self-Organizing Maps“ (Kohonennetze) weisen interessante Analogien zu den neuronalen Karten (Homunculus) des menschlichen Gehirns auf.