Inhaltsverzeichnis
Die Hebbsche Lernregel
Die Hebbsche Lernregel wurde 1949 von Donald Hebb aufgestellt, sie ist die Grundlage für viele weitere Lernregeln bei Neuronalen Netzen. Sie liefert eine Erklärung für das Lernen in Neuronalen Netzwerken über Neuronen, die gemeinsame Synapsen haben.
Hebb schrieb in seinem Buch „The Organization of Behavior“ auf Seite 62 folgendes:
„When an axon of cell A is near enough to excite B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased“
Auf Deutsch: „Wenn ein Axon der Zelle A nah genug an der Zelle B ist, so dass es erregt werden kann und wiederholt oder dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen (metabolischen Veränderungen) in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in Bezug auf die Erzeugung eines Aktionspotentials in B gesteigert wird.“
Animation des Hebbschen Prinzips
- Die Synapse kann nicht wachsen, wenn nur ein Neuron aktiv ist. Das Feuern der Neuronen wurde mit rot dargestellt, die Verbindungen (Gewichte) sind mit blau dargestellt.
- Sind jedoch zwei Neuronen gleichzeitig und wiederholend aktiv, erfolgt ein Wachstumsprozess der Synapse (metabolische Änderungen, die übrigens auch bei Ratten experimentell bestätigt worden sind)
Quantitative Beschreibung
Wenn ein Neuron $x_i$ und ein anderes Neuron $y_i$ gleichzeitig aktiv sind und wiederholt gleichzeitig Energie abfeuern, so nimmt die Verbindung (das Gewicht $w_{ij}$) zwischen den beiden Neuronen zu.
Die beschriebenen Annahmen werden in der Hebbschen Formel zusammengefasst. \begin{equation} \Delta w_{ij} = \eta \cdot x_i y_j \end{equation}
- Hier ist η (eta) die Lernrate
- Δ bezeichnet die Gewichtsveränderung, wobei das Gewicht wird mit $w_{ij}$ dargestellt ist.
- Die Indizes bedeuten, dass die Verbindung zwischen Neuron $x_i$ und $y_j$ gemeint ist.