Gritzbach, Neuronale Netze

Neuronale Netze (Martin Gritzbach)
1. Einleitung: Mensch, Wissen und Computer
2. Neuronale Netzwerke
2.1. Das biologische neuronale Netz
2.2. Das künstliche neuronale Netz
Beispiel: Ein einfaches Netzwerk zur Mustererkennung
Die Hebb'sche Lernregel
Das Hopfield-Netzwerk
Fazit
3. "Die Architektur des menschlichen Geistes"
3.1. Die klassische Symbolverarbeitungstheorie
3.2. Der konnektionistische Ansatz
Abbildungsverzeichnis
Literaturverzeichnis
1. Einleitung: Mensch, Wissen und Computer
Ich möchte Sie weder verblüffen noch schockieren […]. In wenigen Worten ausgedrückt: Es gibt
jetzt auf der Welt Maschinen, die denken, lernen und schöpferisch tätig sind. Ihre Fähigkeiten
werden sich in kurzer Zeit so steigern lassen, dass in absehbarer Zukunft Probleme bearbeitet
werden können, die bislang dem menschlichen Denken vorbehalten waren.
Neuronale Netze sind ein Forschungsgebiet der Künstlichen Intelligenz. Künstliche Intelligenz (KI)
ist der Versuch einer disziplin-übergreifenden Zusammenschau von Mensch, Wissen und
Computer.
Am Menschen interessiert die KI, wie seine kognitiven Leistungen, vor allem Bewusstsein und
Erkenntnisfähigkeit, zustande kommen. Mit Erkenntnisprozessen und Wissen befasst sich die KI,
um herauszufinden, inwieweit auch beides unabhängig vom Wissensträger Mensch vorstellbar ist.
Der Computer schließlich ist das Medium, das kognitive Leistungen erlernen soll.
Doch der Begriff KI bezeichnet noch mehr: Die eigentliche Bezeichnung Artificial Intelligence ist die
sprachliche Vorlage für den deutschen Begriff Künstliche Intelligenz. Mit dieser Übersetzung geht
ein wesentliches Sprachspiel verloren. Im Amerikanischen hat intelligence zweifache Bedeutung.
Es bezeichnet dort nicht nur die geistig-verstandesmäßige Begabung des Menschen, sondern
auch das gezielte Sammeln von Informationen, das Auswerten, Ergänzen, Folgern, Vermuten von
Sachverhalten und Zusammenhängen.
Die KI beschreibt somit ein breit angelegtes Arbeitsfeld und erstreckt sich über eine Reihe von
bestehenden Fachdisziplinen. Bei den Humanwissenschaften sind dies vor allem
Neurowissenschaften, Psychologie und Anthropologie. Bei den Geisteswissenschaften gibt es
Berührungspunkte mit Philosophie, Wissenschaftstheorie und Linguistik.
Organisationswissenschaften wie Operations Research, Logistik und Dokumentationswissenschaft
haben durch die KI neue Impulse bekommen. Informatik bildet nun die Brücke zum Computer.
Damit führt die KI Fachwissen verschiedener Einzeldisziplinen zusammen, es ist ein eher
multidisziplinäres als interdisziplinäres Arbeitsfeld entstanden.
Für KI-Systeme wurden besonders gut geeignete Computer entwickelt. Diese Computer zeichnen
sich durch besondere Architektureigenschaften aus, die den Ablauf von KI-Software
beschleunigen. Dabei wird ja nach Zielrichtung der Hardware-Unterstützung unterschieden:
Erstens KI-Maschinen, die auf die Verwendung bestimmter, für KI-Software besonders geeignete
Programmiersprachen ausgelegt sind. Zweitens spezielle Hardware zur beschleunigten Erkennung
von gesprochener Sprache, Grafik und bewegten Bildern. Drittens schließlich Hardwarestrukturen,
die für bestimmte Verfahren der Wissensdarstellung besondere Unterstützung anbieten. Ein
besonderer Typ solcher Maschinen sind die Neuronalen Netze, auch konnektionistische Systeme
genannt. Der Konnektionismus betreibt die Forschung auf diesem Gebiet.
Neuronale Netze eignen sich besonders gut zur Bild- und Spracherkennung. Häufig werden sie
auch zur Prognose eingesetzt, z.B. in der industriellen Planung, im Finanzsektor oder im
medizinischen Bereich.
2. Neuronale Netzwerke
Das menschliche Gehirn ist einem Digitalcomputer in vielen Aufgaben – bspw. der
Mustererkennung – weit überlegen. Auch darüber hinaus hat das Gehirn viele Eigenschaften, die
in künstlichen Systemen wünschenswert wären:
75924639 - 1

Es ist robust und fehlertolerant. Nervenzellen im Gehirn sterben täglich ab, ohne die Arbeit des
Gehirns zu beeinträchtigen.
 Es ist flexibel gegenüber unterschiedlichen Anwendungen, indem es sich auf die neue
Arbeitsumgebung durch Lernen einstellt. Es muss dazu nicht erst programmiert wer-den.
 Die Informationen können unscharf, vertauscht und inkonsistent sein.
 Das Gehirn ist höchstparallel.
 Es ist klein, kompakt und verbraucht verhältnismäßig wenig Energie.
Das Gehirn besteht aus ca. 1011 Zellen, den Neuronen. Schon aufgrund dieser Tatsache ist es
unmöglich, ein komplettes, künstliches Gehirn nachzubauen. Aber es ist möglich, sich für
bestimmte Anwendungen an Gehirnmodellen aus der Neurobiologie zu orientieren. Diese
künstlichen neuronalen Netzwerke werden von Hunderten bis Tausenden simulierter Neuronen
gebildet, die ähnlich wie Gehirnzellen miteinander verbunden sind.
Es gibt also zwei Arten neuronaler Netzwerke: biologische oder natürliche und künstliche
Netzwerke. Das biologische neuronale Netz besteht aus den Nervenzellen eines Lebewesens, das
künstliche neuronale Netzwerk ist demzufolge ein Modell, das ein biologisches neuronales Netz
nachbildet. Beiden Arten neuronaler Netzwerke ist eigen, dass innerhalb dieser hochgradig
vernetzten Neuronengruppe die Informationen parallel verarbeitet werden.
Der Grundgedanke bei der Konzipierung künstlicher neuronaler Netze ist also der, einen Computer
zu konstruieren, der die Arbeitsweise des Gehirns kopiert.
T. Kohonen definiert auf dieser Grundlage den Begriff des Neuronalen Netzes (NN) wie folgt:
Künstliche NN sind massiv parallel verknüpfte Netzwerke von einfachen (gewöhnlich adaptiven)
Elementen und deren hierarchischen Strukturen, welche dazu gedacht sind, mit Objekten der
realen Welt so zu wechselwirken, wie biologische Nervensysteme das tun.
Im Folgenden muss es also darum gehen, erst einmal die Arbeitsweise des Gehirns zu erläutern,
um dann die modellhafte Nachbildung dieses Komplexes im künstlichen neuronalen Netz zu
verstehen.
2.1. Das biologische neuronale Netz
Aufgabe des Gehirns ist die Aufnahme, die Verarbeitung und die Beantwortung von Reizen,
welche z.B. über Sensoren wie die Sinnesorgane aufgenommen werden. Diese Sensoren
bezeichnet man als Rezeptoren. Sie codieren Reize wie Licht, Druck Temperatur, Töne etc. so um,
dass sie als Signale über die Nervenbahnen an das Gehirn weitergeleitet werden können.
Wolfgang Kinnebrock formuliert diesen Sachverhalt wie folgt:
Rezeptoren nehmen Reize auf. Diese werden als Signale auf elektrochemischem Wege über die
Nervenbahnen an das Gehirn geschickt. Dort erfolgt die Verarbeitung entsprechend vorgegebener
Muster und die eventuelle Abgabe eines Reaktionsreizes an die Effektoren.
Im Gehirn treffen die Signale von den Rezeptoren des Körpers ein und werden nach gespeicherten
Mustern weiterverarbeitet. Der wesentliche Kern der Informationsverarbeitung im Gehirn geschieht
in der Hirnrinde (Neokortex). Diese ist beim Menschen ein flächenartiges 2-3 mm dickes Gewebe
mit der Ausdehnung von ca. 0,2 m2. Dieses lappenartige Gewebe findet nur zusammengefaltet in
der Schädelhöhle Platz.
Die elementaren Verarbeitungseinheiten in der Hirnrinde sind die Neuronen, also Zellen, die
untereinander auf elektrochemischem Wege Signale austauschen und sich gegenseitig erregen
können. Auf einem Quadratmillimeter der Hirnrinde befinden sich etwa 100.000 Neuronenzellen.
Jedes Neuron besitzt etwa 10.000 Verbindungen zu Nachbarneuronen, so dass ein menschliches
Gehirn im Neokortex bis zu 1015-1016 Verbindungen besitzt. Alle Neuronen mit ihren Verbindungen
bilden ein neuronales Netz. Diese Vernetzung beginnt erst mit dem Lernen, nach der Geburt ist
das Gehirn praktisch nicht vernetzt. Verhaltensformen, die über längere Zeit nicht trainiert werden,
bewirken den Zerfall der entsprechenden Neuronenverbindungen ("Vergessen"). Jedes Training
dagegen stärkt die entsprechenden Verbindungen.
Die Neuronen sind also die eigentlichen Verarbeitungseinheiten im Gehirn. Wie jeder Prozessor
auch besitzen sie Eingabe und Ausgabe. Die Eingabesignale sind elektrochemische Reize, die von
anderen Neuronen kommen und über spezielle Leitungen, den Dendriten, an das Neuron
75924639 - 2
herangetragen werden. Ein Neuron besitzt im Durchschnitt 10.000 Dendriten, im Einzelfall mehr
als 100.000.
Wenn die Summe der Eingabesignale als elektrisches Potential einen Schwellwert überschreitet,
wird das Neuron aktiv. Es sendet über eine Ausgabeleitung, dem Axon, einen kurzen elektrischen
Impuls an andere nachgeschaltete Neuronen. Man sagt: das Neuron "feuert". Das Axon kann im
Extremfall bis zu ein Meter lang sein und sich in viele Zweige aufspalten, die dann weitere
Neuronen ansprechen.
Zwischen der Eingabe, den Dendriten und dem Prozessor, dem Neuron ist eine Zelle geschaltet,
die den ankommenden Potentialwert verstärken oder hemmen kann. Diese Zelle heißt Synapse
und befindet sich oft direkt am Zellkörper des Neurons. Wird der Impuls verstärkt, spricht man von
einer exzitatorischen, andernfalls von einer inhibatorischen Synapse.
Da die Synapsen ihre hemmende oder verstärkende Wirkung im Laufe der Zeit verändern können,
spielen sie gerade im Lernverhalten eine wichtige Rolle.
2.2. Das künstliche neuronale Netz
Das eben beschriebene Modell eines Neuronennetzes der Hirnrinde kann durch ein
mathematisches Modell ersetzt werden, das für Computersimulationen geeignet ist und durch
Anwendung mathematischer Formalismen begrifflich fassbar ist. Dieses mathematische Modell
funktioniert nach folgenden Prinzipien:
Das Neuron ist ein Prozessor, der lediglich zwei Zustände annehmen kann: entweder es feuert
oder es ist passiv. Diesen beiden Zuständen werden binäre Werte zugeordnet, z.B. die Zahlen 0
oder 1.
Die Eingaben zum Neuron sind die von den Dendriten an das Neuron herangetragenen Reize. Da
dies Ausgaben vorgeschalteter Neuronen sind, sind die Eingabewerte ebenfalls entweder 1 oder 0.
Das einlaufende Signal wird auch als Input bezeichnet.
Die Signale werden, bevor sie das Neuron erreichen, in den Synapsen verstärkt oder gehemmt.
Dies lässt sich simulieren, indem die Dendritenwerte mit positiven oder negativen reellen Zahlen
multipliziert werden. Der Input wird also durch die Synapsenverbindungsstärke gewichtet, weshalb
man auch vom Synapsengewicht spricht. Ist das Synapsengewicht gleich 1, wird der Input
vollständig im Sinne einer Aktivierung auf das Neuron übertragen; bei Werten zwischen 0 und 1
wird er entsprechend abgeschwächt. Positive Zahlen stehen für eine Verstärkung des Reizes,
negative für eine Hemmung.
Die einlaufenden, gewichteten Aktionspotientale führen beim Neuron zu einer mehr oder weniger
starken Erregung. Überschreitet die Erregung einen bestimmten Schwellenwert, dann sendet das
Neuron seinerseits ein Aktionspotential aus. Mathematisch gesprochen bildet das Neuron die
Summe der gewichteten Eingangssignale und vergleicht diese Summe mit einem Schwellenwert.
Ist der gewichtete Input größer als der Schwellenwert, feuert das Neuron: die Ausgabe des
Neurons (d.h. der Wert des Axons) wird auf 1 gesetzt. Ist der gewichtete Input kleiner, geschieht
nichts. Man nennt diesen Vorgang Aktivierungsfunktion.
Durch die Inputstärken, die Synapsengewichte und die Aktivierungsfunktion lässt sich also die
Funktion eines Neurons beschreiben.
Ein neuronales Netz entsteht nun durch die im Prinzip beliebige Zusammenschaltung einzelner
Neuronen. Künstliche neuronale Netze lassen sich in drei unterschiedliche Verarbeitungseinheiten,
die dem biologischen Vorbild der Neuronen entsprechen, unterscheiden. Man differenziert
zwischen Eingabeeinheiten (Eingangsneuronen), Zwischeneinheiten (Verteilungsneuronen) und
Ausgabeeinheiten (Ausgangsneuronen): die Eingangsneuronen erhalten Informationen von
außerhalb des Systems, die sie innerhalb des Netzes weiterleiten. Verteilungsneuronen haben die
Aufgabe, diese Informationen weiterzuleiten. Am Ende eines neuronalen Netzes stehen die
Ausgangsneuronen. Ihre Aufgabe besteht darin, die erhaltenen Informationen nach außen zu
senden. Diese Outputs können entweder einen Input für ein externes System darstellen oder z.B.
direkt ein motorisches System beeinflussen.
Beispiel: Ein einfaches Netzwerk zur Mustererkennung
Ein Lebewesen steht ständig vor dem Problem, komplexe Muster zu erkennen und spezifisch auf
sie zu reagieren. Die Sinneszellen liefern hier uninterpretierte Signale in Form von
Aktionspotentialen. Wie generiert ein Organismus aus diesem Strom von Aktionspotentialen eine
75924639 - 3
sinnvolle Erkenntnis über die Außenwelt bzw. eine sinnvolle Reaktion darauf? Auf die Netzhaut
des Auges fallen Lichtpunkte, die über den Sehnerv entsprechend raum-zeitlicher Muster
elektrischer Aktivität an das Gehirn weitergeleitet werden. Die Frage ist: Wie können diese Muster
dekodiert werden, so dass z.B. ein Tier einen Feind erkennt?
Stark vereinfacht kann das Prinzip wie folgt erklärt werden: Ausgehend von einer Netzhaut, die aus
nur drei Sinneszellen besteht, bilden diese im mathematischen Modell die Inputneuronen des
Netzwerks. Weiterhin werden in der Umgebung des Organismus drei Muster angenommen, auf die
der Organismus jeweils anders reagieren muss. Beim Sehen dieser Muster werden diese Muster
(A, B, C) auf die Netzhaut projiziert. Dadurch werden die entsprechenden Sinneszellen aktiviert
und senden ein Aktionspotential aus. Ferner gibt es drei Outputneuronen, die drei mögliche
Reaktionen des Organismus kodieren, also z.B. Weglaufen, Angreifen oder einfach Nichtstun. Wie
ist das Nervensystem in der Lage, eine Umsetzung der Eingangsmuster in Ausgangsmuster
vorzunehmen?
Ein herkömmlicher, seriell arbeitender Computer löste die Aufgabe durch folgende serielle
Vorschrift: "Gehe zum mittleren Retina-Neuron und stelle fest, ob es feuert oder nicht; feuert es
nicht, so handelt es sich um Muster 1, feuert es, so gehe zum oberen Retina-Neuron; feuert dies
nicht, so handelt es sich um Muster 3; feuert es, liegt Muster 2 vor. Diese Vorschrift ist einfach,
wird jedoch mit jedem zusätzlichen Bildpunkt komplizierter. Damit sind solche seriellen
Algorithmen, sofern sie von lebenden Gehirnen durchgeführt werden sollen, um Größenordnungen
zu langsam. Des Weiteren sind serielle Algorithmen sehr fehleranfällig: Wird an einer Stelle falsch
entschieden, liefert diese Prozedur auch ein falsches Ergebnis.
Neuronale Netzwerke führen solche Mustererkennungsleistungen in sehr kurzer Zeit und auf
robuste Weise durch. Im Netzwerk ist jedes Neuron der Inputschicht mit jedem Neuron der
Outputschicht verbunden. Außerdem sollen alle drei Outputneuronen eine Aktivierungsschwelle
von 0,8 aufweisen: Ist der gewichtete Input größer als diese Schwelle, feuert das Neuron, liegt der
gewichtete Input unterhalb dieser Schwelle, verharrt das Neuron in Ruhe.
Entscheidend für das Funktionieren der gesamten Anordnung ist die Stärke der synaptischen
Verbindungen zwischen Input- und Outputschicht. Durch diese Gewichtung geschieht mit den
Inputmuster A, B und C folgendes: Wird Muster A wahrgenommen, entspricht die Aktivität der
Inputschicht diesem Muster, d.h. das obere und das untere Neuron sind aktiv, das mittlere nicht.
Über die Verbindungen der Outputschicht erhalten nun alle Neuronen der Outputschicht diesen
Input. Jedes Neuron gewichtet diesen Input jedoch anders, je nachdem, wie die Synapsenstärken
der Verbindungen zu den Inputneuronen aussehen. Das obere Neuron der Outputschicht erhält
über seine Synapse (Stärke = 0,5) mit dem oberen Neuron der Inputschicht den Input 1. Der
gewichtete Input beträgt somit 1 * 0,5 = 0,5. Der Input über die beiden anderen Synapsen ergibt
sich entsprechend als 0 * -0,5 = 0 und als 1 * 0,5 = 0,5. Die Summe der gewichteten Inputs für das
obere beträgt somit 1. Der Wert liegt über der Aktivierungsschwelle des Neurons von 0,8, d.h. das
Neuron wird aktiv.
Der entsprechend berechnete gewichtete Input des mittleren Neurons beträgt 0,6, der des unteren
Neurons –0,6. Beide Neuronen sind also demnach nicht aktiv.
Besteht der Input aus Muster A, ist somit in der Outputschicht nur das obere Neuron aktiv. Die
damit geforderte Beziehung zwischen Input und Output ist damit realisiert.
Sind die Synapsenstärken wie in der Abbildung dargestellt, werden auch Muster B und C richtig
erkannt. Setzt man Muster B, beträgt der gewichtete Input des oberen Neurons der Outputschicht
0,5, der Wert des mittleren Neurons beträgt 0,9 und der des unteren 0,4. Somit liegt nur der Wert
des mittleren Neurons der Outputschicht über der geforderten Aktivierungsschwelle von 0,8 und
wird somit aktiv. Das Muster B wird somit richtig erkannt. Auch bei Muster C leistet dieses Modell
die richtige Zuordnung, denn die gewichteten Eingangssignale des oberen, mittleren und unteren
Neurons betragen –0,5, 0,3 und 1, d. h. nur das untere Neuron der Outputschicht wird bei
Aktivierung der Inputschicht durch Muster C aktiviert.
Dieses einfache Beispiel zeigt, dass sich durch die Vernetzung von zwei Schichten mit jeweils drei
Neuronen die Mustererkennung realisieren lässt.
Von Bedeutung ist, dass alle drei Outputneuronen gleichzeitig – parallel – arbeiten. Eben hier liegt
der Unterschied zu seriellen Rechnern: Es werden nicht einzelne Mustereigenschaften
nacheinander (seriell) abgearbeitet, sondern das gesamte Muster. Die Parallelverarbeitung hat
75924639 - 4
gegenüber seriellen Rechenoperationen eine Reihe wesentlicher Vorteile. Das Erkennen des
Musters erfolgt in einem einzigen Verarbeitungsschritt, also deutlich schneller als bei serieller
Abarbeitung einzelner Musteranteile. Zudem bleibt diese Schnelligkeit erhalten, auch wenn das
Muster aus mehr als drei Bildpunkten besteht – das Erkennen komplexerer Bildmuster erfordert
lediglich mehr Neuronen. Dabei brauchen auch komplizierte Muster nicht mehr Zeit als einfache,
da die Verarbeitung auch größerer Mengen von Eingangsdaten zugleich, d. h. parallel, erfolgt.
Die Hebb'sche Lernregel
Auch ist das neuronale Netz 'lernfähig' und kann 'trainiert' werden: Lernregeln können
beschreiben, nach welcher Strategie ein Netz im Hinblick auf die vorliegenden Daten trainiert wird.
So können z.B. über einfache Soll-Ist-Vergleiche beim sogenannten überwachten Lernen
Rückschlüsse auf den bisherigen Erfolg des Trainingsprozesses gezogen werden. Diese
Vergleiche werden bei der Neuberechnung der Synapsengewichte berücksichtigt.
Diesen Sachverhalt beschrieb erstmals Donald Hebb. Er stellte 1949 folgende Regel der
Funktionsweise von Nervenzellen auf:
Sofern ein Axon der Zelle A einer Zelle B nahe genug ist, um sie immer wieder zu erregen bzw.
dafür zu sorgen, daß sie feuert, findet ein Wachstumsprozeß oder eine metabolische Veränderung
in einer der beiden Zellen oder in beiden statt, so dass die Effektivität der Zelle A, die Zelle B zu
erregen, gesteigert wird.
Das neuronale Netzwerk enthält somit im Gegensatz zum regelgeleiteten sprachlogischen System
weder vorgegebene Zuordnungsregeln noch Rechenvorschriften. Neuronale Netze enthalten keine
Regeln. Ihre Operationen lassen sich jedoch durch Regeln beschreiben. Das Wissen über die
richtige Zuordnung steckt vielmehr in der Vernetzung der Neuronen und insbesondere in der
Stärke der Neuronenverbindungen, also im Synapsengewicht.
Das Hopfield-Netzwerk
Ein zur Bilderkennung besonders gut geeignetes neuronales Netz ist das Hopfield-Netzwerk. Der
Physiker John Hopfield beschrieb erstmals diesen Netzwerktypus, der sich durch folgende
Eigenschaften auszeichnet: Sie sind autoassoziativ; d.h., jedes Neuron dieses Netzwerks ist mit
jedem anderen Neuron verbunden, außer mit sich selbst. Des Weiteren bestehen sie aus einer
einzigen Schicht, die gleichzeitig als Eingabe- und Ausgabeschicht dient.
In Verbindung mit der Hebbschen Lernregel besitzen derartige Netzwerke folgende Eigenschaften:
Ein Eingangssignal, d.h. ein räumlich verteiltes Muster von Aktivierung und fehlender Aktivierung,
kann im Netzwerk als Aktivierungsmuster gespeichert werden. Durch Veränderung der
Synapsenstärken innerhalb des Netzwerks führt ein solches Eingangssignal zu einem insgesamt
veränderten Netzwerk. Dies geschieht nicht gleichzeitig, sondern nach einer gewissen Zeit:
Werden einige Neuronen des Netzwerks erregt, so geben sie diese Erregung weiter und erhalten
ihrerseits Erregung von anderen Neuronen. Das Netzwerk wird sich zu einem stabilen Zustand hin
entwickeln.
 Das Netz kann nicht nur ein einziges Muster speichern. Die maximale Anzahl speicherbarer
Muster liegt bei 13% der Zahl der Neuronen des Netzwerks.
 Der Abruf der gespeicherten Inhalte kann über die teilweise Darbietung des gespeicherten
Inhalts erfolgen: Erhält das Netzwerk nur einen Teil des Aktivierungsmusters, wird der Input
durch die bestehenden Verbindungen vervollständigt.
 Ist der Input einem der gespeicherten Muster nur ähnlich, konvergiert der Aktivierungszustand
des Netzwerks zu diesem Muster hin, d.h. das Netzwerk generalisiert selbsttätig über eine
bestimmte Menge ähnlicher Inputmuster. Das Netzwerk leistet also – im Gegensatz zu
herkömmlichen seriellen Computern – die Erkennung von Mustern auch bei teilweise
unvollständigem und fehlerhaftem Input.
Diese genannten Eigenschaften haben Hopfield-Netzwerke mit biologischen Informationssystemen
– Gehirnen – gemeinsam.
Charakteristisch für diese Netzwerke ist also, dass sie nach einem Input auf einen bestimmten
Outputzustand hin konvergieren. Die gespeicherten Outputzustände sind stabile
Aktivierungsmuster der Neuronen im Netzwerk. Stabile Zustände werden als Attraktoren
bezeichnet.
75924639 - 5
Nach der Aktivierung durch ein Inputmuster konvergiert das Netzwerk in Abhängigkeit vom
Inputmuster zu demjenigen Endzustand, der dem Eingangssignal am ähnlichsten ist. Sämtliche
dem Netzwerk möglichen Zustände lassen sich als Matrix oder metaphorisch als Landschaft
verstehen, in der die Attraktoren und deren Umgebung als Täler fungieren, instabile Zustände
dagegen als Hügel.
Fazit
Einige der wünschenswerten Eigenschaften des menschlichen Gehirns sind also im neuronalen
Netz realisiert:
 Parallelität
 Lernfähigkeit: Neuronale Netze passen sich im Laufe des Trainings ihrer Aufgabenstellung an
und können diese somit effektiver lösen.
 Robustheit: Neuronale Netze sind robust gegenüber vertauschten Daten. Diese Eigenschaft
macht sie besonders attraktiv für viele 'real-world'-Probleme.
 Fehlertoleranz: Aufgrund der verteilten Informationsrepräsentation in der Netzstruktur können
neuronale Netze fehlertolerant auf Ausfälle einzelner Subkomponenten reagieren.
 Generalisierungsfähigkeit: Neuronale Netze können durch geeignete Trainingsbeispiele und
entsprechende Lernstrategien Entscheidungsregeln ausbilden, deren Gültigkeit über die
Trainingsdaten hinausgeht und somit von allgemeinerer Bedeutung sind.
3. "Die Architektur des menschlichen Geistes"
Es ist möglich, den Menschen selbst als informationsverarbeitendes System zu betrachten: Die
Sinnesorgane sind Transduktoren, die Außenweltereignisse in Systemereignisse umwandeln. Sie
werden zu Eingangskanälen, mit deren Hilfe Information aus der Umgebung 'aufgenommen'
werden kann. Das zentrale Nervensystem verarbeitet diese Information. Einen Teil davon
speichert es in seiner eigenen physischen Struktur. Die menschlichen Handlungsorgane sind
Effektoren, die den kausalen Eingriff in die äußere Wirklichkeit ermöglichen. Die Kulturtechnik des
Rechnens wurde so in der zweiten Hälfte des zwanzigsten Jahrhunderts auf dem Umweg über das
'Computermodell des menschlichen Geistes' schrittweise zu einer anthropologischen Metapher.
Die Kognitionswissenschaft ist ein interdisziplinärer Forschungsansatz der Natur- und
Geisteswissenschaften, insbesondere der Künstlichen-Intelligenz-Forschung und der
Neurowissenschaften. Ihr Kernproblem besteht darin zu verstehen, wie aus
Informationsverarbeitung Intelligenz und Wissen über die Welt entstehen kann. Je nachdem,
welche Hintergrundannahmen man über die repräsentative Architektur des menschlichen Geistes
und die von ihm verwendeten Datenformate macht, erhält man sehr unterschiedliche
anthropologische Schlussfolgerungen. Zwei der wichtigsten Ansätze der Kognitionswissenschaft
ist die Symbolverarbeitungstheorie sowie der Konnektionismus.
Die Symbolverarbeitungstheorie fasst das Denken als symbolischen Prozess auf. So kann man
z.B. die Struktur von Gedanken, die als inneres Sprechen erlebt werden, durch Annahme formaler
Verknüpfungen von Erinnerungsbildern und Symbolen erklären. Diese Bilder und Symbole werden
durch Denk-, Gefühls-, und Willensprozesse aktiviert und neu verknüpft, woraus dann die sich in
Erleben und Verhalten äußernde Tätigkeit des Geistes resultiert. Entsprechend werden geistige
Tätigkeiten durch Flussdiagramme nachgeahmt.
Mit der Erkenntnis der Neurowissenschaft jedoch, das Gehirn als neuronales Netz zu betrachten,
hat sich jedoch auch die Vorstellung vom Prozess des Denkens geändert. Da das Gehirn als
konnektionistisches System anders als das serielle System arbeitet, wurden geistige Prozesse
nicht mehr unbedingt als das regelhafte Hantieren mit Symbolen verstanden, sondern als ein mit
Regeln nur schwer beschreibbarer subsymbolischer Prozess, in dessen Verlauf interne
Repräsentationen sich beständig verändern.
3.1. Die klassische Symbolverarbeitungstheorie
Die klassische Symbolverarbeitungstheorie von Allen Newell und Herbert Simon besagt, dass
kognitive Prozesse regelgeleitete Vorgänge in einem physikalischen Symbolsystem sind.
Dieser Ansatz griff – wohl eher unbeabsichtigt – klassische Motive der Philosophie des Geistes
auf. So formulierte Hobbes bspw. als Erster die syntaktische Vorstellung vom Denken als einen
Rechenvortrag:
75924639 - 6
Denken heißt nichts anderes als sich eine Gesamtsumme durch Addition von Teilen (oder einen
Rest durch Subtraktion einer Summe von einer anderen) vorstellen. […] Wo Addition und
Subtraktion am Platze sind, da ist auch Vernunft am Platze.
Leibniz entwickelte eine erforderliche unzweideutige formale Sprache, mit deren Hilfe dieser rein
syntaktische Rechner, das Gehirn, arbeiten konnte. Er glaubte, ein universales und exaktes
Darstellungssystem gefunden zu haben, eine Algebra, eine "Universalcharakteristik", mit deren
Hilfe "man jedem Gegenstand seine bestimmte charakteristische Zahl beilegen kann." Auf diese
Weise konnten alle Begriffe in eine kleine Anzahl ursprünglicher und nicht weiter definierter Ideen
zerlegt werden; alles Wissen ließe sich in einem einzigen deduktiven System unterbringen und
ausdrücken:
Sind nun die charakteristischen Zahlen einmal für die meisten Begriffe festgesetzt, so wird das
Menschengeschlecht gleichsam ein neues Organ besitzen, das die Leistungsfähigkeit des Geistes
weit mehr erhöhen wird, als die […] Vernunft dem Gesichtssinn überlegen ist.
Wie Hobbes nahm auch George Boole an, schlussfolgerndes Denken sei dasselbe wie eine
Berechnung. Also untersuchte er "die fundamentalen Gesetze jener Operationen im Denken, […]
mit deren Hilfe Schlüsse gezogen werden, um sie in der Symbolsprache eines Kalküls zum
Ausdruck zu bringen." Die Boolsche Algebra ist nun eine binäre Algebra zur Darstellung
elementarer logischer Funktionen. Sind "a" und "b" Variablen und steht "·" für "und", "+" für "oder",
"1" für "wahr" und "0" für "falsch", dann können die logischen Verknüpfungsregeln in algebraischer
Form wie folgt ausgedrückt werden:
a+a=aa+0=aa+1=1
a ·a = a a · 0 = 0 a ·1 = a
Alle diese Systeme verwenden also Symbole mit einer Konstituentenstruktur. Sie erweisen sich als
vorteilhaft, wenn höhere kognitive Leistungen wie begrifflich-propositionales Denken erklärt werden
soll. Jerry Fodor und auch Zenon Pylyshyn behaupten, dass diese Systeme über eine Language of
Thought mit kombinatorischer Syntax und Semantik verfügen. Ist dies der Fall, lassen sich die
Produktivität und Systematizität von Denkvorgängen sowie die Kohärenz von Ableitungen sehr gut
erklären. Fodor und Pylyshyn behaupteten zudem, dass konnektionistische Systeme diese
Erklärungen nicht anbieten können. Wäre dies richtig, dann könnten z.B. neuronale Netze viele der
kognitiven Leistungen, die den Menschen auszeichnen, nicht hervorbringen.
Für die klassische Kognitionswissenschaft ist das Medium der Symbolverarbeitung das
Nervensystem des Menschen oder der Zentralprozessor eines Rechners. Dieses Medium besitzt
zunächst keinen Netzwerkcharakter bzw. keine intersubjektive Dimension. Deshalb lässt sich
etwas wie Bewusstsein und qualitatives, subjektives Erleben in diesem System nur schwer
beschreiben. Das "symbolische Universum" wird zu einem exklusiv internen Milieu: Es entsteht in
einem physikalischen Symbolsystem. Der Mensch habe nie der Wirklichkeit un-mittelbar
gegenübergestanden, er kennt die Wirklichkeit – wie auch sich selbst – nur vermittelt durch
mentale Operationen auf rein syntaktisch spezifizierten symbolischen Repräsentationen.
Kognitive Aktivität hat demnach rein monologisierenden Charakter, sie wird ausschließlich durch
interne Syntax generiert. Dabei erreicht die symbolische Tätigkeit des individuellen menschlichen
Geistes ein neues Komplexitäts- und Organisationsniveau, nämlich die Ebene physikalisch
realisierter Intelligenz. Die Beziehung zwischen Geist und Körper ist dieser Auffassung nach in
etwa dieselbe wie die Beziehung zwischen Soft- und Hardware, also die der Implementation.
3.2. Der konnektionistische Ansatz
Der Konnektionismus rückte in den achtziger Jahren wieder verstärkt ins Blickfeld. Er ist zum
zweiten großen Paradigma für kognitivistische Theorien des Geistes geworden. Die Modellierung
kognitiver Leistungen auf subsymbolischer Ebene ist sein Ziel.
Konnektionistische Systeme sind distribuiert und nicht-regelgeleitet. Die begriffliche
Unterscheidung zwischen Syntax und Semantik lässt sich nicht mehr aufrechterhalten. Wegen der
fehlenden Konstituentenstruktur wird es unmöglich, den Begriff der Repräsentation hier im Sinne
klassischer philosophischer Modelle noch als geistiges Einzelding zu interpretieren. Das
konnektionistische Modell ist – in gewissem Ausmaß – neurobiologisch realistisch und bildet so die
Schnittstelle zwischen Neuro- und Kognitionswissenschaft. Die konnektionistische
Beschreibungsebene hat "erstmals präzise begriffliche Instrumente geschaffen", die zeigen, "was
der menschliche Geist auch ist: Er ist ein holistisches Medium, mit einer flexiblen Gesamtdynamik,
75924639 - 7
in dem sich auf 'flüssige' Weise eine permanente und eher bildhafte Entwicklung
repräsentationaler Inhalte vollzieht, die in hohem Maße kontextsensitiv ist."
Die in Bezug auf das Hopfield-Netzwerk benutzte Metapher einer "Landschaft" wurde bspw. von
Psychologen und Psychiatern immer wieder zur Erklärung kognitiver Prozesse aufgegriffen. Diese
"Landschaft" besitzt stabile Maxima sowie instabile Minima. Anderson kommentiert die HopfieldNetzwerke wie folgt:
Diese Idee klingt sehr plausibel. So glauben wir aus unserem subjektiven Erleben heraus, dass
Bedeutung tragende geistige Zustände irgendwie fest, zusammenhängend und überdauernd sind.
Diese Eigenschaften werden von vielen Netzwerkmodellen nahegelegt. Psychologische
Messungen zeigen, dass die meisten geistigen Leistungen 100 Millisekunden oder länger dauern,
d.h. sich über einen Zeitraum erstrecken, in dem Netzwerke ganz offensichtlich
Integrationsleistungen über die Zeit hinweg vollbringen und insgesamt zeitlich stabil sind.
Der Beitrag des Konnektionismus für die kognitive Anthropologie besteht unter anderem darin,
dass er ein genaues Verständnis dafür vermitteln kann, was es heißt, dass Menschen erfolgreich
in Metaphern und Analogien denken können. Dass sie Wesen sind, die nicht nur perzeptuelle,
sondern auch situative Muster schnellstens erkennen und vervollständigen können. Wesen, deren
Geist plastisch und in hohem Maße lernfähig ist; Wesen, deren Wissen über die Welt direkt in ihrer
eigenen physischen Struktur (der Konnektivitätsmatrix oder der "Landschaft" ihres Gehirns)
verkörpert ist. Der Konnektionismus hat die Metapher des syntactic engine – das Bild vom
menschlichen Geist als deterministische Rechenmaschine – ersetzt durch eine Vielzahl subtilerer
Metaphern: Den Input aus den Sinnesorganen zu interpretieren – "die Welt zu verstehen" – kann
jetzt z. B. heißen, sich in den unter den gegebenen Umständen energieärmsten Zustand zu
begeben, ein inneres Harmoniemaximum anzustreben oder punktuelle Vertikalität zugunsten von
globaler Kohärenz zu opfern. Der Konnektionismus hat zu einer semantischen Anreicherung des
Repräsentationsbegriffs durch biologische Elemente und des Intelligenzbegriffs durch prärationale
Prinzipien geführt.
Der Konnektionismus kann erklären, warum der Mensch auch unter stark epistemischen
Begrenzungen (z.B. "verrauschter Input") noch erfolgreich operieren kann. Er erklärt, weshalb
auch schwere körperliche Schäden beim Menschen oft zu einem nur langsamen Abbau geistiger
Fähigkeiten führen.
Konnektionistische Systeme haben neue Ideen darüber vermittelt, was eigentlich Intuition ist und
was Lebenserfahrung sein könnte. Die Konnektionisten gehen davon aus, dass nach heutiger
naturwissenschaftlicher Sicht gewisse Vorgänge im Gehirn nicht berechenbar oder vorhersehbar
sind – u.a. auf der Ebene der Quantenmechanik. Diese Unvorhersehbarkeit ist möglicherweise
eine Eigenschaft des Gehirns, die sich aus seiner Komplexität ergibt. Nach Meinung der
Konnektionisten sind viele Eigenschaften des Gehirns (z.B. eben Intuition oder Bewusstsein)
Emergenzphänomene: sie entstehen aus dem komplexen Zusammenspiel der Milliarden von
Neuronen. Diesen Sachverhalt beschreibt auch Hopfield: "Viele Geheimnisse des Gehirns sind
das, was wir in der Physik 'Emergenzeigenschaften' nennen würden […]. Sie entstehen aus der
Wechselwirkung zwischen sehr vielen Elementen. Obwohl Emergenzeigenschaften durch
Millionen von mikroskopisch kleinen Verbindungen zustande kommen, scheinen sie vielfach ein
Eigenleben zu gewinnen."
aktualisiert: 19.04.2001
http://waste.informatik.hu-berlin.de/koubek/netze/nn/nn.html
75924639 - 8