Künstliche Intelligenz - Neuronale Netze Proseminarbeitrag BIT
Werbung
Künstliche Intelligenz Neuronale Netze Proseminarbeitrag BIT September 2003 Thomas Thiel (MatrNr: 1277982, Uni Bonn) Inhaltsverzeichnis 1. Einleitung . . . . . . . 2. Der biologische Kontext von neuronalen Netzen . 1. Ein Neuron im Detail . . . . . 2. Zusammenarbeit mehrerer Neuronen . . 3. Der Schritt zur Abstraktion . . . . 1. Das Neuron als Modell . . . . 2. neuronale Netzmodelle . . . . 4. Lernfähigkeit neuronaler Netze . . . 5. Praktisches Beispiel von Neuronalen Netzen in der KI 6. Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4 4 5 6 6 7 8 9 11 Einleitung Die Begrifflichkeit der “künstlichen Intelligenz” ist heutzutage in aller Munde, und das nicht nur in der Spieleindustrie um Computergegener für interessantere und herausfordernde Spiele zu schaffen. Künstliche Intelligenzen spielen heutzutage eine viel größere Rolle, als man es sich vielleicht denken könnte. Doch der Terminus allein impliziert schon, das es sich um etwas künstliches handelt, was der natürlichen Intelligenz nachempfunden sein soll. Daher stößt man schon unweigerlich auf die Frage, wie natürliche Intelligenz eigentlich funktioniert. Wer sich mit dieser Fragestellung eingehender beschäftigt, dem wird schnell klar, das hinter zum Beispiel dem menschlichen Verhalten viel mehr steckt als eine Menge festgelegter Verhaltensregeln, die man mehr oder weniger klar in agorithmische Strukturen abbilden kann. Um biologische Intelligenzen zu begreifen, muß man das Zentrum dieser Intelligenzen finden. Das Zentrum, in dem alle Vorgänge, die den Begriff der Intelligenz umfassen, zusammengefasst sind, ist das Gehirn, ein Netz aus Milliarden von kleinen, hochspezialisierten Zellen, den Neuronen. Dieser Seminarbeitrag soll sich speziell mit der Thematik neuronaler Netze beschäftigen, der Abstraktion biologischer Vorgänge auf eine theoretische Basis, durch die komplexe Aufgaben, die ohne diese Technologie menschliche Fähigkeiten erfodern würden, technologisch automatisierbar werden. Im folgenden werde ich eine Einführung über die biologischen Zusammenhänge von natürlichen Neuronen geben. In ihr werde ich über deren Aufbau, Funktion und Zusammenarbeit schreiben. Danach werde ich die Abstraktion auf das theoretische Modell hinter virtuellen Neuronen erläutern. Wenn somit die Grundlagen über Aufbau und Zusammenspiel von Neuronalen Netzen gelegt sind, werde ich mich mit dem zentralen Vorteil dieser Netze beschäftigen, der Lernfähigkeit. Teil 1 – Der biologische Kontext neuronaler Netze Ein Neuron im Detail Das Gehirn ist aus Milliarden hochspezialisierten Zellen zusammengesetzt, den Neuronen. Ein Neuron hat die Eigenschaft, auf externe Reizung mit einer Spannungspotentialsteigerung auf der äußeren Zellmembran zu reagieren. Technisch ist grundsätzlich jede Zelle zu einer vergleichbaren Reaktion fähig, aber bei Neuronen entsteht unter besonderen Bedingungen eine Kettenreaktion, die die Funktion des Gehirns erst möglich macht, da sich Neuronen besonders durch Leitfähigkeit und Erregbarkeit hervorheben. Doch bevor ich auf diese Tatsache eingehe, hier erstmal ein Neuron im schematischen Aufbau: • • • Axon: ein langer Fortsatz, der in einer oder mehreren Synapsen endet, den Verbundsstellen an andere Neuronen. Zellkörper: der für Zellen typische Kern einer Zelle. Dendriten: Weite, baumartige Verzweigungen (dendron, griechisch für Baum). Sowohl am Zellkörper als auch an den Dendriten könen Synapsen anderer Neuronen anlaufen. Wie eben schon erwähnt, heben sich Neuronen besonders hervor, daß sie sich durch elektrische Stimulation besonders gut erregen lassen. Sollte nun diese elektrische Stimulation einen bestimmten Schwellwert überschreiten, entwickelt sich an der Zellwand des Neurons eine elektrische Kettenreaktion, die über die gesamte Länge des Neurons und über das Axon, das bis mehrere Meter lang sein kann, Abb. 1: schematischer Aufbau eines Neurons fortläuft und schließlich in den dem Axon angeschlossenen Synapsen ankommt. Diese Reaktion bezeichnet man als “feuerndes Neuron”. Die an den Synapsen anliegenden Neuronen werden dann durch diese elektrische Stimulation gereizt und können, wird der entsprechende für das Neuron spezifische Schwellwert überschritten, ihrerseits auch feuern. Hierbei würde eine Erklärung der Wechselwirkungen auf chemischer Basis, die die Wanderung von elektrischer Spannung über die Zellmembran bewirken, den Rahmen dieses Seminars sprengen. Daher sei nur gesagt, daß das zu Grunde liegende Prinzip der Austausch von Natriumionen und Kaliumionen sind, die durch die Zellmembran hindurch ausgetauscht werden und so eine lokale Potentialdifferenz erzeugen. Dieser Austausch breitet sich dann im Feuerungsfall über die gesamte Zellmembran aus. Aber wie ermöglicht diese Reaktion die Funktion des Gehirns ? Bisher hab ich nur gezeigt, wie ein Neuron aufgebaut ist, das es auf elektrische Stimulation entsprechend reagiert und so einen elektrischen Impuls über weite Strecken durch den Körper übertragen kann. Daruaf werde ich im nächsten Teil eingehen. Zusammenarbeit mehrerer Neuronen Im letzen Teil habe ich gezeigt, das Neuronen auf elektrische Stimuli besonders reagieren. Die Frage, was sie eigentlich stimuliert, habe ich noch nicht angesprochen. Die Antwort darauf ist aber genau das, was die Funktionalität eines neuronalen Netzes ausmacht, nämlich die Verschaltung mehrerer Neuronen zu einem Verband. Das Schlüsselelement hierbei ist die Synapse. Eine Synapse ist das Bindeglied zwischen einem Axon und dem Zellkörper oder Dendrons eines Nachbarneurons. Läuft ein elektrischer Impuls über das Axon in die Synapse, wird in ihrem Inneren ein komplexer chemischer Vorgang initiiert. Dieser Vorgang reizt dann die anliegende Zelle. Das besondere allerdings ist, das dieser chemische Vorgang seinerseits noch die Möglichkeit hat, den ankommenden Impuls stärker oder schwächer als Reiz an das Neuron abzugeben. Die Größenordnung, unter dem die Hemmung oder Verstärkung der “Impulsweitergabe” steht, nennt sich Synapsengewichtung. In dieser Fähigkeit zur Hemmung und Verstärkung liegt erst die Fähigkeit eines neuronalen Netzes zur Lernfähigkeit begründet. Doch bevor ich mich mit konkreten Beispielen über das Lernen in neuronalen Netzen beschäftige, muß ich der Einfachheit halber erst den Abb. 2: schematische Darstellung einer Synapse Schritt in die Abstraktion vollführen. Denn erst, als neuronale Netze mathematisch abstrakt erfaßt werden konnten, also mathematische Modelle von neuronalen Netzen entstanden, konnte man sich mit konkreten Ideen des Lernens beschäftigen. Teil 2 – Der Schritt zur Abstraktion Das Neuron als Modell Wir haben kennengelernt, wie Neuronen in biologischem Kontext funktionieren. Doch der Schritt zur Abstraktion fehlt noch. Die frühesten Modelle neuronaler Netze stammen noch aus den 40er Jahren. Zwei Mathematiker, McCulloch und Pitts, schlugen 1943 vor, ein Neuron als logisches Schwellwertelement zu beschreiben, was zwei mögliche Ausgangszustände besitzt. Ein solches Element besitzt L Eingangleitungen und eine Ausgangsleitung, die entweder aktiv oder inaktiv sein können. Ein Eingabesignal wird daher durch einen Vektor von L binären Signalkomponenten spezifiziert. Die synaptische Hemmung wird mitberücksichtigt und wird als Faktor von +/-1 zum zugeordneten Eingabesignal mutlipliziert. Die gewichteten Eingabesignale werden dann aufsummiert und mit einem neuronspezifischen Schwellwert verglichen. Ist er erreicht oder überschritten, feuert das Neuron, wird er unterschritten, bleibt es still.Der Ausgabewert y eines Neurons ist daher definiert als: wobei (x) = 1 für x >= 0 und (x) = 0 für x<0. Dieses Modell zeigte erstmals, das mit Hilfe von Neuronalen Netzen beliebige logische Operationen durchfühbar waren, beweisbar dadurch, das Spezialfälle der oben aufgeführten Formel als AND- und Invertergatter funktionieren und somit jede logische Operation durch sie repräsentierbar wird. Auch der moderne Ansatz eines mathemathischen Modells eines Neurons hat diese Fähigkeit noch. Nur ist in modernen Modellen die Verarbeitung innerhalb des Neurons nicht mehr an boolsche Werte gebunden, sondern ist nun vollständig analog, ganz nach dem Vorbild natürlicher Neuronen. Abb. 3: modernes Neuronenmodell. Links ist der Eingabevektor W, die Summe der Synapsengewichtungen wird in der Eingabefunktion in gebildet und dann über die Aktivierungsfunktion mit dem Schwellwert verglichen. Abb. 4: Abbildung boolscher Grundfunktionen über Neuronen Doch eine wichtige Eigenschaft neuronaler Netze fehlte: die Lernfähigkeit und nicht zuletzt die hohe Schadens- und Fehlertoleranz biologischer Netze. Das änderte sich erst, als der kanadische Neurophysiologe Donald Hebb eine wichtige Entdeckung machte. Er fand heraus, das die synaptische Hemmung oder Verstärkung des auf ein Neuron einwirkendes Signals keinesfalls statisch ist, sondern an sich variabel und abhängig von der Dauer und Häufigkeit des einlaufenden Signals. Sein Originaltext hierzu lautete: “Sofern ein Axon der Zelle A einer Zelle B nahe genug ist, um sie immer wieder zu erregen bzw. Dafür zu sorgen, das sie feuert, findet ein Wachstumsprozeß oder eine metabolische Veränderung in einer der beiden Zellen oder in beiden statt, so daß die Effektivität der zelle A, die Zelle B zu erregen, gesteigert wird.” (Hebb, 1949/1988, S.50) Diese “Hebbsche Lernregel” ist die Grundlage für Lernprozesse in Modellen neuronaler Netze. Sie besagt, daß ein Neuron eine Art Gewöhnungsprozess durchmacht. Wird eine Zelle über eine bestimmte Synapse sehr häufig stimuliert, steigt ihr Verstärkungs- oder Hemmungsfaktor, und die Zelle wird leichter über diese spezifische Synapse erregt. Die Hebbsche Lernregel hat als mathematische Eigenschaft in vielen Netzmodellen bis heute überlebt, obwohl sie experimentell bis heute nicht hundertprozentig nachgewiesen werden konnte. Eine ihrer einfachsten mathematischen Fassungen ist wi = * y(x) * xi für die Änderungsdifferenz der Synapsengewichtung wi eines Neurons unter einem Input x=(x1,x2,...xn). Dabei ist y(x) die Erregung eines Neurons und >0 ein Parameter, der die Größeordnung einer Änderung der Synapsengewichtung beschreibt. Neuronale Netzmodelle Als durch die Einführung mathematischer Modelle die computergestütze Simulation neuronaler Netze möglich wurde, entwickelten sich verschiedene weiterführende Verbundstrategien von Neuronen, die jeweils verschiedene Ansätze verfolgten, Lern- und Verarbeitungsprozesse zu implementieren. Ein sehr frühes Modell war das des Perzeptrons. Ein Perzeptron ist eine endliche Menge von N Neuronen, die jeweils eine für alle Neuronen fixe Menge von L Eingabeleitungen besitzen, die, wie üblich in der Arbeit mit Neuronalen Netzen, durch einen Eingabevektor mit L Elementen, genannt Eingabemuster, repräsentiert werden. Jedes Neuron r berechnet seinen Zustand über: Die Koeffizienten wri, für i = 1,2,...,L bestimmen das Verhalten von Neuron r, wie im letzten Kapitel angesprochen. Während der Trainingsphase passt dann jedes Neuron r seine Koeffizienten so an, das es auf “seine” Eingabeklasse Cr hin feuert und auf keine sonst. Dieses Vorgehen ist sehr einleuchtend und leicht zu analysieren. Doch hat es einige schwerwiegende Nachteile. So genügt für komplexere Aufgaben die Menge geeigneter Gewichte wri nicht, was den Einsatzbereich des Perzeptrons zum Beispiel in Aufgaben der Mustererkennung verhindert. Dieser Nachteil wurde dann aber durch die Einführung mehrschichtiger Netzmodelle überkommen. Diese Modelle zeichnen sich dadurch aus, das es eine Schicht von Eingabeneuronen gibt, eine Schicht von Ausgabeneuronen und eine endliche Menge von Zwischenschichten, deren Neuronen mit allen Neuronen der Vorgänger- und Nachfolgeschichten verbunden sind. Dieser Aufbau ermöglicht eine sehr viel höhere Erkennungsgenauigkeit und Abstraktionsfähigkeit des Netzes. Abb. 5: Dreilagiges Neuronennetz Grundsätzlich unterscheidet man zwei mehrschichtige Netztopologien: Feed-forward Netze: Die Eingabe wird von einer Schicht zur nächsten weitergereicht, bis sie die letzte erreicht. Ein Beispiel dieser Topologie wäre das Perzeptron. Rekurrente Netze: Neuronen können untereinander Zyklen bilden, das Durchschreiten des Netzes ist nicht mehr linear und somit nicht mehr leicht überschaubar. Rekurrente Netze sind kaum erforscht. Ein Beispiel dieser Topologie wäre das menschliche Gehirn. Lernen in neuronalen Netzmodellen Die Existenz der Hebbschen Regel ermöglicht es uns nun, mathematisch zu erfassen, wie Neuronale Netze lernen. Aber wie sieht es nun konkret in der Implementierung aus ? In der Einführung des Perzeptrons oder mehrschichtiger Netze ist lediglich erwähnt worden, das die Synapsengewichtungen extern zu variieren sind. Wie sie variiert werden, wurde nicht erwähnt. Grundsätzlich gibt es drei verschiedene Ansätze, was das Lernen in neuronalen Netzen angeht: • • • Überwachtes Lernen (supervised learning) Bestärkendes Lernen (reinforcement learning) Unüberwachtes Lernen (unsupervised learning) Überwachtes Lernen braucht einen externen Lehrer, der von sich aus die Synapsengewichtungen korrigiert. Hierzu speist der Lehrer verschiedene Referenzmuster in das Netz ein, beobachtet die Ausgabe und korrigiert dann die Gewichtungen so, das nach Wiederholung der Einspeisung die Ausgabe von sich aus korrekt ist, dies insbesondere auch bei ähnlichen Eingaben zwecks Generalisierung. Diese Methode ist die schnellste Lernmethode, da die Änderungen der Gewichtung zielgerichtet gegen den Fehler angewendet werden kann. Allerdings ist diese Lernmethode biologisch nicht plausibel, da im Idealfall das neuronale Netz sich selbst organisieren sollte. Als Beispiel für solche Netze sei das oben angesprochene Perzeptron zu nennen, das in der gezeigten Form keine Möglichkeit hat, sich selbst zu organisieren. Bestärkendes Lernen hingegen nutzen selbstorganisierende Netzmodelle, die minimale Einwirkung von außen benötigen. Der Vergleich zwischen Eingabemuster und Ausgabemuster erfolgt hierbei ebenfalls extern, die Gewichtungskorrektur jedoch wird durch das Netz selbst vorgenommen. Der Lehrer gibt hierbei nur ja/nein Antworten. Diese Lernmethode kostet natürlich viel mehr Zeit, da die Änderung der Gewichtungen nicht mehr so distingiert erfolgen kann, wie durch den externen Lehrer im vorigen Lernmodell. Dieses Modell ist biologisch schon plausibler, doch an die Realität kommt es trotzdem nicht sehr nah heran. Unüberwachtes Lernen ist die biologisch plausibelste Lernmethode. Netzmodelle, die eine solche Organisationsstruktur implementieren, sind vollständig selbstorganisierend. Es wird kein Lehrer mehr benötigt, das Lernen beruht auf einer fixen Trainingsmenge von Ein/Ausgabemustern, die nach einer unüberwachten Trainingszeit das Netz selbst zur Gewichtungskontrolle nutzt. Praktisches Beispiel von Neuronalen Netzen in der KI Zur bisherigen eher grundsätzlichen Betrachtung der Funktionsweise neuronaler Netze möchte ich nun noch ein konkretes Beispiel anführen, was mit diesem äußerst mächtigen Werkzeug der Informatik möglich ist. Als Grundlage dient hier ein mehrschichtiges Netzmodell, eine Eingabeschicht, eine Ausgabeschicht, mehrere Verarbeitungsschichten. Abb. 6: Eingabe/Ausgabemodell NN Als Problem nehmen wir uns ein biologisches heraus, die Mustererkennung. Die Eingabeschicht repräsentiert hier ein optisches Eingabegerät, möglicherweise ein Auge, die Ausgabeschicht zeigt das erkannte Muster. Abb. 7: Beispielmuster In den obigen Abbildungen erkennt unser biologisches neuronales Netz problemlos Krokodil, JFK, Bananen und Spinne. Die Netzhaut des menschlichen Auges, welches die Bildinformationen dieser Grafiken aufnimmt, besteht aus Sinneszellen, die einfachen Neuronen sehr ähneln. Sie reagieren auf photonische Stimulation bestimmter Frequenzbereiche und setzen diese in Nervenimpulse um, die über bekannte Abläufe in das Gehirn weitergeleitet werden. Dort werden sie verarbeitet und in Assoziationen umgesetzt. Die Netzhautzellen repräsentieren nun also unsere Eingabeschicht. Und im Gehirn sitz irgendwo ein Bereich von Neuronen, der das erkannte, das assoziierte Objekt repräsentiert, unsere Ausgabeschicht. Abstrahieren wir nun diesen Ablauf, so sehen wir, das eine bestimmte Konstellation erregter Neuronen in der Eingangsschicht, ein Neuron in der Ausgabeschicht erregen soll: Abb. 8: Eingabe/Ausgabemustererkennung Nach entsprechendem Training mit einer dem Problem entsprechenden Trainingsmenge (in einem entsprechend umfangreicheren Netz als in der obigen Grafik) sind wir nun in der Lage, komplexe Muster zu erkennen, ein Prozeß, der in der Informatik eines der anspruchsvollsten Themenbereiche ist. Aber dieses Netz wäre nicht nur in der Lage, Muster zu erkennen, es wäre auch in der Lage, innerhalb einer bestimmten Toleranzgrenze Fehler zu berücksichtigen und zu filtern: Abb. 9: Fehlertoleranz Neuronale Netze haben aber auch schwere Nachteile. Das Training zum Beispiel ist teilweise sehr aufwendig und komplex, dabei entstehende Fehler können sehr schwer zu finden sein, weil neuronale Netze wie eine Blackbox arbeiten. Sind sie trainiert, weiß man nicht genau, wie es arbeitet. War die Trainingsmenge zu klein, kommt es zu Abweichungen in der Ausgabe, weil die Abstraktionsfähigkeit des Netzes nicht ausreicht, benutzt man ein zu großes Netz, kann das Netz alle gelernten Entscheidungen treffen, aber durch die Größe des Netzes sind alle Eingabedaten fest kodiert, so das keine Abstraktionsfähigkeit existiert. Neuronale Netze sind enorm mächtige Werkzeuge in Prozessen, die sonst komplexe Algorithmen erforden würden, die zum größten Teil so noch nicht einmal existieren. Ihre Abstraktionsfähigkeit und Fehlertoleranz sind die Gründe, warum sie heute einen sehr wichtigen Teil in der Forschung nach künstlicher Intelligenz spielen und deshalb kaum noch wegzudenken sind. Literatur Ritter, Helge: Neuronale Netze : eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke, Addison-Wesley, 1990 Spitzer, Manfred: Geist im Netz: Modelle für Lernen, Denken und Handeln. Berlin: Spektrum, Akad. Verl., 1996
