Computer Computer

← Computer
Computer →
Julien Wolf
30. Mai 2005
Seminararbeit am St.-Raphael-Gymnasium Heidelberg
Vorwort
Die IT-Branche beeindruckt uns immer wieder mit den rasant voranschreitenden Leistungen der neuesten Elektronengehirne – bald, so die Befürchtung, werden unsere Siliziumchips intelligenter sein als wir selbst, die Krone der Schöpfung. Doch zu dieser
Furcht besteht noch lange kein Anlaß: auch moderne Computer sind schon im Vergleich
zum Gangliensystem eines Wurms noch sehr dumm“, wenn es um eigenständiges Den”
ken geht: sie können nur durch ihre massive Rechenleistung punkten. Ansonsten sind sie
jedoch auf die Kunstfertigkeit ihrer Programmierer angewiesen – und so wiederum auf
deren Hirnmasse.
Wo liegen die entscheidenden Unterschiede, die es es sogar unseren Hochleistungsrechenzentren unmöglich machen, die Abläufe unsereres Gehirns zu verstehen oder nachzuahmen oder gar zu verbessern?
Und wie kann die Technologie“ des Gehirns eingesetzt werden, um beispielsweise die
”
Computersysteme der Zukunft intuitiver und leistungsfähiger zu gestalten?
Inhaltsverzeichnis
1 Rechnen mit 0 und 1
1.1 Binäre Logik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Technische Realisation . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Neuronales Denken
2.1 Neuronen . . . . . . . . . . . . . . .
2.2 Neuronale Netzwerke . . . . . . . . .
2.2.1 Struktur . . . . . . . . . . . .
2.2.2 Lernen auf neuronaler Ebene .
3 Das
3.1
3.2
3.3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
8
10
10
15
16
17
Siliziumgehirn?
19
Computersimulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Künstliche Neuronale Netze in der Informatik . . . . . . . . . . . . . . . 20
Nachahmung auf physikalischer Ebene . . . . . . . . . . . . . . . . . . . 20
Ausblick
22
Grenzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
. . . und Möglichkeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4
Abbildungsverzeichnis
1.1 Halbaddierer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Volladdierer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
8
2.1 Neuron im Kontext des Gehirns . . . . . . . . . . . . . . . . . . . . . . .
2.2 Synapse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Vielfalt der Nervenzellen . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
13
14
3.1 Ein Hagen-Chip . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
5
1 Rechnen mit 0 und 1
Bevor sich das Augenmerk auf das Gehirn richtet, sollten noch einige Feststellungen über
die Architektur des herkömmlichen“ Computers gemacht werden, mit der im Folgenden
”
immer wieder Vergleiche angestellt werden.
Was, außer Tastatur und Maus, macht eigentlich den PC aus? Beim Einkaufen schauen
wir vor allem auf die inneren Werte, auf den Prozessor (CPU) und die verschiedenen
Speicher , Prozessorcache, Arbeitsspeicher und Festplatte. Speicher- und Recheneinheit
sind sowohl räumlich als auch strukturell voneinander getrennt. Dieser modularisierte
Aufbau des Rechners liegt im Grundprinzip der digitalen Datenverarbeitung, mit dem
wir uns im Folgenden beschäftigen werden.1
1.1 Binäre Logik
Die Digitaltechnik kennt für elektronische Schaltelemente formal betrachtet nur zwei
Zustände: ein“ und aus“, wahr“ und falsch“, 0 und 1, viel“ und wenig“ einer meß”
”
”
”
”
”
baren Eigenschaft. Der Halbleitertechnik ermöglicht dieses System eine extreme Simplifizierung der kleinsten Komponenten, die dafür jedoch in großer Zahl vorhanden sein
müssen.In diesem primitiven Zahlenraum des Computers eine Addition von Ganzzahlen zu realisieren, erfordert schon eine Reihe von komplizierten Verknüpfungen dieser
Schaltelemente (s. u.).
Da diese logischen Grundeinheiten nur wenige Eingaben (meist zwei) zu einer Ausgabe
weiterverarbeiten können, muß das Problem in kleinste Teile zerlegt werden. Die theoretische Basis dafür liefert die Boolsche Algebra, indem sie Rechenregeln für das Arbeiten
mit nur zwei diskreten Zuständen angibt. So sind beispielsweise diese Grundoperatoren
definiert:
• AND: ergibt einen wahren Wert, wenn beide Eingaben wahr sind
• OR: das Ergebnis ist wahr, wenn mindestens eine seiner Eingaben wahr ist
1
6
Schwerpunkt dieser Arbeit sind die Grundprinzipien im Kleinen; für eine strukturelle Betrachtung
des Computers (Turing-Maschine etc.) ziehe man die Seminararbeit von Jonas Wildermuth heran
1.1 Binäre Logik
• NOT: die Ausgabe ist das Gegenteil der Eingabe
• XOR: ist nur wahr, wenn genau eine der Eingaben wahr ist
Durch Verknüpfung solcher logischen Einheiten entsteht ein ausgeklügeltes System zur
rechnerischen Verarbeitung exakt vorgegebener Eingangswerte. Jedes einzelne Glied in
dieser komplizierten Kette, von der Eingabe bis zur Ausgabe, muß korrekt funktionieren,
sonst wird das Ergebnis nicht einmal mehr näherungsweise genau sein.
Abbildung 1.1: Schaltkreis des Halbaddierers [Wik ]
Als Beispiel für den Einsatz dieser Grundidee im konkreten Anwendungsfall soll hier
die Funktionsweise des Addierwerks moderner Mikroprozessoren dienen,
zunächst am vereinfachten Fall der Addition zweier Bits. Eine solA B S C
che Schaltung wird als Halbaddierer (Abb. 1.1) bezeichnet; im Ge0 0 0 0
gensatz zum Volladdierer kann er nicht mit Überträgen aus voran1 0 1 0
gegangenen Rechnungen umgehen. An den Punkten A und B wird
0 1 1 0
jeweils ein Bit (entweder 0 oder 1) eingegeben, als Ergebnis erscheint
1 1 0 1
dann an S die Summe von A und B, und an C (von englisch “carry”)
der eventuell erforderliche Übertrag. Das XOR-Gatter (in Abb. 1.1 das obere der beiden
Gatter) sorgt dafür, daß S nur dann wahr (also gleich 1) ist, wenn nur eins der beiden
Eingabebits 1 ist. Sind beide 0, so muß auch S 0 sein, sind beide 1, muß S ebenfalls 0
sein, da das Ergebnis – nämlich 2 – dann im Übertrag erscheinen muß.2 Für den korrekten Wert des Übertrags C sorgt das AND-Gatter, indem es C nur dann 1 werden läßt,
wenn A und B beide den Wert 1 haben.
Ein Volladdierer (Abb. 1.2) entsteht durch Verknüpung zweier Halbaddierer: über die
XOR-Gatter wird ohne Berücksichtigung des Übertrags die Summe von A und B berechnet und dann der Übertrag, der am Eingang Ci (“carry-in”) vorliegt, aufaddiert. Die
beiden AND-Gatter stellen fest, ob für eine der beiden Additionen ein Setzen des Übertragsbits erforderlich ist; gibt mindestens eins der Gatter einen wahren Wert zurück, so
2
Zur Erinnerung: alle Rechnungen finden im Binärsystem statt!
7
1 Rechnen mit 0 und 1
Abbildung 1.2: Volladdierer; die einzelnen Halbaddierer sind in unterschiedlichen Farben
markiert (nach [Wik ])
setzt das OR-Gatter – einziger neuer boolscher Operator im Volladdierer – das Ausgangsbit Co (“carry-out”) auf 1.
Indem mehrere dieser Volladdierer so nebeneinandergeschaltet werden, daß sie den
Übertragswert des rechten Nachbarn“ berücksichtigen, können auch Binäradditionen
”
mehrstelliger Zahlen durchgeführt werden. [Wik , Wik ]
1.2 Technische Realisation
Basis der modernen Prozessortechnologie ist die extreme Miniaturisierung des Transistors, der als elektronisches Bauteil die Fähigkeit besitzt, seinen Widerstand (und
damit den Stromfluß) abhängig von der an einer dritten Elektrode anliegenden Spannung zu ändern. Die Schalteigenschaften eines Transistors werden in der Digitaltechnik
ausgenutzt, um auf Basis zweier elektrischer Zustände (“high” und “low”, bezogen auf
Spannung und Stromstärke) boolsche Operatoren zu implementieren.
Moderne Mikroprozessoren enthalten viele einzelne spezialisierte Schaltkreise, die über
bestimmte, vom Prozessortyp abhängige Befehlssätze angesteuert werden. So bieten sie
für viele spezifische Rechenoperationen wie z. B. die Multiplikation von Fließkommazahlen eine sehr gute Hardwareoptimierung.
8
1.2 Technische Realisation
Der genaue Ablauf dieser Operationen wird durch Programme gesteuert, die dem
Prozessor Instruktionen zur Bearbeitung übergebener Binärdaten geben. Die Rechener”
gebnisse“ werden dann wieder an die Speichereinheit ausgegeben. So entsteht ein reger
Datenverkehr zwischen den einzelnen Modulen des Computers, der einer minutiösen
Regelung durch speziell abgesicherte Protokolle bedarf, und damit auch zu Leistungseinbußen führt.
In dieser stark durchkonzipierten Architektur – selbst das relativ Einfache Beispiel
der Binäraddition der herkömmlichen Rechner liegt dann auch ihre größte Schwäche:
sie besitzen eine sehr geringe Fehlerresistenz beispielsweise hinsichtlich falscher Speicherzugriffe, die oft zu unvorhersehbarem Verhalten des selbstgeschriebenen Programms
führen können. Obwohl diese Schwächen heute teilweise überwunden zu sein scheinen
– das Grundprinzip ist unverändert: ein Computer wird immer nur das tun, wofür er
programmiert wurde. Für die Exaktheit, die nur ein Computer zu bieten hat, zahlt man
den Preis eines immer größeren Organisationsaufwandes.
9
2 Neuronales Denken
Seine überragende Leistung bezieht das Gehirn aus seiner
biologischen, durch die Evolution ständig verbesserten Architektur: Schalteinheiten sind die Neuronen, spezielle
Körperzellen, die auf die Verarbeitung elektrischer Signale
spezialisiert sind: durch ihr Zusammenwirken in neuronalen Netzen entfalten sie zusammen ihre Wirksamkeit
und gleichen die Mängel aus, die sie gegenüber einem har”
ten“ Siliziumchip immer noch haben: die Laufzeit der Signale ist vergleichsweise lang,
da sie auf chemischen Prozessen beruht, auch liegt die Taktfrequenz unseres Gehirns
mit höchstens etwa 100 Hz weit unter der eines modernen Desktop-Prozessors (z. B. mit
3 GHz).
Ihr Trumpf ist die hohe Parallelität – während unsere Computerarchitekturen Befehle sequentiell abarbeiten, finden in neuronalen Netzen viele miteinander verknüpfte
Aktivitäten parallel so statt, daß sich am Ende das gewünschte Rechenergebnis aus diesen Teilvorgängen zusammensetzen kann. Genau das macht unser Gehirn so komplex,
und das Verständnis seiner Denkweise“ so schwer.
”
Dieses Kapitel befaßt sich mit den Grundprinzipien neuronalen Denkens, um zu verstehen, was hinter den enormen Leistungen des Gehirns stecken könnte.
2.1 Neuronen
Neuronen stellen als organische Transistoren“ die Grundlage für sämtliche Denkprozesse
”
im menschlichen Gehirn dar: obwohl diese Zellen stark differenziert sind, läßt sich über
ihren grundlegenden Aufbau einiges feststellen. Von außen betrachtet sind sie kleine
Recheneinheiten die mehrere Eingangssignale in Form elektrischer Impulse erhalten und
daraufhin einen Output generieren – oder auch nicht, je nach Beschaffenheit des Inputs.
Neuronen arbeiten nach dem Reizschwellengesetz, d. h. sie feuern“ erst, wenn die
”
Eingangssignale einen gewissen Grenzwert überschritten haben. Dabei muß auch die
zeitliche Auflösung der Signale berücksichtigt werden, da die Bedeutung einer dichten
10
2.1 Neuronen
Abbildung 2.1: Neuron im Kontext des Gehirns [Chu , 40]
Impulsfolge stärker ist als die einer losen. So erweisen sie sich als besonders fehlertolerant
und können effizient mit bedeutungslosem Rauschen umgehen.1 Dieses Prinzip ist tief
im biochemischen Aufbau der Nervenzellen verwurzelt. [Chu , 17 ff.]
Im Zellinneren herrscht eine hohe Konzentration von K+ -Ionen, während außen ein
Übergewicht an Na+ -Ionen herrscht. Durch dieses osmotische Konzentrationsgefälle der
K+ -Ionen im Inneren der Zelle diffundieren diese durch die Membran nach außen und
sorgen so für ein elektrisches Potential von etwa −60 bis −90 mV (von innen nach außen
betrachtet). Dieser Zustand wird durch Membranpumpen unterstützt, die K+ -Ionen dem
Konzentrationsgefälle entgegen ins Zellinnere befördern und Na+ aus dem Zellinneren
1
In der biologischen Realität führen die einzelnen Neuronen je nach ihrem Einsatzgebiet sogar schon
recht komplexe logische Operationen (u. a. Lineare Addition, Analog-Digital-Konverter) auf den
Eingangssignalen durch (vgl. hierzu auch [Chu , 45]. Dennoch ist dieses Prinzip mit gewissen
Abwandlungen allen Nervenzellen gemein
11
2 Neuronales Denken
entfernen. In der anderen Richtung, also in die Zelle hinein, ist die Membran für Na+ Ionen solange undurchlässig, bis die Potentialdifferenz (die ja auch von dem gesamten
elektrischen Zustand des Zellkörpers abhängig ist) einen bestimmten Schwellwert unterschreitet und so das Ruhepotential 2 ins Aktionspotential umschlägt. Bei Öffnung
der Membran für die Na+ -Ionen sinkt die Potentialdifferenz weiter ab, was wiederum eine
höhere Natriumdurchlässigkeit zur Folge hat. Die Potentialdifferenz schlägt sogar kurz
1
s strömen dann wieder K+ -Ionen
in einen positiven Bereich von ca. 30 mV um; nach 1000
nach außen und führen so zu einer Potentialabsenkung, die durch aktive Pumpprozesse in der Membran noch verstärkt wird. Das Aktionspotential macht also nur einen
Spannungsimpuls enorm kurzer Dauer aus; gleich danach herrscht an der betroffenen
Membran wieder das Ruhepotential.
Im Gegensatz zum digitalen Bit stellt das neuronale Aktionspotential keinen dauerhaften Zustand dar; deshalb ist der dargestellte Vorgang nicht zur direkten Speicherung
von Daten und damit Wissen geeignet (vgl. Abschnitt 2.2). [Imp, 45 ff.]
Die nach ihren jeweiligen Einsatzgebieten differenzierten Neuronen haben einen etwa
gleichen strukturellen Aufbau: Um den relativ klein gehaltenen Zellkörper (zum Speichern der Erbinformation und zur Energieversorgung), scheinen sich viele Fäden“ zu
”
gruppieren. Zu unterscheiden sind die Dendriten, die elektrische Impulse anderer Zellen aufnehmen und so das elektrische Potential in der gesamten Zelle verändern, und
das Axon, das die Ausgabe“ der Zelle an andere Neuronen weitergibt.
”
Die Dendriten sind durch Synapsen mit den Axonen anderer, oft weit entfernter Neuronen verbunden. An den Synapsen wird das elektrische Signal durch chemische Übertragungsmechanismen weitergegeben. Je nach Bauart der Synapse kann dieses Signal mit
positiver oder negativer Sinnrichtung übertragen werden – so wird die Bedeutung des
Signals für die Entscheidung der dahinterliegenden Nervenzelle gesteuert, die, sobald die
gewichtete Summe der Eingangspotentiale einen bestimmten Schwellwert überschreitet,
selbst einen elektrischen Impuls auslöst.
Synapsen kontrollieren die Konzentration von K+ , Na+ und Cl− -Ionen in der Zellfüssigkeit des benachbarten Neurons. Kommt ein Signal an einer Synapsen an, so setzten die
Vesikeln im synaptischen Kopf Neurotransmitter frei, die die Durchlässigkeit der
interzellulären Membran für bestimmte Ionenarten verändern. Bei erregenden Synapsen
werden die Kanäle am synaptischen Spalt für alle drei Ionenarten geöffnet, was zu einer Absenkung der Potentialdifferenz führt und so ein Aktionspotential begünstigt. Bei
hemmenden Synapsen führt eine Durchlässigkeit ausschließlich für K+ und Cl− -Ionen zu
2
Der Begriff Ruhepotential ist etwas irreführend, denn die ständig laufenden molekularen Pumpen in
der Zellmembran verbrauchen durchaus Energie
12
2.1 Neuronen
Abbildung 2.2: Synapse [Chu , 46]
13
2 Neuronales Denken
Abbildung 2.3: Diese Skizze aus [Chu , 42] zeigt die enorme Vielfalt der Nervenzellen
im menschlichen Gehirn
14
2.2 Neuronale Netzwerke
einer Verstärkung des Ruhepotentials in der dahinterliegenden Nervenzelle, deren Entscheidung so im negativen Sinne beeinflußt wird. Die Anordnung und Verbindungsstärke
der Synapsen ist ein Schlüssel zum Verständnis des Rechners“ Gehirn.
”
Soweit der noch relativ einfache Grundgedanke. Die chemischen Membranvorgänge
werden jedoch je nach Spezialisierung der Nervenzelle auch für kompliziertere Operationen genutzt, die so in einem Rechenschritt durchgeführt werden können. diese aus
der Evolution hervorgegangene enorme Spezifizierung ist auch mit modernsten Mitteln
kaum nachzuahmen. [Imp, Chu ]
2.2 Neuronale Netzwerke
Formal betrachtet verarbeitet ein neuronales Netz einen Eingabevektor3 zu einem Ausgabevektor üblicherweise gleicher Länge. Aufgebaut ist es aus mehereren Knoten, die
über gewichtete Kanten4 miteinander verbunden sind. Man kann also Erkenntnisse aus
der Graphentheorie 5 auch auf neuronale Netzwerke anwenden.
Im Gegensatz zum ausschließlich eine lineare Abfolge von Befehlen entgegennehmenden Computer besitzt ein neuronales Netz die Fähigkeit zu lernen. Hier unterscheidet
man das relativ einfache Lernen mit Kontrolle von außen und das selbständige Lernen –
beide Formen treten auch im menschlichen Gehirn auf, wenn auch wesentlich komplexer
(so lernen wir aus den Ergebnissen der von uns veranlaßten Handlungen und besitzen
gleichzeitig die Fähigkeit, diese Erkenntnisse zu abstrahieren).
Die stark durchdachte und festgelegte Struktur unserer modernen Rechnerarchitekturen erweist sich mittlerweile oftmals als ineffizient. Neuronale Netze sind prinzipiell
anders konstruiert, Daten werden nicht statisch und damit unabhängig vom Rechner
gespeichert, sondern sind unzertrennbar mit dem dynamischen System eines neuronalen
Netzes verbunden (in der Modellvorstellung in Form erlernter Kantengewichtungen). Die
große Fehlertoleranz neuronaler Systeme ist auf ihren demokratischen“ Aufbau zurück”
zuführen – die Entscheidungsoption, für die am meisten Neuronen aktiv sind, wird auch
als Ergebnis zurückgegeben – und ergibt sich aus der stark parallelisierten Funktionsweise des Netzes. Ebenfalls sehr praktischer“ Nebeneffekt dieser Parallelität ist die hohe
”
3
Ein Vektor ist in diesem Kontext eine lineare Anordnung von Datenwerten
durch diese werden die Synapsen beschrieben, die für ihre Nervenzelle die Bedeutung (Gewichtung)
des eingehenen Signals steuern können
5
Die Graphentheorie beschreibt netzartige Strukturen (von U-Bahn-Netzen bis zu Leiterplatinen)
durch Knoten und (u. U. gewichtete Verbindungen zwischen diesen. Im Zusammenhang mit neuronalen Netzwerken wird das Rechnen mit gewichteten Kanten wichtig, die den logischen Zusammenhang
des Netzes differenziert beschreiben können
4
15
2 Neuronales Denken
Skalierbarkeit, da eine zentrale Regelung (z. B. beim Prozessor durch einen Taktgeber,
der die Schaltfrequenz aller Transistoren synchronisieren muß) entfällt.
Erst die dezentrale Regelung verleiht dem Gehirn seine erstaunliche Flexibilität, mit
der es sogar Systemfehler kleinen bis mittleren Ausmaßes – wie den Tod eines Neurons6
– schnell und ohne merklichen Funktionsverlust ausgleichen kann. Selbst Patienten mit
Kopfverletzungen können so zumindest teilweise die Fähigkeiten wiedererlangen, die
ihnen durch die Beschädigung des Gehirns verlorengegangen sind. Prozessoren der digitalen Welt stehen im krassen Gegensatz dazu, schon der Ausfall eines der Milliarden
Transistoren kann die ganze Recheneinheit unbrauchbar machen.
Als Informationsträger bietet eine zeitliche Abfolge elektrischer Impulse wesentlich
mehr Codierungsmöglichkeiten als eine schlichte Abfolge von Bits (also genau zwei diskreten Zuständen), und ermöglicht eine differenziertere Kommunikation der Nervenzellen, deren hochparalleles Arbeiten sich auch in der enormen Verbindungsdichte der
einzelnen Neuronen manifestiert: etwa 1012 Neuronen stehen im Gehirn 1015 Synapsen
gegenüber; Untersuchungen an der Großhirnrinde von Affen und Katzen belegen eine
Zahl von 4 120 Synapsen pro Neuron [Chu , 51]. Diese Eigenschaften sind wohl am
bedeutsamsten, wenn es darum geht, die Leistungsfähigkeit des Gehirns zu erklären, die
es beim Verarbeiten der Millionen Sinneseindrücke, die es jede Sekunde erreichen an den
Tag legt. [Chu , Imp]
2.2.1 Struktur
Aufgrund ihres Aufbaus unterscheidet man zwei grundsätzliche Arten von neuronalen
Netzen:
• Feedforward Networks, die in verschiedenen Ebenen organisiert sind. Ausgehend von der Input-Ebene erhalten alle Neuronen der folgenden Ebene von jedem
Neuron der darunterliegenden Signale übergeben. Diesen Kanten (in der Graphendarstellung des neuronalen Netzes) ist jeweils eine bestimmte Gewichtung zugewiesen, durch die gegenseitige Beeinflussung der Neuronen präzise zu steuern ist.
Die Neuronen führen also eine gewichtete Addition durch. Die Signale wandern
hierbei nur in eine Richtung: zum Ausgabevektor.
• Bei Recurrent Networks sind diese Regeln aufgelöst: die Information wandert
zwar immer noch von der Eingangs- zur Ausgabeebene, doch bestehen auch rekursive und rückwärtsgerichtete Bezüge zwischen den Neuronen.
6
Schon nach den ersten Lebensjahren wachsen kaum noch Neuronen nach, sie sterben im Normalfall
nur noch langsam ab
16
2.2 Neuronale Netzwerke
Diese Unterscheidung beim Studium neuronaler Netzwerke ist sehr bedeutend, da
Feedforward Networks sehr viel schneller zu realisieren und nachzuvollziehen sind
als Netzwerke, deren interne Rückbezüge eine formale Betrachtung erschweren.
2.2.2 Lernen auf neuronaler Ebene
Die Lernmechanismen komplexer neuronaler Netze stellen auch weiterhin noch ihr größtes
Geheimnis dar: viel Forschungsarbeit wird heutzutage in die Lernforschung investiert,
zufriedenstellende Forschungsergebnisse, welche erklären können, nach welchen Gesetzen
das Lernen im Gehirn abläuft, liegen jedoch nicht vor, da hierauf sehr viele komplexe
Vorgänge einen Einfluß ausüben. Bekannt ist jedoch, daß das Gehirn im Gegensatz
zum Siliziumchip keine feste Verdrahtung hat, sondern seine Gestalt ständig dynamisch
verändert, indem die Verbindungsstärke der Synapsen modifiziert wird und neue Verbindungen entstehen. [Mpg ]
Auf theoretischem Gebiet wurden jedoch schon beträchtliche Erfolge erzielt, indem
Funktionen des menschlichen Gehirns durch künstliche neuronale Netze nachgebaut wurden. Beispiele hierfür sind das räumliche Sehen oder die Umsetzung von geschriebenen
Wörtern in Phoneme (zur anschließenden Aussprache) [Chu , 119].
Lernen bedeutet bei neuronalen Netzen einen Prozeß, der das durch Erfahrung“ er”
worbene Wissen“ in Kantengewichte umsetzt und es in dieser Form speichert.
”
von außen
Formal betrachtet stellt ein neuronales Netz eine mathematische Funktion dar, indem es
einen Eingabevektor durch eine Reihe von Operationen in einen Ausgabevektor umformt.
Das Trainieren eines neuronalen Netzes bedeutet unter dieser Betrachtungsweise, die
Funktion so lange zu verändern, bis sie sich an eine Reihe von vorgegebenen Werten so
nah wie möglich annähert. Es handelt sich also um eine Funktionsanpassung, angewandt
auf den Sonderfall eines neuronalen Netzes. Die Theorie der Künstlichen Neuronalen
Netze hat dafür eine Vielzahl von Methoden entwickelt; am häufigsten wird der Backpropagation-Algorithmus verwendet, der den jeweiligen Fehler durch Veränderung der
Verbindungsgewichte minimiert. Vorteil des externen Lernens sind exaktere Ergebnisse
beim Einsatz des Netzwerks, diese Lernmethode ist jedoch nur nutzbar, wenn bereits
Daten zur Verfügung stehen, um dem neuronalen Netz den richtigen Weg zu zeigen“.
”
17
2 Neuronales Denken
selbstgesteuert
Selbstgesteuertes Lernen verfolgt einen anderen Ansatz: es wird nicht mehr der Fehler
in Bezug auf ein richtiges“ Ergebnis betrachtet, sondern das Netz stellt selbständig
”
eine Vorhersage für den nächsten Eingabevektor auf und vergleicht diesen mit den dann
tatsächlich eintreffenden Werten. Um die Genauigkeit der Vorhersage zu steigern, werden
die Gewichte der Verbindungen im Netz neu ausgerichtet. Dieses Verfahren ermöglicht
ein absolut selbständiges Arbeiten des neuronalen Netzes, geht jedoch zu Lasten der
Genauigkeit und Effizienz.
18
3 Das Siliziumgehirn?
Es wurden bereits verschiedene Versuche unternommen, das Prinzip neuronalen Rechnens in die Welt der Computertechnik zu transferieren. Die Ziele reichen vom Versuch,
ein besseres Verstandnis des Gehirns durch die Simulation seiner Denkvoränge zu erreichen, bis hin zur KI-Forschung. Künstliche Neuronale Netz auf Softwarebasis sind
bereits in der OCR1 in Einsatz, und in (noch wie ferner?) Zukunft sollen elektronische
Schaltkreise, die Neuronen und ihr analoges Rechnen nachahmen die enorme Datenflut
physikalischer Experimente erfassen (was die Tatsache erklärt, das ein solches Projekt
gerade am Heidelberger Kirchhoff-Institut für Physik vorangetrieben wird). [Sch ]
Doch das ist derzeit eher noch als Zukunftsmusik zu betrachten; bis die ersten wirklich
leistungsfähigen Neurochips in Erscheinung treten, können noch einige Jahre vergehen.
3.1 Computersimulation
Der Ansatz der Computational Neuroscience verfolgt das Ziel, die medizinischen
Eigenschaften des Gehirns besser verstehen zu können, strebt aber keine komplette Simulation des menschlichen Gehirns an, da eine derart exakte Simulation selbst kleiner
Bereiche des Gehirns2 die Rechenkapazitäten selbst der modernsten Rechner übersteigt.
Und selbst wenn dies einmal gelänge, wird man immer noch enorme Schwierigkeiten
haben, diese Ergebnisse zu deuten.
Für einzelne Neuronen läßt sich ein Ersatzschaltkreis entwickeln, dessen Verhalten mit
den üblichen Methoden zur Elektroniksimulation zu untersuchen ist. Durch Testen der
Aktivität dieser virtuellen Netzwerke anhand von zufälligen oder realen Eingangssignalen
erhält man ähnliche Werte, wie sie beim tatsächlichen Nachmessen zustande kommen.
Diese Art der Simulation wird genau dann sinnvoll, wenn es um schwer zugängliche
Bereiche des Gehirns geht, die wegen der Ungenauigkeit der aktuellen bildgebenden
Verfahren anders kaum zu erfassen sind. [Gen ]
1
2
Optical Character Recognition – Texterkennung
deren Sinn ohne die Verbindung mit anderen Hirnregionen wiederum fragwürdig ist
19
3 Das Siliziumgehirn?
3.2 Künstliche Neuronale Netze in der Informatik
Die formalen Betrachtungsweisen für neuronale Netze, die im Kapitel über neuronale
Netze erläutert wurden eignen sich recht gut für die Implementation in einer der gängigen
Programmiersprachen. Dies hätte den Vorteil, daß man die Ergebnisse gut in bestehende
Software einbinden könnte. Dennoch ist der entscheidende Vorteil neuronaler Netze, die
Fehlerresistenz, auf einem Computersystem – das über diese Eigenschaft nicht verfügt –
schwierig zu implementieren. Auch geht die Implementierung in einem digitalen System
zu Lasten der möglichen Performance.
3.3 Nachahmung auf physikalischer Ebene
Die analoge Rechenweise von neuronalen Netzwerken versucht man in vielen Projekten
[Sch ] auch in Form von Chips nachzubauen, die im Vergleich zur digitalen Bauweise
eine Bessere Leistung erbringen können. Hier stehen sie mt im Rennen um die Computertechnologie der nächsten Jahre: wie kann die Rechenleistung gesteigert werden, ohne
daß die Abwärme überproportional zunimmt?
Im Hagen-Projekt am Kirchhoff-Institur für Physik in Heidelberg sind schon solche
Neurochips realisiert worden, die über eine digitale Schnittstelle mit herkömmlichen
PCs kommunizieren können und so äquivalent zur 3D-Karte als Logikbeschleuniger“
”
eingesetzt werden könnten, wenn die Technologie einmal Marktreife erreicht.
Abbildung 3.1: Ein Hagen-Chip [Kip ]
20
3.3 Nachahmung auf physikalischer Ebene
Zur Zeit kann ein solches neuronales Netz aus Silizium bei entsprechender Ansteuerung
z. B. aus einer handgemalten Zeichnung ein Verkehrsschild erkennen – auch hier wieder
ein Anwendungsbereich für Neurochips.
Die technische Realisierung beruht hier nicht auf einer exakten Simulation neuronaler Vorgänge, es geht vielmehr darum, das Reizschwellenprinzip des Gehirns und das
analoge Rechnen eines neuronalen Netzes in einem handlichen Bauelement zu verwirklichen. Das bedeutet eine Synthese der herkömmlichen Technik der Chipherstellung (die
mit den modernen Mikroprozessoren eine sehr hohe Entwicklungsstufe erreicht hat) mit
den Rechengesetzen neuronaler Netzwerke, durch die sich bestimmte Klassen von Problemen, vor allem im Bereich der Mustererkennung, wesentlich effizienter lösen lassen.
Die Möglichkeiten des Transistors werden hier weiter ausgeschöpft, indem nicht nur
zwei diskrete Schaltzustände verwendet werden, sondern der ganze fließende Verlauf der
Kennlinie für Berechnungen berücksichtigt wird.
21
Ausblick
Grenzen
Auf keinen Fall sollte man der Täuschung verfallen, daß durch aktuelle Forschungen
in diese Richtung bald das Gehirn als Sitz unserer Persönlichkeit entschlüsselt und gar
erstetzt oder verbessert werden kann. Trotz aller Fortschritte, wird die Technik angesichts
der enormen Komplexität des menschlichen Gehirns als biologisches System (dessen
Verständnis das Wissen aller naturwissenschaftlichen Disziplinen erfordert) an einem
Nachbau des Gehirns scheitern müssen.
Der Einsatz Künstlicher Neuronaler Netze sollte als Ergänzung zum herkömmlichen
Computer verstanden werden, da aufgrund der jeweils unterschiedlichen Grundprinizipien keins der Systeme das andere in absehbarer Zeit komplett ersetzen können wird.
. . . und Möglichkeiten
Durch den Einsatz von Systemen, die sehr effektiv selbst lernen, könnten sich viele Aufgaben der modernen Informationstechnik erheblich vereinfachen. Der Desktop-PC wird
sich möglicherweise immer weiter in Richtung des mitdenkenden Computers entwickeln,
der dem Menschen nicht nur bei bloßen Rechenaufgaben wirkungsvoll helfen kann. Hier
ist vor allem die Mustererkennung zu nennen, in der die aktuelle Entwicklung bald sehr
effiziente OCR- und Spracherkennungssysteme hervorbringen wird.
22
Literaturverzeichnis
[Wik ]
http://de.wikipedia.org: Artikel zum Thema Halbaddierer, Volladdierer.
[Wik ]
http://en.wikipedia.org: Artikel zum Thema Adder (Electronics).
[Chu ] Patricia S. Churchland, Terrence J. Sejnowski, The Computational Brain.
MIT Press, 1992
[Imp]
Impulse Physik 2 – Signal-Wandlung und -Verarbeitung. Klett, ISBN 3–12–
772561–2.
[Mpg ] MaxPlanckForschung, S. 19–42. Ausgabe 1/2005.
[Sch ] Johannes Schemmel, Felix Schürmann, Steffen Hohmann, Karlheinz
Meier, An Integrated Mixed-Mode Neural Network Architecture for Megasynapse ANNs. Heidelberg, 2002.
[Gen ] The Book of Genesis, 2003. Das Buch ist mittlerweile auf
http://www.genesis-sim.org/GENESIS/iBoG/index.html frei verfügbar
(Stand: 29. Mai 2005)
[Wik ]
http://upload.wikimedia.org/wikipedia/commons/7/71/ALU half
adder.png (27. Mai 2005)
[Wik ]
http://upload.wikimedia.org/wikipedia/commons/7/71/ALU full
adder.png (29. Mai 2005)
[Kip ]
http://kip.uni-heidelberg.de (28. April 2005)
23
Selbständigkeitserklärung
Ich versichere hiermit, daß ich die vorliegende Arbeit in allen Teilen selbständig angefertigt habe.
Die Stellen, die wörtlich oder dem Sinn nach der Literatur entnommen sind, habe ich
gekennzeichnet.
Heidelberg, den 30. Mai 2005
24