3.   Ein kurzer historischer Überblick

3.1.  Einführung

Um sich mit solchen Themen wie Bewusstsein und Informationsverarbeitung, die sich speziell mit dem Gehirn und den KNN beschäftigen, ist auch die Geschichte der Entwicklungen aus diesen Bereichen eine Motivation. Die allgemeinen Vorstellungen von Mensch, Geist und Maschine haben sich häufig gewandelt. Da das Themenfeld viele Wissenschaftsdisziplinen umfasst, würde ein vollständiger historischer Überblick den Rahmen dieses Buches überschreiten. Aus diesem Grund wird nur auf einige wenige Schwerpunkte eingegangen.

Für die Inhalte dieses Buches sind die Bezüge bei der Entwicklung von Automaten, des Computers, der KNN und in diesem Zusammenhang die Verknüpfungen zur Hirnforschung wichtig. Natürlich sind auch diese Schwerpunkte sehr umfangreich. Deshalb können auch nur einige Konzepte benannt werden, wobei einige in den nachfolgenden Kapiteln weiter vertieft werden. Aus und über die Geschichte der behandelteten Themen ist die Anwendung, das Zusammenspiel und die Beeinflussung von verschiedenen Wissenschaften, deren Einfluss in den nächsten Ausführungen deutlich wird, zu erkennen.

Ausserdem unterliegen die Themen einer ständigen und rasanten Entwicklung, auch geradeweil sie stark aus vielen Wissenschaftsbereichen heraus betrieben werden. Übersichten, welche das Thema vertiefen findet man in der Fachliteratur, ein kleiner Querschnitt ist in dem Literaturverzeichnis zu finden.

3.2.  Frühe Vorstellungen

Schon seit den frühen Tagen der Menschheit wurde nach dem Verständnis des Denkens und des Begreifens gesucht. Die Erforschung der Natur und die Verwendung von Fakten und Phantasie, die diese Vorstellungen speisten, legten letztlich den Grundstein zur Entwicklung der Wissenschaften. Die Erkenntnisse der griechischen Philosophie, vgl. (Sch91) und (Rus05), die Gedanken von Sokrates, Plato, Aristoteles, Epikur und Demokrit sowie vieler anderer, welche zum Kern und dem Ursprung der heutigen modernen westlichen Denkvorstellungen zählen, sind der Ausgangspunkt für viele dieser Ideen. Abb. 3.1 zeigt die berühmten Denker, deren Namen heute fast jeder kennt. Natürlich haben die antiken Forscher nicht in den Ausdrucksweise der Gegenwart gesprochen, aber sie haben z.B. das Lernen als eine Funktion begriffen und Schulen begründet.

Auf dem Gebiet der Technologie wurde in der Antike von Automaten gesprochen, was im Griechischen soviel wie das sich selbst Bewegende bedeutet. Diese Automaten sollten als Vorrichtungen, nach Aristoteles, die damalige Hauptarbeitskraft, den Sklaven, überflüssig machen. Zu dieser Zeit wurden Sklaven nicht unbedingt als Menschen betrachtet. Mit diesen Automaten sollten also Leistungen von Menschen verstanden, verbessert oder verstärkt werden. In Grunde genommen sind z.B. die KNN nichts anderes als abstrakte Automaten, welche Denk- bzw. Lernvorgänge auf einem Computer nachzubilden versuchen.

Heron von Alexandrien baute bereits in der Antike einen Vorläufer der Dampfmaschine, vgl. Abb. 3.2 a, und schuf einen hydraulischen Automaten zum selbstständigen Bewegen von Tempeltüren, angedeutet in Abb. 3.2 b.

Archimedes benutzte seine Kenntnisse über die mathematischen und geometrischen Zusammenhänge auch zum Bau von Kriegsgeräten für der Verteidigung seiner Heimatstadt Syrakrus gegen die Römer. Allen diesen Einrichtungen war gemeinsam, dass sie nur mechanische Leistungen vereinfachten und Energie benötigten. Alle diese sogenannten Automaten entsprechen nach der Definition, wie man sie z.B. in (BV93) findet, eher den Maschinen.

Natürlich waren diese Ansätze noch nicht unmittelbar an den Vorgängen im menschlichen Gehirn orientiert, sie gingen eher von diesem aus. Diese Maschinen hatten nur ein festgefügtes Verhaltensmuster. Trotz der meist, aus Sichtweise der Gegenwart, einfachen Mechanik erschienen diese Apparaturen den damaligen Zeitgenossen als intelligente Automaten. Allerdings hatten sie nicht die Fähigkeit sich veränderten Bedingungen anzupassen. Weitere interessante Informationen und Zusammenhänge zu dem Wissen und der Technologie der Antike findet man in (Rus05).

Neben diesen ersten wissenschaftlichen Ansätzen bzw. Ursprüngen gibt es in vielen Völkern Märchen, Sagen oder Erzählungen über künstliche Wesen oder Kreaturen, die die Sehnsucht ausdrücken, dass die Menschen einem Schöpfer (oder Demirugen), im Guten oder im Bösen, ähnlich sind. Exemplarisch seien hier nur an die bekannten Geschichten über den Homunculus, den Golem und das Monster aus Frankenstein erinnert.

Der Homunculus (lat. kleiner Mensch) geht auf Theophrasus von Hohenheim, genannt Paracelsus zurück. Die Vermengung und die chemischen Reaktionen von Elementen sollten ein künstlichens Wesen erschaffen. Der Golem basiert auf einer alten jüdischen Legende aus dem Mittelalter. Es geht um einen Schutzpatron der Prager Gemeinde, der mit Hilfe der Künste des Rabbiner Löw zum Leben erweckt wurde.

Die Experimente von Luigi Galvani im 18. Jahrhundert, wo die elektrische Natur einer Nervenreizung nachgewiesen wurde, waren nicht nur für Entwickler, Forscher und andere Menschen ein weites Feld der Inspiration. In der Literatur wurde z.B. der Roman von Mary Shelly, vgl. (She95), über Dr. Frankenstein und dessen Monster berühmt. Im 20. Jahrhundert sind es Geschichten über elektrische Roboter. Der Begriff Roboter wurde von dem tchechischen Schriftsteller Karel Capek in seinem Theaterstück R.U.R um 1920 geprägt. Populär wurden Roboter durch Isaac Asimov’s Roboter-Erzählungen und Filme und Fernsehserien, wie Star–Trek oder Star–Wars.

Die zeitliche Abfolge der Entwicklungen, die letztlich in den Erkenntnissen zu dem Gehirn, den Computer und letztlich über die KNN mündeten, sind ein Querschnitt und ein Resultat aus den Erkenntnissen vieler Einzelwissenschaften. Im Mittelalter dominierten in Europa Dogmen, welche hauptsächlich durch die Kirche gestützt worden sind, die für die Entwicklung der Gedanken von Automaten eher hinderlich waren. In der Renaissance und in der Zeit der Aufklärung wurden viele Ideen der Antike wieder aufgegriffen und mit den neuen Erkenntnissen der Wissenschaften verbunden. Als Beispiel sollen nur die Maschinenpläne von Leonardo Da Vinci erwähnt werden.

Im 17. und im 18. Jahrhundert kam zu einer Blüte in der Herstellung von mechanischen Automaten. Geschichten über mechanischen Puppen von Hugo v. Hoffmansthal oder E.T.A Hoffmann erzeugten viel Aufsehen. Es wurden Maschinen zum automatischen Abspielen von Musik und zum Schachspielen entwickelt und gebaut. Die Abb. 3.5 zeigt zwei bekannte Beispiele. Dieses zunächst mechanistische Denken hatte ihre Ursache in den damaligen Stand der Erkenntnisse der Wissenschaft, basierend auf deren Erkenntnissen, z.B. von Isaac Newton über die Schwerkraft und von Galileo Galilei zur Mechanik und Optik.

Die Abb. 3.5 a zeigt die mechanische Ente von Vaucanson. Diese Maschine geht auf einen mechanistischen Ansatz von La Mettrie, vgl. (dLM88), zurück. Nach diesem Denkansatz muss man die Automaten nur geeignet verbessern um die Fähigkeiten von Menschen zu erreichen. Das Verständnis des Automaten als das mechanische Bild (besser Modell) galt als der Schlüssel, dass ein Mensch eines Tages nachgebaut werden könne. Der Schachautomat in Abb. 3.5 b war zwar eine gelungene mechanische Apparatur zur Bewegung von Schachfiguren, aber selbstständig konnte dieser „sogenannte“  Automat kein Schach spielen. Er hatte keine Einrichtung, mit welcher man das Schachspiel als intellektuelle Leistung automatisieren konnte. Die Leistungen des Automaten wurden somit noch über die neuronalen Netze des „integrierten“ Menschen erbracht.

3.3.  Rechenautomaten und Computer, ein Anfang

Ziel einer Automatenentwicklung war und ist es, neben der Betrachtung des Menschen als Automaten, bestimmte Fähigkeiten und Fertigkeiten zu verbessern oder zu ersetzen. Eine dieser wichtigen Fertigkeiten waren die immer wiederkehrenden Berechnungen, die im Handel oder den Wissenschaften zu erledigen waren. So waren es im Handel die Summation von Warenpositionen oder in der Astronomie die Berechnung von Planetenbahnen. Jeder kennt den Aufwand bei Rechnungen auf dem Papier, wenn man nicht die heutigen üblichen Hilfsmittel benutzt. Man wollte sie beschleunigen und vereinfachen.

Die Abb. 3.6 zeigt die frühen Hilfsmittel der Automation. Die Abb. 3.6 a zeigt das Rechenbrett, auf dem Steine entsprechend der Aufgabe verschoben werden. Seit der Antike ist der Abakus, die Abb. 3.6 c zeigt einen römischen Abakus, bekannt, dessen Ursprünge rund tausend Jahre vor unserer Zeitrechnung zurückgehen. Das Wirkprinzip ist in der Abb. 3.6 b angedeutet. Mit dem Abakus oder dem Rechenbrett kann man einfache Summationen, Verhältnisrechnungen und andere Werteberechnungen machen. In machen Teilen der Welt wird der Abakus auch noch heute verwendet, andere Abakusformen zeigt Abb. 3.6 d.

Im 17. Jahrhundert wurden einige mechanische Rechenmaschinen entwickelt, die die Kompliziertheit von Rechnungen vereinfachen sollten, vgl. Abb. 3.7. Man konnte die Pascaline für Buchhaltungszwecke einsetzen. Für die letzten beiden Stellen hatte sie eine nichtdezimale Teilung.

Abb. 3.8 zeigt die mechanische Staffelwalzmaschine für alle vier Grundrechenoperationen, die von Gottfried Wilhelm Leibniz gebaut wurde. Durch die Staffeln wurde ein wiederholtes Addieren möglich, so dass die Maschine auch Multiplizieren konnte.

Es wurde bereits die wissenschaftliche Entwicklung angedeutet. Im Rahmen der wachsenden Dynamik der Erkenntnissgewinnung gewann und gewinnt die Mathematik als die universelle Sprache, zumindest der Naturwissenschaften, an Bedeutung. Leibniz erkannte in der Mathematik die Leistungsfähigkeit des binären Zahlensystems, welche dann zur Grundlage der Digitalrechner wurden. Ebenfalls wurde dieser Ansatz unterstützt durch die Entwicklung der Aussagelogik durch George Boole, welcher sie als „Denkgesetze“ verstand.

Charles Babbage legte mit dem Konzept der „Difference Engine“, siehe auch Abbildung 3.9, die ersten Grundlagen für die Entwicklung von Automaten, welche wir heute als Computer kennen, vgl. (Hof88) und (Bab97, Kap. 5 bis 9).

Der Vorteil der „Difference Engine“ war, dass ihre Funktionen durch ein Progamm bestimmt wurden. Diese Konzept entwickelte Babbage weiter zur „Analytical Engine“. Leider hat er diese Konzepte nie selbst in die Tat umgesetzt. Die Nachbauten zeigten die Funktionstüchtigkeit dieser mechanischen Comuter. Mit der Automatisierung von mathematischen Prozessen, welche auch immer wieder an Grenzen stösst, liessen sich immer bessere Automaten, speziell Rechenautomaten, bauen.

Dieser kurze Abstecher in die frühe Computergeschichte verdeutlicht, dass diese Ansätze noch nicht in irgendeiner Form an die intellektuellen Leistungen und die Komplexität, welche den Menschen und den Tieren eigen ist, herankommen. Sie blieben für ihre Zeit letztlich Spielereien, da die technologischen Voraussetzungen fehlten. Aber man konnte zeigen das Automaten oder Maschinen in der Lage waren intellektuelle Leistungen, wie z.B. das Rechnen, zu vollbringen.

3.4.  Hirnforschung, Neuronen und Information

Die Geschichte der Erforschung des Gehirns ist sehr vielfältig und umfangreich. Deshalb werden hier nur einige wenige Ideen angeführt. Die Erforschung des Gehirns beginnt schon sehr früh in der Geschichte der Menschheit. Schon in der Steinzeit gibt es Hinweise auf Schädelöffnungen (Trepanationen), um Heilprozesse zu erreichen. Obwohl einige Teile der Anatomie des Gehirns in der Antike bereits ganz gut bekannt waren, so war deren Funktion und das Zusammenwirken des Organs völlig unklar. So hatte auch Aristoteles falsche Vorstellungen von Gehirn, für ihn erfolgte die Steuerung des Körpers über das Herz. Daher kommt der Spruch, man nimmt sich Dinge zu „Herzen“.

Auch Leonardo da Vinci erforschte um 1500 zum Teil mit Wachsfüllungen das Gehirn. Dadurch konnten die anatomischen Kenntnisse vertieft werden. Das Gehirn wurde als ein zusammenhängendes Organ begriffen. Abb. 3.11 zeigt eine Skizze der Arbeiten von da Vinci.

Mit der Entdeckung des Blutkreislaufes im 17. Jahrhundert durch den Arzt William Harvey konnte man das Herz als eine Pumpe betrachten. An diesem Weltbild orientierte man jetzt auch das Gehirn, als eine komplexe mechanische Maschine. René Descartes beeinflusste die Hirnforschung nachhaltig. Er begründete den Dualismus, in dem Geist und Materie auf alles Daseiende bezogen wird. So kann man die Vorstellungen von Geist und Körper trennen. Der Forscher Thomas Willis erforschte ebenfalls im 17. Jahrhundert die Aterien des Gehirns. In seinem Werk wurde das Gehirn erstmalig als der Sitz von geistigen Funktion bestimmt und er erkannte, dass es kaum Unterschiede im Hirnaufbau von Mensch und Tier gibt.

Mit dem wachsenden Wissen über das Gehirn gelangte man zu der Einsicht, das einige Bereiche des Gehirns verschieden Funktionen ausführen oder sich bestimme Bereiche den Funktionen zuordnen lassen. Franz Joseph Gall lieferte eine der ersten Ideen der funktionellen Gliederung der Hirnfunktionen bzw. Bereiche.Seine Schädellehre (Phrenologie) hatte einigen Zulauf. Durch Ausprägung der Form des Schädelknochens sollte man die Charakterzüge und Eigenheiten bestimmen können. Die Phrenologie, vgl. (Bur05), konnte sich letztlich nicht durchsetzen, obwohl sie auf einem richtigen Denkansatz beruhte. Abb. 3.12 zeigt Phrenologie angedeutet.

Bereits im ausgehenden 18. Jahrhundert hatte der amerikanische Psychologe Williams James ein Modell zur Erklärung der Assoziationsfähigkeit des Gehirns vorgestellt. Er vermutete das Hirnprozesse sich wechselseitig zu verstärken versuchen, d.h sie beeinflussen einander. Das ist war eine Vorwegnahme der Hebbschen-Lernregel, vgl. Inhalte im Teil III, die besagt das sich aktivierte Neuronenverbindungen verstärken. Dieser Denkansatz hat auch die KNN beeinflusst.

Im Abschnitt 3.2 wurde bereits die Forschungen von Galvani angesprochen. Die elektromechanische Reaktionen auf die Reizung von Froschschenkeln, führten auch mit zu der Erkenntnis, das im Nervengewebe eine Art Informationsverarbeitung stattfindet. So konnte man die Schlussfolgerung, dass das Gehirn auch ein Organ der Informationsverarbeitung ist, zunehmend bestätigen.

Die Forschungen von Ramón y Cajal und Camillo Golgi konnten zu Beginn des 20. Jahrhunderts die Neuronen als die Grundzellen des Gehirns bestimmen. Mit der Technik von Golgi, Einfärben von Nervenzellen mit Silbernitrat, konnte Ramón y Cajal einige Arten von Neuronen bestimmen. Mit den zusätzlichen Wissen aus der Biologie und der detaillierten Kenntnis in der Anatomie wurden weitere Arbeitsprinzipien des Gehirns entschlüsselt.

Das Verhalten von Neuronen konnte und kann z.T. mit dem Wissen aus der Physik über den Ladungstransport von Teilchen oder mit den Kenntnissen aus der Chemie über Ionenkonzentrationen, basierend auf den Erkenntnissen zur physikalischen Chemie von Walther Nernst, beschrieben werden. Mit diesem gewonnnen Wissen über die Potentiale einer Neurone, z.B. das Aktionspotential, um das Jahr 1914, erhielt man eine erste Vorstellung über die Arbeitsweise. Durch die ständige Analyse unter der Verwendung immer modernerer Methoden, z.B. bildgebende Verfahren seit den siebziger Jahren des 20. Jahrhunderts, wurde das Wissen weiter verbessert. Jetzt ist es auch möglich Neuronen künstlich nachzubilden, vgl. Abb. 3.14. Im Jahr 1963 erhielten die Forscher Alan Hodgkin und Andrew Huxley den Nobelpreis für ihre Arbeiten zu den Ionenbewegungen in und aus den Nervenzellen und deren Verhalten bei unterschiedlichen Leitfähigkeit.

Die Aktionspotentiale bilden sich, wenn ein Ladungsaustausch zwischen der Neurone und der Umgebung stattfindet. Überschreitet der Ladungstransfer einen Schwellenwert, so bildet sich ein Potential und es wird innerhalb des Neurons weitergeleitet. Neuronen besitzen häufig einen gleichförmigen Aufbau. Am eigentlichen Zellkörper befinden sich die Dendriten und ein Axon. An den Dendriten übernimmt ein Neuron mittels der Synapsen die Signale eines anderen Neurons von deren Axonende.

Die Potentiale kann man im weitesten Sinne als einen Träger von Informationen im System der Neurone bezeichnen. Diese Erkenntnisse über die Neuronen führten zu der Einsicht, dass diese Zellen über ihre vielfachen Verbindungen wie hochgradige parallele Systeme arbeiten. Die Zusammenfassung von Neuronen zu Gruppen des Gehirns, welche als Nuclei bezeichnet werden, determiniert bestimmte Bereiche, die wichtig für die Verhaltensweise von Lebewesen sind. Eine mögliche Betrachtungsweise dieser Bereiche ist die Modellbildung über und als dynamische Systeme. Genauer wird auf den Zusammenhang von Neuron und Gehirn im folgenden Teil II eingegangen.

John C. Eccles, vgl. (Ecc00) und (Ecc99), untersuchte die Informationsverarbeitung, d.h. der Signalaustausch, an den Synapsen. Er beschreibt diese Systeme mit Hilfe von elektronischen Schaltungen, vgl. in der Abb. 3.14 das RC-Modell, als Übertragungssysteme. Damit hatte man die Funktion des Neurons zwar erkannt, aber man konnte noch nicht im Detail deren Zusammenwirken erklären. Mit Hilfe von Physik und Chemie konnte das physikalische Verständnis des Wirkens vertieft werden, aber der Zusammenhang zwischen dem Verstehen durch das Gehirn und der Aktion am Neuron war und blieb offen. Eric Kandel konnte mit seine Forschungen auf molekularer und genetischer Ebene den Austausch von Informationen durch Neuronen weiter aufklären. So legen bestimmte Rezeptoren beim Austausch Spuren, vgl. (Kan06), die bei wiederholter Aktivierung immer eine gleiche Reaktion bewirken. Diese Erkenntnisse konnten auch durch geeignete Computersimulationen gewonnen werden.

Zu Beginn des 20. Jahrhunderts dominierten andere Naturwissenschaften, die Erforschung der Details von Gehirn und Neuronen trat etwas in den Hintergrund. Lediglich die Erforschung des Unbewussten durch Sigmund Freud setzte Meilensteine bei der Betrachtung des Gehirns als Struktur. Aber die Erkenntnisse der Wissenschaften schufen die weiteren Voraussetzungen für die Hirnforschung. Die schon erwähnten Arbeiten von Eric Kandel sind ein Beispiel hierfür. In der Gegenwart kommen neben den anderen Wissenschaften auch noch die Mathematik und die Computerwissenschaften immer mehr zur Anwendung.

So wie man mit der Mathematik zunehmend eine formale Sprache zur Beschreibung der Informationsverarbeitung fand, wurden durch die Entwicklungen im zweiten Weltkrieg auch zunehmend die technologischen Hilfsmittel zu einer Modellierung der neuronalen Strukturen der Informationsverarbeitung verfügbar. Die Darstellung von abstrakten Automaten zur Lösung von bestimmten Aufgabenstellungen durch Alan Turing, die Computerarchitektur von John von Neumann, die Begründung der Kybernetik als einer Wissenschaft durch Norbert Wiener, die als Wissenschaft die Rückkopplung in Systemen berücksichtigte, führten zu den Grundlagen der heutigen Rechentechnik.

Auf diesen Grundlagen konnte man versuchen ein Gehirn als Turingmaschine zu simulieren, Lernprozesse in Steuerungsvorgänge zu integrieren oder Neuronen als Verarbeitungselemente auf Computerbasis zu erzeugen. Der Forscher Gerald M. Edelman beschreibt das Gehirn, zumindest bestimmte Bereiche, als dynamische Systeme, vgl. (Ede93) und (Ede95). Dieser Modellansatz wird bei einigen Erklärungen in dieser Abhandlung ebenfalls verwendet.

Mit diesen wissenschaftlichen und technologischen Durchbrüchen kommt es zu einem interessanten Aspekt. Einerseits entwickelt man Modelle um die Funktion und das Verhalten im Gehirn besser zu verstehen und andererseits eignen sich diese Modelle, also die KNN, in einer abstrakten Form auch für Anwendungen zur Lösung von Problemstellungen. Grundlage sind die Vorstellungen, dass die internen Vorgänge und Funktionen in einem Gehirn oder einem realen Neuronenensemble ein internes Bild der äusseren Welt ergeben und das dies bei den KNN ebenso ist. In einem Hirnbereich sind die Neuronen die aktiven Elemente, in einem Computer es der Rechnerchip, die CPU. Beide werden mit Informationen aus der äusseren Welt versorgt und reagieren dann entsprechend der genetischen Veranlagung im biologischen Sinne oder durch einen Algorithmus in einem Programm auf diese Informationen.

Eine sehr verführerische und natürlich stark vereinfachende Analogie zwischen Hirn und Computer, denn die hoch komplexen Strukturen und Funktionen in einem Gehirn lassen sich mit einem Computerprogramm nur erahnen. Durch die Berücksichtigung von Rückkopplungen in und zwischen Neuronenverbünden und Hirnbereichen und sowie deren entsprechende Darstellung durch dynamische Systeme, vgl. auch (Ede93), konnte man letztlich einige Gehirnfunktionen für eine Rechnerimplantierung abstrahieren.

3.5.  Die KNN als Programm und Forschungsgegenstand

Im letzten Abschnitt wurde erwähnt, das man bereits einige Simulationen von Funktionen des Gehirns erreicht hat. Dazu gehören die Arbeiten und Untersuchungen von Gerald M. Edelman, in (Ede93) und (Ede95) werden Hirnfunktionen als dynamische Syteme beschrieben. Auch die Erkenntnisse von Benjamin Libet, vgl. (Lib05), zur Verzögerung der bewussten Erkenntnis ergaben sich aus entsprechenden Modellversuchen.

Mit dem im Jahr 2005, von IBM und der Ecole Polytechnique Fédérale de Lausanne in der Schweiz, angekündigten Blue Brain Projekt sollen mindestens 10.000 künstlichen Neuronen auf einem Rechner, genauer einen Rechnercluster mit der Leistungsfähigkeit von Supercomputern, simuliert werden. Gegenwärtig hat man schon einige Erfolge bei der Simulation von Teilen des cerebralen Cortex erreicht. Die KNN besitzen somit, neben der eigentlichen Hirnforschung, bereits auch eine, wenn auch kurze, Forschungstradition. Die Ideen der KNN, so wie sie auch hier im Buch vorkommen, sind bereits in den Abbildung 1.10 und der Abb. 3.3 angedeutet worden.

Ausgehend von der Vorstellung einer Turing-Maschine und das Reize über die Sensoren von der Aussenwelt zu den Neuronen gelangen und dort entsprechende Wahrheitswerte generieren,entwickelten Warren McCulloch und Walter Pitt 1943 das Modell einer Neurone als einem aktiven Verarbeitungselement. Es basiert auf einer Grundannahme, dass das Neuron entweder die Zustände aktiv oder nicht aktiv besitzt.

Mit diesem Modell, vgl. Abb. 3.16, konnten sich die logischen Verknüpfungen, wie ODER, NICHT oder UND, umsetzen lassen. Dieses Modell der Vorstellungen der Informationsverarbeitung über die Aussenwelt in den Neuronen bildete eine der wichtigsten Grundlagen bzw. gab Ansätze für einige Beschreibungen in der Neurophysiologie. Da die Information direkt zu dem Verarbeitungselement gelangen und keine Veränderungen mehr erfolgen, kann diese Information zwar bewertet, aber nicht verändert werden. Das Neuronenmodell von McCulloch und Pitt wird manchmal auch als logischer Schwellenschalter bezeichnet. Dieses Modell ist zwar einstellbar, aber kaum lernfähig. Jetzt konnte man die Vorstellungen über die Bewertung in einem Gehirn zwar determinieren, aber für die Anpassung an Veränderungen blieben noch Fragen offen.

Die bereits erwähnte Erkenntnis von Donald Olding Hebb, aus dem Jahre 1949, das sich in einem Neuronenverbund die Verbindungen verstärkten, welche besonders häufig aktiviert wurden, führte zu einer ersten Erklärung von Lernfähigkeit und Anpassung im Gehirn, bzw. in bestimmten Hirnregionen. Die Stärke bzw. die Veränderung einer Verbindung ist als Grundlage in vielen Lernstrategien enthalten. Durch die Betrachtung der Lernfähigkeit konnten jetzt auch Veränderungen berücksichtigt werden. Die Hebbsche Lernregel ist beim biologischen Vorbild durch die Neurowissenschaften bestätigt worden.

Neben der Hebbschen-Lernregel stellte Karl Lashley im Jahr 1950 fest, dass die Gedächtnisinhalte im Gehirn verteilt gespeichert werden und nicht direkt als Ort lokalisierbar sind, obwohl in einigen Hirnbereichen als Solchen durchaus Inhalte repräsentiert werden. Dies führte in vielen KNN-Strukturen zur Nutzung der verteilten Informationsspeicherung. Diese verteilte Speicherung im Gehirn und letztlich auch in den KNN besitzt und erlaubt eine Robustheit, d.h. gehen einige Elemente verloren ist nicht der gesamte Inhalt verloren, die bei direkter Speicherung nicht möglich ist.

Bevor man solche Systeme auf einem Rechner implementierte, in den 50 und 60-er Jahren des 20. Jahrhunderts waren Computer noch nicht allgegenwärtig, wurden die Erkenntnisse in Algorithmen (z.B. Filter) oder auf Analogrechnern realisiert. Analogrechner basieren nicht auf den heute verwendeten Binärsystem. Im Jahre 1951 realisierte Marvin Minsky auf der Grundlage eines Analogrechners den ersten Neurocomputer SNARK. Es handelte sich ca. 40 Neuronen auf der Basis von Elektronenröhren.

Durch die Euphorie in der technologischen Entwicklung und die Erfolge des Modells von McCulloch und Pitt prägten auf einer Konferenz in Dartmouth (USA) im Jahre 1956 die Forscher Marvin Minsky, John McCarthy, Nathaniel Rochester und Clause Shannon den Begriff der Künstlichen Intelligenz (KI). Durch logische Regeln und Modifikationen in der Hebbschen Lernregel sollten Rechner Intelligenz generieren. Heute weiss man, dass dieser Ansatz überbewertet war und die Erzeugung von Intelligenz wesentlich komplexer ist.

Im Jahr 1958 stellte Fank Rosenblatt ein neues Modell für ein Neuron, das Perzeptron, vor. Das Lernverfahren des Perzeptrons basierte auf der Korrektur von Fehlern bzw. Differenzen zwischen Soll und Ist. Das Modell hatte Eigenschaften der Selbstorganisation, war sowohl lernfähig als auch fehlertolerant. Beim Lernen konnte man zeigen, dass die Parameter des Perzeptrons konvergierten, d.h. die Änderung von Ergebnissen immer abhängig von dem Eingabebereich war.

Ein ähnliches Modell zeigten 1960 Bernard Widrow und Marcian Hoff mit dem Adaline (Adaptive Line Element). Hatte das Perzeptron, vgl. Abb. 3.17, noch seinen Ausgangspunkt in der Biologie, als ein Modell der Verarbeitung von Informationen auf der Retina eines Auges, so basierte das Modell des Adaline auf adaptiven Veränderungen von Parametern seiner Regelkreise, die in der Filtertechnik ihren Ursprung hatten. Diese Modelle kennzeichnen einen wichtigen Meilenstein bei der Betrachtung und der weiteren Erforschung der KNN. Die Anpassung oder Adaption war jetzt eine Grundidee für die KNN. Man hatte jetzt reale Lösungen für Klassifikationsaufgaben, z.B. Handschriftenerkennung bei Scannern basieren auf solcher Technik. Diese einfachen Modelle waren lernfähig, aber die diese Fähigkeit war an definierte Parameter gebunden. Marcian Hoff wechselte später zu Intel^® und gilt als der Vater des Mikroprozessors.

Zu einem Einbruch der KNN-Entwicklung ist es im Jahr 1969 gekommen, als Marvin Minsky und Seymour Papert Schwächen bei den KNN auf der Basis des Perzeptrons herausfanden und beweisen konnten. So wurde der Nachweis erbracht, dass das Perzeptron nicht in der Lage ist die logische Funktion XOR zu realisieren. Dies würde letztlich zu Nichtentscheidbarkeiten bei Klassifikationen führen. Diese Schwäche der KNN zu dieser Zeit wurden verallgemeinert und führten in der KI-Forschung zu einer Verschiebung zu dem der symbolgesteuerten KI, die versuchte Intelligenz ausschliesslich über Regeln zu definieren und darzustellen. Es war eine Verschiebung der Lösungsansätze und es war eine Zeit der Verbreitung von Expertensystemen. Während es sich bei den KNN um einen Bottom-Up-Ansatz handelt, also ein Verarbeitungselement behandelt die Information und das Gesamtsystem ist dann die Interpretation dieser Information, geht der Top-Down-Ansatz in der KI von der Interpretation von Symbolen aus, ähnlich wie man einen Satz in seine Bestandteile wie Worte, Buchstaben und als Regelwerk die Grammatik zerlegt. Deshalb traten die KNN bis in die siebziger Jahre des letzten Jahrhunderts in den Hintergrund.

Natürlich wurde auf dem Gebiet der KNN weitergeforscht, aber sie waren zeitweilig kein Forschungsschwerpunkt. Zu Unrecht in Vergessenheit geraten ist der Denkansatz der „LERNMATRIX“ von Kurt Steinbruch aus dem Jahr 1961. Dort wurden der Schichtenansatz der KNN vorweggenommen. Das Prinzip wird in Abb. 3.18 gezeigt. Da im Gehirn die Information verteilt gespeichert wird, wurde dieses Konzept auf die KNN übertragen. So entwickelte James Anderson um 1970 die KNN-Modelle des linearen Assoziators (Linear Assoziator) und dsas Brain-State-in-a-Box. Das Prinzip ist, dass die künstlichen Neuronen um die Information konkurrieren bzw. sich selbst entsprechend der Information organisieren.

Die Selbstorganistaion wurde von Christoph von der Malsburg im Zusammenhang mit den KNN untersucht. Weitere Forschungen wurden von Stephen Grossberg bei seinen Modellen in den Jahren 1973 bis 1975 weiter vertieft. Diese Modelle, z.B. das ART (Adaptive Resonance Theory), basierten auf Überlegungen das durch Rückkopplungen auf der Basis von Kurz- und Langzeit-Speicherungen sich Lerneffekte, auch ohne Vorgabe, eintraten. Man hatte eine Verbesserung der KNN hinsichtlich ihrer Plastizität und Stabilität, d.h. wieviel ein KNN eigentlich lernen konnte, erreicht.

Waren die Modelle von Grossberg noch von den Vorgängen im Gehirn inspiriert, so basierten die Modelle zur assoziativen Speicherung von Teuvo Kohonen auf der Übertragung des Spinmodells von Magneten auf die KNN. Mit der Übernahme von nichtlinearen Funktionen bei der Systembeschreibung und die zunehmende hohe Verfügbarkeit von Rechentechnik halfen die Probleme bei den einfachen Netzen zu überwinden.

Eine neue Blüte der KNN begann ab den achtziger Jahren des 20. Jahrhunderts. Die bereits angesprochene Betrachtung des Gehirns als dynamisches System und die Dynamik durch eine neuronale Selektion durch Edelmann, der dies auch mit Hilfe von entsprechenden Computermodellen untermauerte, befruchtete die KNN. 1982 legte John Hopfield in seiner Arbeit dar, das sich die KNN durch weitere intensive Forschung zu einen durchaus nützlichen Anwendungsfeld entwickeln konnten. Das Hopfield-Netz basierte auf der Beschreibungen aus der theoretischen Physik, z.B. Entropie und Energiefunktion, ebenso wie die Variationen des BAM (Bidirektionaler Assoziativspeicher, aus dem Englischen von Bidirectional Associative Memory) und die BOLTZMANN-Maschine von Geoffrey Hinton und Terrence J. Sejnowski aus dem Jahre 1985. Bei der BOLTZMANN-Maschine aktivieren sich die Neuronen nicht mehr deterministisch sondern stochastisch, was zu einer Veränderung des Energieniveaus des Netzes führt. Diese Veränderung ist für das Lernen des Netzes verantwortlich.

Jedes Netzmodell, welches nach 1985 auf dem Gebiet der KNN entwickelt worden ist, zu erwähnen übersteigt den Umfang dieses kurzen historischen Abrisses. Zu erwähnen ist einer der wichtigsten und erfolgreichsten Lernalgorithmen der KNN. 1985 führten David Rumelhart und Geoffrey Hinton den Backpropagation-Lernalgorithmus ein. Hier wird eine Fehlerinformation durch ein geschichtetes Netz entgegen dem Informationsfluss durch das KNN propagiert, was zur Beeinflussung der Parameter und letztlich zur Steuerung der Information führt.

Die Erkenntnis, dass die einzelnen Neuronen in einem Gehirn nicht als lokale Baugruppe auftreten, sondern durch ihre hochgradig parallelen Verbindungen die Wirkung der Steuerung realisieren, determinierten eine dezentrale und verteilte Informationsverarbeitung. Entsprechend musste die Adaption auf einem sequentiellen Rechner sein, man nutzt letztlich den Speicherplatz und die zunehmenden Rechengeschwindigkeiten. Verteilte Darstellung von Information und nicht explizite Adressierung bilden eine Mikrostruktur für Prozesse wie Lernen und Anpassung.

Mit der PDP-Initiative (Parallel Distributed Processing) von David Rumelhart und James McClelland, vgl. (DERG89) und (JLMG89), wurden die KNN jetzt auch als Anwendungen interessant. Man hatte Modelle um die Vorgänge im Gehirn besser zu verstehen und man konnte die gleichen Modelle weiter abstrahieren, um aus ihnen Anwendungen zu gewinnen, die auf einem Computer laufen. Klassifizierung oder Bilderkennung seien hier nur als Beispiele angeführt.

Auf der Basis der PDP-Modelle, auf welche in diesem Buch auch Bezug genommen wird, hat sich die Entwicklung der KNN massiv beschleunigt. Eine Generalogie würde Bände füllen, deshalb sollen jetzt in den nachfolgenden Kapiteln einige der Grundprinzipien näher erläutert werden. Ausgangspunkt ist das Gehirn, dort unter anderem die Funktion des Neurons, gekoppelt mit der entsprechenden Modellbildung.

Mehr zur Geschichte der KNN findet man in (uNH90, S. 52), mit Stand bis ca. 1990, in (DERG89) und (JLMG89), dem ersten Grundlagenbuch zu den KNN, sowie in der Übersichtsdarstellung zu den KNN in (Arb95). Auch in vielen Vorlesungsmanuskripten an Universitäten findet man Informationen zur Geschichte der KNN, z.B. (Hil06). In vielen Fachbüchern zu diesen Thema gibt es ebenfalls spezifische Darstellungen der Geschichte der KNN.