Neuronale Netze

Neuronale Netze klingen nach künstlichen Gehirnen, und genau dieses Bild führt in die Irre. Ein künstliches Neuron hat mit einer echten Nervenzelle ungefähr so viel zu tun wie ein Papierflieger mit einem Adler: Die Grundidee ist abgeschaut, der Rest ist etwas völlig anderes. Was ein künstliches Neuron wirklich tut, passt in eine Zeile Mathematik. Das Erstaunliche ist nicht das einzelne Neuron, sondern was passiert, wenn man sehr viele davon hintereinanderschaltet.

Ein Mini-Neuron rechnet

Ein künstliches Neuron bekommt mehrere Eingaben, zum Beispiel Helligkeitswerte von Bildpunkten. Jede Eingabe hat ein Gewicht, eine Zahl, die sagt, wie wichtig diese Eingabe ist. Das Neuron multipliziert jede Eingabe mit ihrem Gewicht, zählt alles zusammen und vergleicht die Summe mit einer Schwelle: Liegt sie darüber, feuert das Neuron und gibt ein Signal weiter, sonst bleibt es still. Ein Zahlenbeispiel: Zwei Eingaben mit den Werten 1 und 0, die Gewichte sind 0,8 und 0,4, die Schwelle ist 0,5. Die Summe ist 1 mal 0,8 plus 0 mal 0,4, also 0,8. Das liegt über 0,5, das Neuron feuert. Mehr ist es nicht: multiplizieren, addieren, vergleichen.

Die Gewichte werden gelernt

Niemand stellt die Gewichte von Hand ein. Sie starten mit Zufallswerten, und dann läuft das Training, das du schon kennst: Das Netz bekommt ein Beispiel, rechnet seine Ausgabe aus und vergleicht sie mit der richtigen Antwort. Liegt es daneben, werden alle Gewichte ein winziges Stück in die Richtung verschoben, die den Fehler kleiner gemacht hätte. Feuert ein Neuron zu Unrecht, sinken die Gewichte der Eingaben, die daran schuld waren, im umgekehrten Fall steigen sie. Nach Millionen solcher Korrekturen haben sich Gewichte herausgebildet, die auf den Trainingsdaten gut funktionieren. Lernen ist hier also wieder nichts als Fehler verkleinern, nur eben an sehr vielen Stellschrauben gleichzeitig.

Von einem Neuron zu Schichten

Ein einzelnes Neuron kann nur sehr einfache Muster trennen, es zieht im Grunde eine einzige Trennlinie. Die Stärke kommt durch Schichten: Die Ausgaben der ersten Neuronen werden zu Eingaben der nächsten, deren Ausgaben zu Eingaben der übernächsten. In einem Netz zur Gesichtserkennung reagieren die frühen Schichten auf simple Dinge wie Kanten und Helligkeitsübergänge. Mittlere Schichten kombinieren diese Kanten zu Formen wie Augen oder Nasen, und späte Schichten setzen daraus ganze Gesichter zusammen. Das Verblüffende daran: Diese Arbeitsteilung hat niemand programmiert. Sie entsteht von selbst, weil sie den Fehler beim Training am wirksamsten senkt. Wichtig fürs Zählen: Jedes Neuron hat seine eigenen Gewichte, eines für jede Verbindung. Eine Schicht aus 5 Neuronen, die alle dieselben 10 Eingaben sehen, kommt deshalb auf 5 mal 10, also 50 Gewichte. Deep Learning heißt übrigens nur, dass ein Netz viele solcher Schichten hat, das Wort tief beschreibt die Architektur, nicht die Gedanken.

Groß, stark und trotzdem nur Zahlen

Moderne Netze haben Millionen bis viele Milliarden Gewichte, die größten Sprachmodelle sogar noch mehr. Ihr Training verschlingt riesige Datenmengen und viel Strom. Das Ergebnis kann Sprache übersetzen, Tumore auf Röntgenbildern markieren und Texte schreiben. Trotzdem bleibt es eine Kette aus Multiplizieren, Addieren und Vergleichen, milliardenfach ausgeführt. Ein Netz weiß nicht, was es tut, und kann seine Antworten nicht begründen. Selbst Fachleute können einem trainierten Netz oft nicht ansehen, warum es sich in einem Einzelfall so entschieden hat. Beides gleichzeitig zu sehen, die beeindruckende Leistung und die simple Mechanik dahinter, ist der ehrlichste Blick auf diese Technik.