Wie Maschinen lernen

Wenn es heißt, eine Maschine habe etwas gelernt, klingt das nach einem denkenden Wesen. In Wirklichkeit steckt dahinter ein sehr nüchterner Vorgang: Ein Programm mit verstellbaren Zahlen macht Vorhersagen, vergleicht sie mit der richtigen Antwort und verstellt die Zahlen ein kleines Stück, damit es beim nächsten Mal weniger daneben liegt. Das ist alles. In diesem Thema schauen wir uns diesen Vorgang genau an, ohne Zauberei und ohne Hype.

Ein Modell ist eine Formel mit Stellschrauben

Bei klassischen Programmen schreibt ein Mensch die Regeln auf. Beim maschinellen Lernen schreibt der Mensch stattdessen nur die Form der Lösung auf, zum Beispiel: Die Antwort ist eine Linie, die zwei Punktgruppen trennt. Wo genau die Linie liegt, bestimmen ein paar Zahlen, die Parameter. Eine Gerade braucht nur zwei davon: ihre Steigung und ihre Höhe an der senkrechten Achse. Große Sprachmodelle haben Milliarden solcher Parameter, aber die Idee bleibt gleich: Das Modell ist eine Formel, und die Parameter sind ihre Stellschrauben. Lernen heißt, gute Werte für diese Stellschrauben zu finden.

Training heißt Fehler verkleinern

Wie findet man gute Werte? Man misst, wie schlecht die aktuellen sind. Das Modell bekommt ein Beispiel mit bekannter Antwort, macht seine Vorhersage, und der Unterschied zur richtigen Antwort ist der Fehler. Bei Aufgaben mit Ja oder Nein als Antwort ist jede Vorhersage entweder richtig oder falsch. Teilt man dann die Zahl der falschen Vorhersagen durch die Zahl aller Beispiele, ergibt das die Fehlerrate. Dann kommt der entscheidende Trick: Man kann ausrechnen, in welche Richtung man jede Stellschraube drehen muss, damit der Fehler ein kleines Stück sinkt. Also dreht man alle Schrauben ein winziges Stück in diese Richtung und wiederholt das Ganze, tausende oder Millionen Male, mit immer neuen Beispielen. Der Fehler sinkt Schritt für Schritt, wie ein Ball, der in einer Schüssel langsam zum tiefsten Punkt rollt. Wenn er kaum noch sinkt, ist das Training fertig. Ein fertiges Modell lässt sich später mit einer kleinen, speziellen Beispielsammlung nachtrainieren, damit es eine bestimmte Aufgabe besser trifft. Das nennt man Feintuning.

Mit Lehrer oder ohne

Das Beispiel mit den bekannten Antworten heißt überwachtes Lernen: Jedes Trainingsbeispiel trägt ein Etikett, etwa Spam oder kein Spam, und das Modell lernt, das Etikett vorherzusagen. Es gibt aber auch unüberwachtes Lernen, ganz ohne Etiketten. Dabei sucht das Modell selbst nach Struktur in den Daten, zum Beispiel: Diese tausend Kundinnen und Kunden zerfallen in drei Gruppen mit ähnlichem Kaufverhalten. Niemand hat die Gruppen vorher benannt, das Modell findet nur, was in den Daten zusammengehört. Überwacht beantwortet also eine gestellte Frage, unüberwacht entdeckt, welche Fragen sich überhaupt stellen lassen.

Was das Modell wirklich kann

Nach dem Training steckt das Gelernte komplett in den Parametern, also in einer langen Liste von Zahlen. Das Modell versteht nichts, es hat keine Ahnung, was eine Katze ist. Es hat nur Zahlen gefunden, mit denen seine Formel auf den Trainingsbeispielen selten daneben liegt. Das funktioniert erstaunlich gut, solange neue Eingaben den Trainingsbeispielen ähneln. Bei Eingaben, die anders sind als alles im Training, kann das Modell beliebig falsch liegen, und zwar ohne jedes Anzeichen von Unsicherheit. Wer das weiß, kann die Stärken nutzen und die Schwächen einplanen.