Chatbots & Sprachmodelle

Du stellst eine Frage, und Sekunden später steht da eine Antwort, die klingt, als hätte ein Mensch sie geschrieben. Chatbots sind für viele so alltäglich geworden wie die Suchmaschine. Umso spannender ist die Frage, was dahinter steckt. Die kurze Antwort: sehr viel Mathematik und eine überraschend einfache Grundidee.

Text wird zu Zahlen

Ein Computer kennt keine Buchstaben, nur Zahlen. Schon lange vor der KI bekam deshalb jedes Zeichen eine feste Nummer: Im ASCII-Code ist A die 65 und B die 66. Im Speicher steht so eine Nummer als Muster aus 8 Bits, also aus einem Byte. Sprachmodelle gehen einen Schritt weiter und zerlegen Text in kleine Bausteine, sogenannte Tokens. Das können ganze Wörter sein oder Wortteile, und jedes Token bekommt eine Nummer. Dein ganzer Chat ist für das Modell eine lange Kette von Zahlen.

Das nächste Wort vorhersagen

Der Kern eines Sprachmodells ist ein Ratespiel: Welches Token kommt als nächstes? Nach dem Satzanfang 'Der Himmel ist' ist 'blau' sehr wahrscheinlich, 'Banane' sehr unwahrscheinlich. Das Modell hat beim Training riesige Textmengen gelesen und dabei gelernt, für jede mögliche Fortsetzung eine Wahrscheinlichkeit zu berechnen. Eine Antwort entsteht, indem das Modell Token für Token wählt und jedes gewählte Token wieder in die Vorhersage für das nächste einfließt. Wie viel Text es dabei im Blick behalten kann, ist begrenzt: Dieses Fenster heißt Kontext und wird in Tokens gemessen. Ist es voll, fällt der Anfang des Gesprächs hinten heraus.

Warum das so gut funktioniert

Wörter zu raten klingt banal, aber um das nächste Wort wirklich gut vorherzusagen, muss das Modell erstaunlich viel erfassen: Grammatik, Zusammenhänge, Fachwissen, sogar den Tonfall einer Unterhaltung. Wer den Satz 'Die Hauptstadt von Frankreich ist' korrekt fortsetzen will, muss die Antwort in seinen Mustern gespeichert haben. Aus Milliarden solcher Muster entsteht ein System, das übersetzen, zusammenfassen und erklären kann. Nicht weil es die Aufgabe versteht wie ein Mensch, sondern weil gute Vorhersage genau diese Fähigkeiten erzwingt.

Was ein Sprachmodell nicht ist

Zwei Missverständnisse halten sich hartnäckig. Erstens: Ein Sprachmodell ist keine Datenbank. Es schlägt Antworten nicht nach, sondern erzeugt sie jedes Mal neu aus Wahrscheinlichkeiten. Deshalb kann es sich irren und trotzdem überzeugend klingen. Zweitens: Es hat kein Bewusstsein und keine Absichten. Wenn ein Chatbot 'ich denke' schreibt, ist das ein gelerntes Sprachmuster, kein Hinweis auf ein Innenleben. Wer beides im Kopf behält, kann Chatbots entspannt nutzen: als starkes Werkzeug, nicht als allwissendes Wesen.