Trainingsdaten

Über Modelle wird viel geredet, über Daten wenig. Dabei entscheiden die Daten, was ein Modell überhaupt lernen kann. Ein Modell hat keine andere Quelle über die Welt als seine Trainingsbeispiele: Was dort fehlt, existiert für das Modell nicht, und was dort falsch ist, hält es für wahr. Wer maschinelles Lernen verstehen will, muss deshalb zuerst verstehen, wo Trainingsdaten herkommen und was mit ihnen schiefgehen kann.

Sammeln und beschriften

Für überwachtes Lernen braucht jedes Beispiel ein Etikett mit der richtigen Antwort, das sogenannte Label. Diese Labels fallen nicht vom Himmel: Meist sitzen Menschen davor und beschriften Bild für Bild, Satz für Satz. Das ist langsam, teuer und fehleranfällig, denn Menschen sind sich oft uneinig. Ist dieser Kommentar noch Ironie oder schon Beleidigung? Zwei Beschriftende geben zwei verschiedene Antworten, und beide landen im Datensatz. Hinter fast jedem großen KI-System steckt darum eine riesige Menge menschlicher Handarbeit, die man dem fertigen Produkt nicht mehr ansieht.

Garbage in, garbage out

Ein Modell findet die Muster, die in seinen Daten stecken, nicht die, die wir meinen. Ein berühmtes Beispiel aus der Forschung: Ein Modell sollte Huskys von Wölfen unterscheiden und lag bei den Testbildern fast immer richtig. Der Erfolg hatte aber einen ganz anderen Grund: Auf fast allen Wolfsfotos lag Schnee im Hintergrund. Das Modell hatte gelernt, Schnee zu erkennen, nicht Wölfe. Genauso übernimmt ein Modell jede Schieflage der Daten: Wenn in den Beispielen eine Gruppe fast nie vorkommt, funktioniert das Modell für sie schlecht. Wenn alte Entscheidungen unfair waren, lernt es die Unfairness gleich mit. Die Faustregel dafür ist alt und gilt weiter: Garbage in, garbage out. Aus schlechten Daten wird kein gutes Modell, egal wie modern der Algorithmus ist.

Trainingsdaten und Testdaten

Wie prüft man, ob ein Modell wirklich etwas gelernt hat? Auf keinen Fall mit den Beispielen, die es im Training gesehen hat. Das wäre wie eine Klassenarbeit, deren Aufgaben vorher mitsamt Lösungen ausgeteilt wurden: Eine gute Note beweist dann nur ein gutes Gedächtnis. Deshalb teilt man die Daten vor dem Training auf, häufig etwa 80 Prozent zum Trainieren und 20 Prozent zum Testen. Welche Beispiele in welchen Teil kommen, wird ausgelost, damit beide Teile einander ähnlich sehen. Die Testdaten bleiben unter Verschluss, bis das Training fertig ist. Erst das Ergebnis auf diesen zurückgehaltenen Beispielen zeigt, ob das Modell Muster gelernt hat, die auch auf Neues passen.

Wie viele Daten sind genug?

Mehr Daten helfen fast immer, aber Masse allein reicht nicht. Zehntausend fast identische Fotos bringen weniger als tausend, die alle wichtigen Fälle abdecken: verschiedene Blickwinkel, Lichtverhältnisse, seltene Sonderfälle. Entscheidend ist, dass die Trainingsdaten so aussehen wie die Daten, auf die das Modell später trifft. Ein Modell, das nur mit Studioaufnahmen trainiert wurde, scheitert an verwackelten Handyfotos. Gute Teams stecken deshalb oft mehr Zeit in ihre Daten als in ihr Modell: prüfen, säubern, Lücken füllen, Labels korrigieren. Das klingt unspektakulär und ist doch der Teil, der über Erfolg und Misserfolg entscheidet.