Entscheidungsbäume

Die meisten Modelle sind für Menschen unlesbar, ihre Parameter sind einfach lange Zahlenlisten. Entscheidungsbäume sind die große Ausnahme: Man kann jede einzelne Entscheidung nachvollziehen, von der ersten Frage bis zum Ergebnis. Genau deshalb werden sie bis heute überall dort eingesetzt, wo eine Entscheidung erklärbar sein muss, etwa bei Krediten oder in der Medizin. Und sie eignen sich perfekt, um zu verstehen, wie ein Lernverfahren wirklich arbeitet.

Eine Kette einfacher Fragen

Ein Entscheidungsbaum sortiert Beispiele durch eine Folge von Ja-Nein-Fragen. Ein Spamfilter als Baum könnte oben fragen: Enthält die Mail das Wort gratis? Falls ja, folgt die nächste Frage: Kommt der Absender aus deinem Adressbuch? So hangelt sich jede Mail von Frage zu Frage nach unten, bis sie in einem Blatt landet, und im Blatt steht die Entscheidung: Spam oder kein Spam. Jede Frage für sich ist simpel. Die Stärke entsteht durch die Kombination: Verzweigt jede Frage beide Antworten weiter, verdoppelt sich mit jeder Ebene die Zahl der möglichen Wege durch den Baum.

Wie der Baum die beste Frage findet

Woher kommen die Fragen? Der Baum probiert beim Training stur alle Kandidaten durch und misst, welche Frage die Beispiele am saubersten trennt. Stell dir 20 Früchte vor, 10 Äpfel und 10 Zitronen. Die Frage, ist die Frucht gelb, erzeugt zwei Gruppen: links fast nur Zitronen, rechts fast nur Äpfel. Das ist eine gute Frage, denn beide Gruppen sind fast rein. Die Frage, wiegt die Frucht mehr als 50 Gramm, trennt dagegen nichts: Fast alle 20 Früchte sind schwerer als 50 Gramm und landen deshalb in derselben Gruppe, in der Äpfel und Zitronen genauso gemischt liegen wie vorher. Also fliegt diese Frage raus. Wie rein eine Gruppe ist, lässt sich als Anteil ausdrücken: Sind in einer Gruppe 6 von 10 Früchten Zitronen, ist der Zitronen-Anteil 6 geteilt durch 10, also 0,6. Ganz rein wäre die Gruppe beim Anteil 0 oder 1, dann steckt darin nur eine einzige Sorte. Der Baum nimmt die Frage mit den reinsten Gruppen, teilt die Beispiele auf und wiederholt dasselbe Spiel in jeder Gruppe, so lange, bis die Gruppen rein genug sind. Kein Nachdenken, nur systematisches Ausprobieren und Messen.

Wenn der Baum auswendig lernt

Lässt man den Baum ungebremst wachsen, wird er beliebig tief und stellt am Ende so viele Fragen, dass jedes Trainingsbeispiel sein eigenes Blatt bekommt. Auf den Trainingsdaten ist er dann perfekt, null Fehler. Aber er hat nichts verstanden, er hat die Beispiele auswendig gelernt, inklusive aller Zufälle und Messfehler. Auf neuen Daten versagt so ein Baum. Deshalb begrenzt man ihn: maximale Tiefe, Mindestgröße pro Blatt, oder man schneidet nach dem Training schwache Äste wieder ab. Ein kleinerer Baum macht auf den Trainingsdaten mehr Fehler, auf neuen Daten aber oft deutlich weniger. Dieses Muster, perfekt im Training und schwach in der Wirklichkeit, heißt Überanpassung und begegnet dir bei jedem Lernverfahren wieder.

Viele kleine Bäume statt ein großer

Ein einzelner Baum ist oft wackelig: Ändert man die Trainingsdaten nur leicht, sieht der Baum plötzlich ganz anders aus. Ein einfacher und erstaunlich wirksamer Trick dagegen: Man trainiert viele verschiedene Bäume, jeden auf einer zufällig gezogenen Stichprobe der Daten, und lässt jeden Baum bei jeder Frage nur unter einem zufälligen Teil der Merkmale auswählen, also der Eigenschaften wie Farbe oder Gewicht. Am Ende stimmen alle Bäume ab, die Mehrheit entscheidet. So ein Wald aus Bäumen, Random Forest genannt, gleicht die Fehler einzelner Bäume aus und gehört bis heute zu den zuverlässigsten Verfahren überhaupt, gerade bei Tabellendaten. Nicht jede Aufgabe braucht ein riesiges neuronales Netz.