Wie gut ist das Modell?

Unser Modell erreicht 99 Prozent Genauigkeit. Solche Sätze liest man ständig, und sie klingen nach fertig und großartig. Aber eine einzelne Zahl kann grandios in die Irre führen. Ob ein Modell wirklich brauchbar ist, entscheidet sich an ganz anderen Fragen: Welche Fehler macht es, wie teuer sind diese Fehler, und wurde es an Daten geprüft, die es noch nie gesehen hat? Dieses Thema gibt dir das Werkzeug, um Erfolgszahlen richtig einzuordnen.

Die Genauigkeits-Falle

Genauigkeit ist der Anteil der Fälle, in denen das Modell richtig liegt. Stell dir einen Test für eine seltene Krankheit vor, die 1 von 100 Menschen betrifft. Jetzt baue ich ein Modell, das immer gesund sagt, ohne irgendetwas anzuschauen. Von 100 Menschen liegt es bei den 99 Gesunden richtig und nur bei der einen kranken Person falsch: 99 Prozent Genauigkeit, und trotzdem findet es keinen einzigen Krankheitsfall. Es ist völlig nutzlos. Genau daran krankt die Genauigkeit als alleinige Zahl: Wenn eine Klasse selten ist, kann ein Modell glänzen, indem es die seltene Klasse einfach ignoriert. Die erste Frage an jede Erfolgszahl lautet deshalb: Was würde die dümmste denkbare Strategie erreichen? Erst was darüber liegt, ist eine Leistung.

Falsch positiv und falsch negativ

Ein Modell kann auf zwei Arten danebenliegen, und die beiden sind selten gleich schlimm. Falsch positiv heißt: Alarm ohne Grund, der Spamfilter wirft eine wichtige Bewerbung in den Spamordner, der Test erklärt eine gesunde Person für krank. Falsch negativ heißt: kein Alarm trotz Grund, die Spam-Mail rutscht durch, die Krankheit bleibt unentdeckt. Welche Sorte schlimmer ist, hängt vom Einsatz ab. Beim Krankheitstest ist falsch negativ gefährlich, beim Spamfilter ist falsch positiv das Ärgernis. Deshalb schaut man sich beide Fehlerarten getrennt an und stellt zwei Fragen. Erstens: Von allem, was das Modell markiert hat, wie viel stimmt wirklich? Diese Zahl heißt Präzision. Zweitens: Von allem, was es finden sollte, wie viel hat es gefunden? Das ist die Trefferquote. Zwei Zahlen statt einer, aber sie erzählen die ganze Geschichte.

Überanpassung erkennen

Die zweite große Falle: Ein Modell wird an denselben Daten gemessen, mit denen es trainiert wurde. Dann misst man nur sein Gedächtnis. Der ehrliche Maßstab ist die Lücke zwischen Training und Test. Erreicht ein Modell 100 Prozent auf den Trainingsdaten, aber nur 70 Prozent auf zurückgehaltenen Testdaten, hat es die Trainingsbeispiele auswendig gelernt statt Muster zu finden, das ist Überanpassung. Ein Modell mit 85 Prozent im Training und 84 Prozent im Test ist fast immer das bessere, auch wenn seine Trainingszahl schlechter aussieht. Groß wird die Lücke besonders dann, wenn das Modell viele Parameter und wenige Daten hat, dann reicht seine Kapazität, um jeden Sonderfall einfach abzuspeichern.

Was eine ehrliche Prüfung braucht

Eine gute Bewertung beantwortet drei Fragen. Erstens: Wurde auf Daten getestet, die das Modell nie gesehen hat und die dem echten Einsatz ähneln? Ein Verkehrsschild-Erkenner, der nur mit Sommerfotos getestet wurde, sagt nichts über den Winter. Zweitens: Wie schlägt sich das Modell im Vergleich zu einer simplen Basislinie, etwa immer die häufigste Antwort geben? Drittens: Sind die Fehlerarten aufgeschlüsselt, statt in einer einzigen Genauigkeitszahl versteckt? Fehlt eine dieser Antworten, ist die Erfolgszahl Werbung, keine Messung. Das gilt für Schulprojekte genauso wie für die Pressemitteilungen großer Firmen.