Gestern habe ich mir von ChatGPT erklären lassen, was Overfitting ist, und dafür 21 Nachrichten gebraucht. Overfitting heißt, dass ein Modell seine Trainingsbeispiele so genau auswendig lernt, dass es bei allem Neuen danebenliegt. In derselben Woche redet gefühlt die ganze Welt über DeepSeek, ein Modell aus China, das am Montag die Börse durchgeschüttelt hat. Ich sitze dazwischen und will erst mal die Grundlagen verstehen.

Der Schüler mit den alten Klausuren

So habe ich es mir am Ende selbst erklärt: Ein Schüler bekommt die Klausuren der letzten fünf Jahre und lernt alle Antworten auswendig. In der Übung ist er der Beste. In der echten Prüfung kommen neue Fragen, und er steht da. Ein Modell, das overfittet, macht dasselbe mit seinen Trainingsdaten. Es kennt jedes Beispiel, aus dem es gelernt hat, und hat das Muster dahinter nie begriffen.

Die 21 Nachrichten kamen zusammen, weil ich so lange nachgefragt habe, bis ich es in eigenen Worten sagen konnte. Am deutlichsten wurde mir dabei, wo meine Persona eigentlich ankommt. Gelernt hat ein Modell, bevor ich den ersten Chat öffne, aus Texten, die ich nie gesehen habe. Meine Persona für wenighair ist für das Modell ein sehr ausführliches Briefing, das es bei jedem Chat neu liest. Seit anderthalb Jahren feile ich daran, und gelernt hat das Modell davon nichts. Ein bisschen gekränkt bin ich schon.

Weniger zuschauen, mehr fragen

Am 3. Januar habe ich mir aufgeschrieben: weniger YouTube schauen, mehr selbst machen. Vor knapp einem Jahr habe ich mir Karpathys Video angesehen, in dem ein kleines Modell lernt, Shakespeare zu raten. Seitdem frage ich mich, wie viel einer Antwort zu meinen Zahlen Analyse ist und wie viel gut geratener Text. Overfitting gibt mir dafür ein Wort mehr. Ein Modell, das nur auswendig kann, wiederholt. Eins, das das Muster gelernt hat, kann auch bei meinen Zahlen sinnvoll raten.

Ein Video erklärt mir so etwas einmal, in seinem Tempo und mit der Bitte am Ende, den Kanal zu abonnieren. Im Chat bestimme ich das Tempo und frage nach, so oft ich will. Für mich zählt Fragen als selbst machen. Das ist vermutlich eine großzügige Auslegung meines eigenen Vorsatzes.

Eine Woche mit DeepSeek

DeepSeek R1 gibt es seit dem 20. Januar. Es ist ein Reasoning-Modell, also eins, das erst Schritt für Schritt nachdenkt und dann antwortet, so wie o1 von OpenAI im September. Angeblich hat das Training nur einen Bruchteil von dem gekostet, was die großen amerikanischen Firmen ausgeben, und das Modell kann jeder herunterladen.

Am Montag hat Nvidia, der Hersteller der Chips, auf denen fast alle diese Modelle trainiert werden, an einem Tag rund 17 Prozent an Wert verloren. Von Börse verstehe ich wenig, von Overfitting seit gestern ein bisschen mehr. Ich vermute trotzdem, dass der Wettlauf um die größten Rechenzentren damit an Tempo verliert. Wenn es mit weniger Rechenkraft auch geht, warum dann immer mehr?

Ab Sonntag gilt aus dem AI Act die Pflicht zur KI-Kompetenz: Wer KI in seiner Firma einsetzt, muss dafür sorgen, dass die Leute genug davon verstehen. Bei wenighair fange ich vermutlich bei mir selbst an. 21 Fragen habe ich ja schon gestellt.

Nächste Woche will ich Overfitting jemandem in zwei Sätzen erklären, ohne nachzuschauen. Klappt das, habe ich es verstanden. Wenn nicht, gibt es Nachricht 22.


Studio ✺ Christos