Mehr Parameter, weniger Fehler: Double Descent, Grokking und das Rätsel der Generalisierung

Der Aufhänger: Ein Netz, das Rauschen auswendig lernt

Stell dir ein Experiment vor, das so einfach ist, dass man es an einem Nachmittag aufsetzen kann, und dessen Ergebnis trotzdem ein halbes Jahrhundert statistische Lehrbuchweisheit ins Wanken gebracht hat.

Du nimmst CIFAR-10, einen Standard-Bilddatensatz: 50.000 kleine Farbfotos, zehn Klassen – Flugzeug, Auto, Vogel, Katze und so weiter. Du nimmst ein übliches Convolutional Network, wie es damals den Stand der Technik markierte. Dann machst du etwas Absurdes: Du wirfst die Labels weg und ersetzt sie durch Zufall. Das Bild einer Katze heißt jetzt „LKW", das Flugzeug heißt „Frosch". Es gibt keine Struktur mehr, keine lernbare Regel, nichts. Die Zuordnung ist pures Rauschen.

Dann trainierst du.

Das Netz lernt es. Nicht ungefähr, sondern vollständig: Trainingsfehler null. Es hat 50.000 willkürliche Zuordnungen auswendig gelernt. Und wenn du die Bilder selbst durch Gaußsches Rauschen ersetzt – also auch die Eingaben jeder Struktur beraubst –, lernt es das auch.

Dieses Ergebnis stammt von Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht und Oriol Vinyals und erschien 2017 auf der ICLR unter einem Titel, der programmatisch war: Understanding deep learning requires rethinking generalization. Ihre Formulierung: Moderne Convolutional Networks „easily fit a random labeling of the training data", und das Phänomen sei „qualitatively unaffected by explicit regularization" – Dropout, Weight Decay, Data Augmentation ändern daran nichts Grundsätzliches.

Jetzt kommt der Teil, der weh tut. Nach der klassischen Lerntheorie ist ein Modell, das 50.000 Zufallslabels auswendig lernen kann, wertlos. Seine Kapazität ist so groß, dass seine Generalisierungsgarantien zusammenbrechen: Wer alles fitten kann, hat nichts gelernt. Die Theorie sagt: Dieses Modell wird auf neuen Daten versagen.

Dasselbe Modell, mit den richtigen Labels trainiert, erreicht Weltklasse-Genauigkeit auf Bildern, die es nie gesehen hat.

Beides ist wahr. Und zwischen diesen beiden Wahrheiten liegt die interessanteste offene Frage des maschinellen Lernens: Warum funktioniert Deep Learning, obwohl es nach der Theorie, die wir haben, nicht funktionieren dürfte?

Dieser Artikel erzählt, was wir in den rund zehn Jahren seit diesem Befund dazugelernt haben. Es ist keine Geschichte mit einem triumphalen Ende. Es ist die Geschichte einer Kurve, die wir falsch gezeichnet hatten, einer Vorgeschichte, die wir nicht gelesen hatten, eines Phänomens mit einem albernen Namen, das die zeitliche Dimension des Problems offenlegte – und eines Einspruchs, der behauptet, wir hätten die ganze Zeit die falsche Achse beschriftet.

Teil 1: Was die klassische Statistik versprach

Um zu verstehen, was gebrochen wurde, muss man wissen, was versprochen war. Und das Versprechen war schön, intuitiv und über Jahrzehnte verlässlich.

Der Erwartungsfehler eines Modells lässt sich in Komponenten zerlegen. Für den quadratischen Verlust ist die Zerlegung exakt:

Erwarteter Testfehler = Bias² + Varianz + irreduzibles Rauschen

Der Bias misst den systematischen Fehler: Wie weit liegt die bestmögliche Funktion, die meine Modellklasse überhaupt darstellen kann, von der Wahrheit entfernt? Eine Gerade, die eine Parabel approximieren soll, hat hohen Bias, egal wie viele Daten man ihr gibt.

Die Varianz misst die Instabilität: Wie stark ändert sich meine gelernte Funktion, wenn ich den Trainingsdatensatz gegen einen anderen, gleich großen aus derselben Verteilung austausche? Ein Polynom 49. Grades durch 50 Punkte hat gewaltige Varianz – verschiebe einen Punkt leicht, und die Kurve schlägt woanders aus.

Daraus folgt die berühmte U-Kurve. Steigende Modellkomplexität senkt den Bias und hebt die Varianz. Am Anfang dominiert der Bias-Gewinn, der Testfehler sinkt. Irgendwann dominiert der Varianz-Verlust, der Testfehler steigt. Zwischen beidem liegt ein Optimum – der „sweet spot" –, und die ganze Disziplin der Modellauswahl bestand darin, ihn zu finden: Kreuzvalidierung, AIC, BIC, Regularisierungspfade, Pruning von Entscheidungsbäumen.

Diese Kurve ist in jedem Lehrbuch. Sie ist an die Wand jedes Statistik-Seminarraums gemalt. Und sie hat eine klare normative Konsequenz: Ein Modell, das die Trainingsdaten exakt interpoliert – Trainingsfehler null –, ist per Definition jenseits des Optimums. Es hat sich das Rauschen gemerkt. Es ist überangepasst. Es wird schlecht generalisieren.

Diese Konsequenz war so selbstverständlich, dass sie gar nicht mehr als Hypothese wahrgenommen wurde, sondern als Eigenschaft der Welt. Und genau sie ist falsch – oder jedenfalls so unvollständig, dass sie in die Irre führt.

Teil 2: Die doppelte Senke

2019 veröffentlichten Mikhail Belkin, Daniel Hsu, Siyuan Ma und Soumik Mandal in den Proceedings of the National Academy of Sciences (Band 116, S. 15849–15854) einen Artikel mit dem programmatischen Titel Reconciling modern machine-learning practice and the classical bias–variance trade-off. Ihr Vorschlag: Die U-Kurve ist nicht falsch. Sie ist nur abgeschnitten. Wir hatten jahrzehntelang nur ihre linke Hälfte betrachtet, weil rechts davon niemand hinsah.

Die zentrale Größe ist die Interpolationsschwelle: jener Punkt, an dem die Kapazität des Modells gerade ausreicht, die Trainingsdaten exakt zu treffen (grob: Zahl der Parameter \(\approx\) Zahl der Trainingsbeispiele). Bis dorthin verhält sich alles wie im Lehrbuch: U-Kurve, Minimum, dann Anstieg. Und direkt an der Schwelle schießt der Testfehler in eine Spitze – dort ist das Modell am schlechtesten, denn es gibt genau eine Funktion, die durch alle Punkte geht, und die muss jede Rauschwelle mitnehmen.

Der überraschende Teil beginnt rechts davon. Treibt man die Kapazität weiter hoch, weit über die Interpolationsschwelle hinaus, sinkt der Testfehler wieder – und zwar oft unter das Niveau des klassischen „sweet spot" links der Schwelle. Belkin et al. formulieren es so: „increasing model capacity beyond the point of interpolation results in improved performance". Die vollständige Kurve hat also zwei Senken: die klassische links, eine zweite, oft tiefere rechts. Daher der Name Double Descent.

Warum es jenseits der Schwelle besser wird

Die Erklärung ist zunächst kontraintuitiv und dann, wenn man sie einmal gesehen hat, fast offensichtlich.

Links der Schwelle gibt es keine interpolierende Lösung – das Modell kann die Daten nicht exakt treffen, also sucht es die bestmögliche Annäherung. An der Schwelle gibt es genau eine – und man hat keine Wahl, man bekommt sie, inklusive aller Verrenkungen, die das Rauschen erzwingt.

Rechts der Schwelle gibt es unendlich viele interpolierende Lösungen. Alle haben Trainingsfehler null. Und damit wird die entscheidende Frage nicht mehr „interpoliert mein Modell?", sondern: „Welche der vielen interpolierenden Lösungen wählt mein Trainingsverfahren aus?"

Hier liegt der Hebel. Gradientenabstieg wählt nicht zufällig. Er hat eine Vorliebe – und zwar für Lösungen mit kleiner Norm, also „glatte", energiearme Funktionen. Man nennt das implizite Regularisierung: Der Optimierer regularisiert, ohne dass man ihn darum gebeten hätte. Je mehr Parameter man hat, desto größer der Raum interpolierender Lösungen und desto glatter kann die glatteste unter ihnen sein. Mehr Kapazität bedeutet also nicht mehr Verrenkung, sondern mehr Auswahl – und der Optimierer nutzt die Auswahl gut.

Belkin et al. zeigten das nicht nur für neuronale Netze, sondern für eine Reihe einfacherer Modellklassen, in denen man rechnen und nachvollziehen kann: Random Fourier Features (zufällige trigonometrische Basisfunktionen, deren Anzahl man sauber durchvariieren kann), Entscheidungsbäume und Random Forests. Das war der rhetorisch wichtigste Teil ihrer Arbeit: Double Descent ist keine Eigentümlichkeit tiefer Netze. Es ist ein Phänomen des überparametrisierten Interpolierens als solchem.

Teil 3: Die Vorgeschichte, die niemand gelesen hatte

Es gehört zur intellektuellen Redlichkeit dieses Themas, eine Fußnote zum Hauptkapitel zu machen. Denn Double Descent war 2019 nicht neu. Es war wiederentdeckt.

Ein Jahr nach Belkins Artikel, 2020, veröffentlichten Marco Loog, Tom Viering, Alexander Mey, Jesse Krijthe und David Tax in denselben Proceedings (Band 117, S. 10625–10626) einen zweiseitigen Leserbrief mit dem trockenen Titel A brief prehistory of double descent. Ihr Befund: Die Kurve war unter anderem Namen seit Jahrzehnten bekannt, nämlich als „peaking phenomenon" – die Beobachtung, dass Lernkurven an der Stelle, wo die Modellkomplexität die Stichprobengröße erreicht, eine Spitze aufweisen, um danach wieder zu fallen.

Die Belege, die Loog et al. aufführen, sind konkret:

• Vallet et al. (1989) zeigten experimentell doppelt absteigende Kurven für Klassifikatoren auf Basis linearer Regression minimaler Norm.
• Opper et al. (1990) lieferten das erste theoretische Resultat: Die Pseudoinverse-Lösung verbessert sich, wenn man sich von der Spitze bei \(\alpha = 1\) (Stichprobengröße relativ zur Komplexität) entfernt.
• Skurichina und Duin (1998) demonstrierten experimentell, dass das Hinzufügen zufälliger Merkmale die Leistung genau an der kritischen Stelle verbessert – das ist Double Descent in Reinform, 21 Jahre vor dem Namen.
• Raudys und Duin (1998) analysierten den Effekt für den Pseudo-Fisher-Diskriminanten, Duin (2000) zeigte ihn erstmals auf realen Daten, Krijthe und Loog (2016) erweiterten ihn auf das halbüberwachte Lernen.

Ihre Formulierung des Grundmusters – „With increasing N, the risk initially decreases, attains a minimum, and then increases until N equals n" – ist exakt die linke Hälfte der Belkin-Kurve, geschrieben in der Sprache der Mustererkennung der 1990er Jahre.

Ich bin der Meinung, dass dieser Leserbrief die wichtigere Lektion enthält als die bibliografische Richtigstellung. Phänomene werden nicht allein durch Beobachtung Teil des Wissens, sondern dadurch, dass sie im richtigen Begriffsrahmen beobachtet werden. Vallet und Opper sahen eine Kuriosität an einem Randfall. Belkin et al. sahen dieselbe Kurve, standen aber in einer Welt, in der überparametrisierte Modelle der industrielle Normalfall waren – und konnten sie deshalb als Widerlegung einer Lehrbuchregel lesen. Derselbe Datenpunkt, zwei verschiedene Erkenntnisse. Wer in einer schnellen Disziplin arbeitet, sollte das als Warnung mitnehmen: Die Chance, dass ein überraschender Befund schon einmal gemacht wurde, ist hoch. Die Chance, dass er damals verstanden wurde, ist deutlich niedriger.

Teil 4: Deep Double Descent – und die zweite Achse

Belkins Kurve beschreibt Kapazität. Aber Deep Learning hat mehr als eine Stellschraube: Man kann das Modell größer machen, man kann länger trainieren, man kann mehr Daten nehmen. Was passiert auf diesen Achsen?

Die Antwort gaben Preetum Nakkiran, Gal Kaplun, Yamini Bansal, Tristan Yang, Boaz Barak und Ilya Sutskever in Deep Double Descent: Where Bigger Models and More Data Hurt (arXiv Dezember 2019, ICLR 2020, später J. Stat. Mech. 2021, Artikel 124003). Sie fanden drei Dinge, und das dritte ist das unbequemste.

Erstens: modellweise Double Descent. Über ResNet18 mit variierender Breite, fünfschichtige CNNs und Transformer-Encoder-Decoder auf CIFAR-10, CIFAR-100, IWSLT'14 (Deutsch→Englisch) und WMT'14 (Englisch→Französisch) zeigt sich die doppelte Senke in moderner Architektur. Die Spitze liegt nicht irgendwo, sondern systematisch an der Interpolationsschwelle: „The peak in test error systematically occurs at the interpolation threshold".

Zweitens: epochenweise Double Descent. Das ist der wirklich neue Befund. Hält man die Modellgröße fest und variiert nur die Trainingsdauer, zeigt sich dieselbe Form: Der Testfehler sinkt, steigt wieder, und sinkt dann erneut. Mit Nakkirans Worten: „double descent occurs not just as a function of model size, but also as a function of the number of training epochs."

Dass diese zwei Achsen dieselbe Kurve erzeugen, legt nahe, dass die eigentliche Größe keine von beiden ist. Nakkiran et al. schlagen deshalb die effektive Modellkomplexität (EMC) vor: nicht die Parameterzahl, sondern die größte Anzahl n von Trainingsbeispielen, die das Trainingsverfahren noch (bis auf \(\varepsilon\)) fehlerfrei fitten kann. Formal:

\(\mathrm{EMC}^{D}_{\varepsilon}(T) := \max{\, n \mid \mathbb{E}_{S \sim D^{n}}\left[\mathrm{Error}_S(T(S))\right] \le \varepsilon \,}\)

Entscheidend ist das T: Nicht das Modell hat eine Komplexität, sondern das Trainingsverfahren – Architektur, Optimierer, Lernrate, Epochen, Regularisierung, alles zusammen. Die EMC steigt mit der Breite, aber eben auch mit der Trainingsdauer. Darum ergeben beide Achsen dieselbe Kurve: Sie sind zwei Wege, dieselbe Größe zu erhöhen.

Daraus formulieren sie die generalisierte Double-Descent-Hypothese: Weit unterhalb von EMC \(\approx n\) senkt mehr Komplexität den Testfehler. Weit oberhalb senkt mehr Komplexität ihn ebenfalls. Nur im kritisch parametrisierten Bereich, wo EMC \(\approx n\) gilt, ist das Verhalten unbestimmt – dort „might [a perturbation] decrease or increase the test error".

Das ist ein bemerkenswert ehrlicher Satz für ein Paper. Er sagt: In einem schmalen, aber genau dem Bereich, in dem viele Praktiker aus Budgetgründen arbeiten, ist die Richtung der Wirkung nicht vorhersagbar.

Der unbequeme Befund: mehr Daten können schaden

Jetzt das dritte Ergebnis, das der Intuition am stärksten widerspricht. Aus der EMC-Perspektive folgt eine Vorhersage, die niemand freiwillig aufstellen würde: Wenn mehr Daten die Interpolationsschwelle nach rechts verschieben, kann ein Modell, das vorher komfortabel überparametrisiert war, durch den Datenzuwachs in den kritischen Bereich hineingeschoben werden – und dort schlechter werden.

Nakkiran et al. beobachteten genau das. Bei Transformern auf IWSLT'14 Deutsch→Englisch führte eine Vergrößerung des Datensatzes um den Faktor 4,5 (von etwa 4.000 auf etwa 18.000 Beispiele) zu schlechterer Testleistung. Ihre Formulierung: „Increasing the number of samples by a factor of 4.5 results in worse test performance."

Das ist kein Messfehler und kein pathologischer Sonderfall. Es ist die logische Konsequenz der Geometrie: Mehr Daten sind gut, wenn man weit von der Schwelle entfernt ist; sie sind gefährlich, wenn sie die Schwelle genau unter das eigene Modell schieben. Die praktische Konsequenz, die man sich merken sollte: „Mehr Daten helfen immer" ist keine Wahrheit, sondern eine Heuristik mit bekanntem Ausnahmebereich – und die Ausnahme ist genau die Situation, in der Modell- und Datengröße ähnlich skaliert sind.

Dass Label-Rauschen hier der Verstärker ist, passt ins Bild. Nakkiran et al. testeten 10 %, 15 % und 20 % Label-Rauschen; mit mehr Rauschen wird die Spitze an der Interpolationsschwelle deutlich ausgeprägter. Bei sauberen Labels ist sie oft so flach, dass man sie übersieht. Das erklärt nebenbei, warum das Phänomen so lange unbemerkt blieb: In gepflegten Benchmark-Datensätzen ist es schwach. In echten Unternehmensdaten – wo 10 % falsche Labels eher optimistisch sind – ist es stark.

Teil 5: Gutartiges Überanpassen – die Theorie dahinter

Phänomenologie ist nützlich, aber sie erklärt nichts. Warum darf ein interpolierendes Modell gut sein? Hier liefert die statistische Lerntheorie eine Antwort, allerdings in einem Setting, das bewusst einfach gehalten ist: der linearen Regression.

Peter Bartlett, Philip Long, Gábor Lugosi und Alexander Tsigler veröffentlichten 2020 in PNAS Benign Overfitting in Linear Regression (DOI 10.1073/pnas.1907378117). Ihre Eröffnung benennt das Rätsel präzise: „The phenomenon of benign overfitting is one of the key mysteries uncovered by deep learning methodology: deep neural networks seem to predict well, even with a perfect fit to noisy training data."

Ihr Ansatz: Untersuche die Lösung minimaler Norm, die die Daten exakt interpoliert, und frage, unter welchen Bedingungen an die Datenverteilung ihr Risiko klein bleibt. Die Antwort hängt nicht an der Parameterzahl, sondern an der Struktur der Kovarianzmatrix der Eingaben – charakterisiert über Begriffe des effektiven Rangs.

Die Intuition, die man mitnehmen kann, ist diese: Das Rauschen in den Trainingslabels muss irgendwohin. In einem Modell mit wenigen Richtungen muss es in die Richtungen, die auch die Signalvorhersage tragen – dort verdirbt es die Vorhersage. In einem Modell mit sehr vielen, vor allem vielen schwach gewichteten Richtungen kann sich das Rauschen über eine große Zahl unwichtiger Dimensionen verteilen, in denen es kaum Schaden anrichtet. Überanpassung wird gutartig, wenn es genug harmlose Verstecke für das Rauschen gibt.

Ihr Resultat ist dabei bemerkenswert unromantisch: Überparametrisierung ist „essential for benign overfitting in this setting" – aber sie reicht nicht. Die Verteilung muss mitspielen, und der Bereich zulässiger Verteilungen ist in endlichdimensionalen Räumen, deren Dimension schneller wächst als die Stichprobe, deutlich enger als im unendlichdimensionalen Fall.

Für die Praxis heißt das: Gutartiges Überanpassen ist kein Naturgesetz, auf das man sich verlassen kann, sondern eine Eigenschaft bestimmter Daten-Modell-Konstellationen. Dass es bei Bildern und Sprache gut funktioniert, ist eine empirische Tatsache über Bilder und Sprache, nicht über Interpolation an sich.

Teil 6: Grokking – die Einsicht mit Verspätung

2022 veröffentlichten Alethea Power, Yuri Burda, Harri Edwards, Igor Babuschkin und Vedant Misra einen Befund, der die zeitliche Dimension auf die Spitze trieb: Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets (arXiv, Januar 2022). Der Name ist ein Verb aus Robert Heinleins Roman Fremder in einer fremden Welt und bedeutet dort etwa „bis in die Tiefe begreifen".

Das Setup ist mit Absicht winzig: ein kleiner Transformer, trainiert auf algorithmisch erzeugten Aufgaben – etwa modulare Addition, also a + b mod p. Man gibt dem Netz einen Teil der Additionstabelle als Training und hält den Rest als Testmenge zurück.

Was passiert, ist in zwei Phasen zu beschreiben:

Phase 1 – Memorisierung. Nach relativ wenigen Schritten hat das Netz die Trainingsbeispiele auswendig gelernt: Trainingsgenauigkeit 100 %. Die Testgenauigkeit liegt bei Zufallsniveau. Das ist das klassische Bild des Überanpassens. Jedes Lehrbuch und jedes vernünftige Early-Stopping-Kriterium sagt an dieser Stelle: abbrechen, es wird nicht besser.

Phase 2 – nichts. Man trainiert weiter. Und weiter. Zehntausende Schritte, in denen die Trainingsgenauigkeit auf 100 % steht und die Testgenauigkeit sich nicht rührt. Aus jeder Beobachterperspektive ist das Training fertig und gescheitert.

Dann, plötzlich, Phase 3. Die Testgenauigkeit schießt von Zufallsniveau auf nahezu perfekt. Das Netz hat die Regel gefunden. Power et al. beschreiben es als Verbesserung „from random chance level to perfect generalization", und zwar „well past the point of overfitting". Außerdem fanden sie: Je kleiner der Trainingsdatensatz, desto länger die Wartezeit – „smaller datasets require increasing amounts of optimization for generalization".

Wenn Double Descent die These „Interpolation ist das Ende" widerlegt, dann widerlegt Grokking die These „wenn die Validierungskurve flach liegt, ist nichts mehr zu holen". Beide Lehrsätze waren tragende Wände der Praxis.

Was im Inneren geschieht

Ein plötzlicher Sprung in einer Metrik ist eine Einladung zum Mystifizieren. Dagegen hilft nur, ins Modell zu schauen – und genau das taten Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith und Jacob Steinhardt in Progress measures for grokking via mechanistic interpretability (ICLR 2023).

Sie nahmen die kleinen Transformer der modularen Addition und rekonstruierten den gelernten Algorithmus vollständig. Das Ergebnis ist schön: Das Netz hat Addition in Drehung übersetzt. Es bildet die Eingaben auf Winkel ab, benutzt diskrete Fourier-Transformationen und trigonometrische Identitäten, um die Summe als Drehung auf einem Kreis darzustellen, und liest das Ergebnis am Winkel ab. Modulare Addition ist Drehung – das Netz hat die naturgemäße Darstellung des Problems selbst gefunden. Bestätigt wurde das nicht durch Interpretation von Diagrammen, sondern durch Ablationen im Fourier-Raum: Schaltet man die identifizierten Frequenzkomponenten ab, bricht die Leistung zusammen.

Mit diesem Verständnis definierten sie Fortschrittsmaße, die kontinuierlich messen, was die Genauigkeit nur sprunghaft zeigt. Und damit zerfällt das Training in drei Phasen: Memorisierung, Circuit-Bildung (der Fourier-Mechanismus wächst allmählich in den Gewichten heran, während die Metriken flach aussehen) und Cleanup (die auswendig gelernten Komponenten werden abgebaut, meist getrieben durch Weight Decay).

Ihre eigene Zusammenfassung räumt mit dem Mystizismus auf: Grokking „rather than being a sudden shift, arises from the gradual amplification of structured mechanisms encoded in the weights, followed by the later removal of memorizing components."

Das ist die eigentliche Erkenntnis: Der Sprung war nie im Modell. Er war in unserer Metrik. Die Genauigkeit auf der Testmenge ist eine Schwellenmessung – sie zeigt nichts, solange die generalisierende Lösung schwächer ist als die memorierende, und alles, sobald sie überwiegt. Darunter läuft ein kontinuierlicher Prozess.

Für jeden, der Systeme überwacht, ist das eine übertragbare Lektion. Eine Metrik, die lange flach liegt und dann sprunghaft kippt, ist ein starker Hinweis darauf, dass man eine Schwelle beobachtet und nicht den Prozess. Die Frage ist dann nicht „warum ist es plötzlich passiert?", sondern „welche kontinuierliche Größe hätte ich stattdessen messen müssen?".

Omnigrok: Grokking als Geometrie

Ziming Liu, Eric Michaud und Max Tegmark lieferten mit Omnigrok: Grokking Beyond Algorithmic Data (ICLR 2023) die komplementäre Sicht – nicht „welcher Algorithmus", sondern „welche Landschaft".

Ihre Beobachtung: Trägt man Trainings- und Testverlust gegen die Gewichtsnorm auf, haben die beiden Kurven verschiedene Form. Der Trainingsverlust fällt und bleibt dann niedrig, über einen weiten Bereich von Normen – Form eines „L". Der Testverlust hat ein echtes Minimum bei einer mittleren Norm und steigt zu beiden Seiten – Form eines „U". Sie nennen das den LU-Mechanismus.

Damit wird Grokking zu einer Reiseroute: Die Initialisierung setzt das Netz bei großer Gewichtsnorm ab. Dort erreicht es schnell niedrigen Trainingsverlust (das L ist flach), aber hohen Testverlust (das U ist dort hoch) – Memorisierung. Weight Decay zieht die Norm dann langsam nach unten, Richtung U-Minimum. Der Trainingsverlust bleibt dabei die ganze Zeit niedrig, es passiert sichtbar nichts – bis das Netz in den Bereich der guten Generalisierung einwandert, und zwar schlagartig in der Metrik.

Das erklärt zwanglos, was man empirisch sieht: die Abhängigkeit von der Datenmenge, die Abhängigkeit von Weight Decay, das Entstehen von Repräsentationen. Und es lieferte Liu et al. ein Prüfkriterium, das stärker ist als jede Erklärung: Sie konnten Grokking auf Bestellung erzeugen – auf Bild-, Sprach- und Molekülaufgaben, also weit außerhalb algorithmischer Spielzeugdaten – und es umgekehrt bei algorithmischen Daten beseitigen, indem sie an der Initialisierungsnorm drehten. Ein Mechanismus, mit dem man ein Phänomen an- und ausschalten kann, ist deutlich mehr als eine Erzählung.

Teil 7: Der Einspruch – ist Double Descent ein Artefakt?

Eine Geschichte, die nur aus bestätigenden Befunden besteht, sollte misstrauisch machen. Also zum Einspruch, und er ist gut.

Alicia Curth, Alan Jeffares und Mihaela van der Schaar argumentieren in A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning (NeurIPS 2023), dass Double Descent in den klassischen, nicht-tiefen Beispielen – Bäume, Boosting, lineare Regression – ein Artefakt der Parameterzählung ist.

Der Kern ihres Arguments: Wenn man in solchen Beispielen „die Komplexität" von links nach rechts erhöht, wechselt man unterwegs unbemerkt die Komplexitätsachse. Bei Baum-Ensembles etwa vergrößert man zunächst die Bäume (Tiefe, Blätter) – das erzeugt die klassische U-Kurve. Ist das ausgereizt, erhöht man die Zahl der Bäume im Ensemble – eine völlig andere Achse, auf der Mittelung über Modelle die Varianz senkt. Die berühmte Kurve ist dann keine einzige Kurve, sondern zwei aneinandergeklebte Kurven. Ihre Formulierung: „the second descent appears exactly (and only) when and where the transition between these underlying axes occurs".

Ihr konstruktiver Gegenvorschlag ist, nicht rohe Parameter zu zählen, sondern die effektive Zahl der Parameter, die ein Modell bei der Vorhersage auf neuen Eingaben tatsächlich benutzt – eine Größe aus der Theorie der Smoother, die misst, wie stark über Trainingslabels geglättet wird. Diese Größe wächst im Interpolationsregime eben nicht weiter mit, obwohl die rohe Parameterzahl es tut. Und wenn man den Testfehler gegen sie aufträgt, passiert Folgendes: „once we control for the effective parameters of each model in this way, we consistently observe that each example indeed folds back into shapes that are best characterized as standard convex (U-shaped) curves".

Die Kurve klappt zurück in ein U. Ihre Pointe in fünf Worten: „not all model parameters are created equal".

Wie ist das einzuordnen? Ich bin der Meinung, dass dieser Einspruch die klassischen Beispiele überzeugend entzaubert, ohne das Deep-Learning-Rätsel aufzulösen. Er verschiebt die Frage, und zwar produktiv: Nicht mehr „warum bricht die U-Kurve?", sondern „was ist die richtige Komplexitätsachse für ein neuronales Netz?". Nakkirans effektive Modellkomplexität und Curths effektive Parameterzahl sind zwei Antworten auf dieselbe Frage, aus verschiedenen Traditionen. Dass beide nötig wurden, zeigt vor allem eines: Die Parameterzahl, diese Größe, mit der wir Modelle benennen und Pressemitteilungen schreiben, ist als Komplexitätsmaß weitgehend untauglich.

Teil 8: Ein Entscheidungsrahmen für die Praxis

Vier Phänomene, eine Frage: Was macht man damit, wenn man am Montag ein Modell trainieren muss? Die folgende Tabelle ist mein Versuch, die Befunde in Handlungen zu übersetzen.

Drei Dinge, die ich daraus für den Alltag als robust ansehe:

Erstens: Die Validierungsmenge ist nicht geschrumpft, sondern aufgewertet. Wenn Theorie keine verlässliche Vorhersage über die Richtung liefert – und im kritischen Bereich tut sie das ausdrücklich nicht –, dann ist Messen nicht die billige Alternative zum Verstehen, sondern das einzig verfügbare Verfahren. Eine saubere, nie zum Tuning benutzte Testmenge ist unter diesen Umständen mehr wert als jede Intuition über Parameterzahlen.

Zweitens: „Mehr Parameter als Datenpunkte" ist kein Alarmsignal mehr. Es ist der Normalfall jedes modernen Modells. Wer in einer Code-Review eine Architektur mit dem Argument „die hat mehr Parameter als wir Beispiele haben" ablehnt, benutzt eine Regel, deren Geltungsbereich seit 2019 bekannt begrenzt ist.

Drittens: Monotonie-Annahmen gehören überprüft, nicht geglaubt. „Größer ist besser", „länger ist besser", „mehr Daten ist besser" – alle drei sind empirisch meistens richtig und nachweislich nicht immer. Der Bereich, in dem sie kippen, ist derselbe: die kritische Zone rund um die Interpolationsschwelle.

Erkenntnis zum Mitnehmen

Die Bias-Varianz-U-Kurve ist nicht widerlegt worden. Sie wurde als Spezialfall entlarvt – gültig links der Interpolationsschwelle, blind gegenüber allem, was rechts davon passiert, und gezeichnet auf einer Achse (Parameterzahl), die sich als das falsche Komplexitätsmaß erwiesen hat. Die Gegenbewegung von Curth et al. bestätigt das von der anderen Seite: Mit der richtigen Achse klappt die Kurve in vielen klassischen Fällen in ein U zurück. Beide Befunde zeigen in dieselbe Richtung – unser Problem war nie die Kurve, sondern ihre Beschriftung.

Das gemeinsame Muster hinter Zhang, Belkin, Nakkiran, Bartlett, Power, Nanda und Liu lautet: Was ein Modell kann, ist nicht, was es tut. Kapazität sagt, welche Funktionen darstellbar sind. Was tatsächlich gelernt wird, bestimmt das Zusammenspiel von Optimierer, Initialisierung, Regularisierung und Datenstruktur – und dieses Zusammenspiel hat kein etabliertes Maß. Deshalb konnte dasselbe Netz CIFAR-10 mit Zufallslabels auswendig lernen und mit echten Labels generalisieren: Die Kapazität war beide Male identisch, die implizite Vorliebe des Lernverfahrens traf beide Male auf eine andere Datenstruktur.

Konkret, wenn du diese Woche eine Sache tun willst: Nimm das letzte Modell, bei dem du das Training abgebrochen hast, weil „die Validierungskurve nicht mehr runterging", und protokolliere drei kontinuierliche Größen nach: den Verlust statt der Genauigkeit, die Norm der Gewichte, und den Trainingsfehler auf den verrauschtesten 10 % deiner Labels. Wenn eine davon in der flachen Phase noch Bewegung zeigt, hast du vermutlich zu früh abgebrochen – und du hast ein Diagnosewerkzeug gewonnen, das Schwellenmetriken dir nie geben werden.

Querverweise im Vault

Double Descent und die Skalierungsgesetze sind zwei Antworten auf dieselbe Frage nach dem Verhältnis von Modellgröße, Datenmenge und Fehler – Chinchilla gibt die Rezeptseite, dieser Artikel die Pathologie am Rand: Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI. Die mechanistische Rekonstruktion des Fourier-Algorithmus beim Grokking kommt direkt aus der Werkzeugkiste, die hier beschrieben ist: Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest. Die implizite Regularisierung, die unter all dem liegt, ist eine Eigenschaft des Gradientenabstiegs selbst: Der Fehler, der rückwärts lernt: Backpropagation, die Kettenregel und der Algorithmus hinter dem Deep Learning. Dass die Grokking-Experimente auf kleinen Transformern liefen, ist kein Zufall – die Architektur macht solche Mikroexperimente überhaupt handhabbar: Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI. Philosophisch ist das hier verhandelte Problem Humes: Warum sollte eine Funktion, die auf gesehenen Daten passt, auf ungesehenen passen? Double Descent zeigt, dass die Antwort an der Auswahlvorliebe hängt, nicht an der Datenmenge: Warum die Sonne morgen aufgeht: Humes Induktionsproblem, grue und die Grenzen des Lernens. Und dass eine lange Phase scheinbaren Stillstands der eigentliche Lernvorgang sein kann, hat eine überraschend genaue Parallele in der menschlichen Lernforschung: Wünschenswerte Schwierigkeiten: Warum müheloses Lernen täuscht und das Gedächtnis von der Anstrengung lebt.

Zum Nachdenken

Grokking ist kein Phänomen des Modells, sondern unserer Messung: Der Sprung entsteht, weil wir eine Schwelle beobachten, während darunter ein kontinuierlicher Prozess läuft. Die Testgenauigkeit zeigt erst etwas, wenn das generalisierende Verfahren das memorierende überwiegt – vorher nichts.

Welche Fortschrittsmaße in deiner Arbeit sind in diesem Sinne Schwellenmetriken? Ein Build, der rot oder grün ist; ein Projekt, das „on track" ist, bis es es nicht mehr ist; eine Fähigkeit, die man „hat" oder „nicht hat". Und wenn du für eine davon eine kontinuierliche Größe finden müsstest, die den Fortschritt vor dem Umschlagen zeigt – welche wäre das, und warum messen wir sie nicht?

Quellen

• C. Zhang, S. Bengio, M. Hardt, B. Recht, O. Vinyals, „Understanding deep learning requires rethinking generalization", International Conference on Learning Representations (ICLR) 2017, arXiv:1611.03530 (Zitate: „easily fit a random labeling of the training data", „qualitatively unaffected by explicit regularization"): https://arxiv.org/abs/1611.03530
• M. Belkin, D. Hsu, S. Ma, S. Mandal, „Reconciling modern machine-learning practice and the classical bias–variance trade-off", Proceedings of the National Academy of Sciences U.S.A. 116, 2019, S. 15849–15854, DOI 10.1073/pnas.1903070116 (Zitat: „increasing model capacity beyond the point of interpolation results in improved performance"): https://www.pnas.org/doi/10.1073/pnas.1903070116
• M. Loog, T. Viering, A. Mey, J. H. Krijthe, D. M. J. Tax, „A brief prehistory of double descent", Proceedings of the National Academy of Sciences U.S.A. 117(20), 2020, S. 10625–10626, DOI 10.1073/pnas.2001875117 (nennt Vallet et al. 1989, Opper et al. 1990, Skurichina & Duin 1998, Raudys & Duin 1998, Duin 2000, Krijthe & Loog 2016; Zitate: „With increasing N, the risk initially decreases, attains a minimum, and then increases until N equals n", „increasing PFLD's complexity simply by adding random features can improve performance when N = n"): https://www.pnas.org/doi/10.1073/pnas.2001875117
• P. Nakkiran, G. Kaplun, Y. Bansal, T. Yang, B. Barak, I. Sutskever, „Deep Double Descent: Where Bigger Models and More Data Hurt", ICLR 2020; auch Journal of Statistical Mechanics: Theory and Experiment 2021, Artikel 124003, DOI 10.1088/1742-5468/ac3a74 (EMC-Definition, „double descent occurs not just as a function of model size, but also as a function of the number of training epochs", „The peak in test error systematically occurs at the interpolation threshold", „Increasing the number of samples by a factor of 4.5 results in worse test performance"): https://arxiv.org/abs/1912.02292
• P. L. Bartlett, P. M. Long, G. Lugosi, A. Tsigler, „Benign overfitting in linear regression", Proceedings of the National Academy of Sciences U.S.A., 2020, DOI 10.1073/pnas.1907378117 (Zitate: „The phenomenon of benign overfitting is one of the key mysteries uncovered by deep learning methodology", „overparameterization is essential for benign overfitting in this setting"): https://arxiv.org/abs/1906.11300
• A. Power, Y. Burda, H. Edwards, I. Babuschkin, V. Misra, „Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets", arXiv:2201.02177, Januar 2022 (Zitate: „from random chance level to perfect generalization", „well past the point of overfitting", „smaller datasets require increasing amounts of optimization for generalization"): https://arxiv.org/abs/2201.02177
• N. Nanda, L. Chan, T. Lieberum, J. Smith, J. Steinhardt, „Progress measures for grokking via mechanistic interpretability", ICLR 2023, arXiv:2301.05217 (diskrete Fourier-Transformationen und trigonometrische Identitäten, Ablationen im Fourier-Raum, drei Phasen Memorisierung/Circuit-Bildung/Cleanup; Zitat: „arises from the gradual amplification of structured mechanisms encoded in the weights, followed by the later removal of memorizing components"): https://arxiv.org/abs/2301.05217
• Z. Liu, E. J. Michaud, M. Tegmark, „Omnigrok: Grokking Beyond Algorithmic Data", ICLR 2023, arXiv:2210.01117 (LU-Mechanismus, Induktion von Grokking auf Bild-, Sprach- und Molekülaufgaben, Beseitigung bei algorithmischen Daten): https://arxiv.org/abs/2210.01117
• A. Curth, A. Jeffares, M. van der Schaar, „A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning", Advances in Neural Information Processing Systems (NeurIPS) 2023 (Zitate: „the second descent appears exactly (and only) when and where the transition between these underlying axes occurs", „once we control for the effective parameters of each model in this way, we consistently observe that each example indeed folds back into shapes that are best characterized as standard convex (U-shaped) curves", „not all model parameters are created equal"): https://proceedings.neurips.cc/paper_files/paper/2023/file/aec5e2847c5ae90f939ab786774856cc-Paper-Conference.pdf

← All articles