Versuch und Irrtum in Vollendung: Reinforcement Learning von TD-Gammon über AlphaGo zu AlphaZero

Der Aufhänger: Ein Zug, den kein Mensch gespielt hätte

Am 10. März 2016 saß im Four Seasons Hotel in Seoul der wohl beste Go-Spieler seiner Generation, Lee Sedol, vor einem Brett und starrte auf einen Stein, der dort nicht hingehörte. Es war der 37. Zug der zweiten Partie im Fünf-Spiele-Duell gegen AlphaGo, das Go-Programm der Firma DeepMind. AlphaGo hatte einen Stein auf die fünfte Linie gesetzt, weit vom Geschehen entfernt, an eine Stelle, die jeder erfahrene Spieler als Anfängerfehler abgetan hätte. Die Kommentatoren im Livestream stutzten, einer sagte, er halte es für einen Bug. Lee Sedol verließ den Raum, um sich zu sammeln. Er brauchte fast fünfzehn Minuten für seine Antwort.

Dieser Zug – in der Go-Welt schlicht als „Zug 37" bekannt geworden – war kein Fehler. Er war eine strategische Vision, die sich erst rund fünfzig Züge später als Fundament einer siegreichen Stellung entpuppte. AlphaGo selbst schätzte die Wahrscheinlichkeit, dass ein menschlicher Meister diesen Zug gespielt hätte, auf etwa eins zu zehntausend. Die Maschine hatte nicht einen menschlichen Meister imitiert. Sie hatte etwas gespielt, das kein Mensch ihr beigebracht hatte und das dennoch tief richtig war. Am Ende gewann AlphaGo die Serie mit 4:1 – ein Ergebnis, das Fachleute erst ein Jahrzehnt später erwartet hatten.

Wie kann eine Maschine ein Spiel meistern, dessen Zahl möglicher Stellungen die der Atome im beobachtbaren Universum bei Weitem übersteigt, ohne dass ein Mensch ihr die entscheidenden Züge zeigt? Die Antwort ist eine der schönsten Ideen der künstlichen Intelligenz, und sie ist zugleich verblüffend alltäglich: Lernen durch Versuch, Irrtum und Belohnung. Genau das leistet das Reinforcement Learning, das bestärkende Lernen. Dieser Artikel verfolgt seinen Weg von einer schlichten mathematischen Idee über den ersten praktischen Triumph in den 1990er-Jahren bis zu den Systemen, die heute Spiele, Roboter und – wie ein Nachbarartikel in diesem Vault zeigt – sogar die Feinabstimmung großer Sprachmodelle antreiben.

Das Kernkonzept: Die dritte Art zu lernen

Das maschinelle Lernen kennt grob drei Familien. Beim überwachten Lernen zeigt man dem System Beispiele mit der richtigen Antwort: Dies ist eine Katze, jenes ein Hund. Beim unüberwachten Lernen sucht das System selbst Struktur in Daten ohne vorgegebene Etiketten. Das Reinforcement Learning ist die dritte, andersartige Familie – und es ist zugleich die, die dem Lernen von Lebewesen am nächsten kommt.

Im Reinforcement Learning gibt es keinen Lehrer, der bei jedem Schritt die richtige Antwort verrät. Es gibt nur einen Agenten, der in einer Umgebung handelt, und ein Belohnungssignal, das ihm gelegentlich sagt, ob es ihm gut oder schlecht ergeht. Der Agent wählt Handlungen, beobachtet, wie die Umgebung reagiert, kassiert Belohnung oder Strafe, und muss daraus ganz allein herausfinden, welches Verhalten sich langfristig auszahlt. Niemand sagt ihm, welcher einzelne Zug gut war – nur, dass er die Partie am Ende gewonnen oder verloren hat.

Genau darin liegt die Schwierigkeit und die Schönheit des Feldes. Ein Kind, das Fahrradfahren lernt, bekommt keine beschrifteten Beispiele idealer Lenkbewegungen. Es probiert, fällt hin, korrigiert und spürt irgendwann das Gleichgewicht. Ein Hund, der ein Kunststück lernt, versteht keine Regel, sondern verknüpft Verhalten mit Leckerli. Das Reinforcement Learning gießt diese uralte Lernform in Mathematik. Seine Wurzeln reichen von der behavioristischen Psychologie – Edward Thorndikes „Gesetz der Wirkung" von 1911, wonach belohntes Verhalten gestärkt wird – über die Kontrolltheorie bis zu Richard Bellmans dynamischer Programmierung der 1950er-Jahre. Das kanonische Lehrbuch des Feldes, Reinforcement Learning: An Introduction von Richard Sutton und Andrew Barto (erste Auflage 1998, gründlich überarbeitete zweite Auflage 2018), gilt bis heute als Standardwerk.

Die zentrale Herausforderung trägt einen eigenen Namen: das Problem der Kreditzuweisung (credit assignment). Wenn eine Schachpartie nach vierzig Zügen verloren geht – welcher Zug war schuld? Der Fehler passierte vielleicht in Zug zwölf, aber die Quittung kam erst in Zug vierzig. Der Agent muss lernen, eine späte, spärliche Belohnung rückwärts auf die vielen Handlungen zu verteilen, die sie verursacht haben. Wie das gelingt, ist der rote Faden dieses Artikels.

Teil 1: Die Bausteine – Zustand, Aktion, Belohnung und der Markow-Rahmen

Um das Reinforcement Learning greifbar zu machen, hat man es in einen klaren mathematischen Rahmen gegossen: den Markow-Entscheidungsprozess (Markov Decision Process, MDP). Er besteht aus wenigen Zutaten, die sich am Beispiel eines Spiels leicht verstehen lassen.

Da ist erstens der Zustand (state, \(s\)): eine vollständige Beschreibung der Situation, in der sich der Agent befindet – beim Go die Stellung aller Steine auf dem Brett, beim Roboter die Gelenkwinkel und Geschwindigkeiten. Zweitens die Aktion (action, \(a\)): die Wahl, die der Agent in diesem Zustand treffen kann – ein Stein an eine bestimmte Kreuzung, ein Motor in eine bestimmte Richtung. Drittens die Belohnung (reward, \(r\)): ein Zahlenwert, den die Umgebung nach jeder Handlung zurückgibt und der beschreibt, wie erstrebenswert das Ergebnis war. Viertens die Übergangsdynamik: die Regel, nach der aus einem Zustand und einer Aktion der nächste Zustand entsteht.

Der Namensgeber des Rahmens, der russische Mathematiker Andrei Markow, steuert eine entscheidende Vereinfachung bei, die Markow-Eigenschaft: Der nächste Zustand hängt nur vom gegenwärtigen Zustand und der gegenwärtigen Aktion ab, nicht von der gesamten Vorgeschichte. Das Brett von jetzt enthält alles, was man wissen muss, um weiterzuspielen – wie man dorthin gelangt ist, spielt keine Rolle. Diese Annahme ist eine Idealisierung, aber sie macht das Problem berechenbar und beschreibt viele Situationen erstaunlich gut.

Das Ziel des Agenten ist nun präzise formulierbar. Er sucht eine Strategie (policy, \(\pi\)) – eine Vorschrift, die jedem Zustand eine Aktion (oder eine Wahrscheinlichkeitsverteilung über Aktionen) zuordnet –, welche die erwartete kumulierte Belohnung maximiert. Wichtig ist das Wort „kumuliert": Es geht nicht um die Belohnung des nächsten Augenblicks, sondern um die Summe aller künftigen Belohnungen. Damit unendlich lange Zukünfte handhabbar bleiben und nahe Belohnungen etwas stärker zählen als ferne, führt man einen Diskontierungsfaktor \(\gamma\) zwischen 0 und 1 ein: Eine Belohnung in \(n\) Schritten wird mit \(\gamma^n\) gewichtet. Ein \(\gamma\) nahe 1 macht den Agenten weitsichtig, ein kleines \(\gamma\) kurzsichtig. Die zu maximierende Größe – die diskontierte Summe künftiger Belohnungen – nennt man den Ertrag (return).

Damit ist die gesamte Aufgabe in einem Satz gefangen: Finde die Strategie, die den erwarteten diskontierten Ertrag maximiert. Alles Weitere ist die Kunst, dies tatsächlich zu berechnen, wenn man die Umgebung nicht im Voraus kennt.

Teil 2: Bellmans Prinzip und der Wert eines Zustands

Der Schlüssel, um diese Aufgabe zu knacken, stammt von Richard Bellman, der in den 1950er-Jahren am Werkzeug der dynamischen Programmierung arbeitete. Bellman führte den zentralen Begriff der Wertfunktion ein. Der Wert \(V(s)\) eines Zustands ist der erwartete Ertrag, den ein Agent erzielt, wenn er in diesem Zustand startet und danach einer bestimmten Strategie folgt. Anschaulich: Wie gut ist es, gerade hier zu sein? Eine Schachstellung mit einer Dame mehr hat einen hohen Wert, eine mit hoffnungslos exponiertem König einen niedrigen.

Bellmans tiefe Einsicht ist eine Rekursion, die heute seinen Namen trägt – die Bellman-Gleichung. Sie besagt: Der Wert eines Zustands ist die unmittelbar zu erwartende Belohnung plus der diskontierte Wert des Zustands, in dem man als Nächstes landet. In Worten:

Wert von jetzt = sofortige Belohnung + \(\gamma\) × Wert des nächsten Zustands.

Diese Gleichung zerlegt ein gewaltiges Problem – die Bewertung einer ganzen, potenziell unendlichen Zukunft – in einen einzigen Schritt plus den bereits zusammengefassten Rest. Sie ist das mathematische Herz des gesamten Feldes. Das Bellmansche Optimalitätsprinzip fügt hinzu: Eine optimale Strategie hat die Eigenschaft, dass sie, egal wie man in einen Zustand geraten ist, von dort aus wieder optimal weiterspielt. Gute Entscheidungen bleiben gut, unabhängig von der Vorgeschichte.

Neben der Zustandswertfunktion \(V(s)\) gibt es eine noch nützlichere Variante: die Aktionswertfunktion \(Q(s,a)\). Sie bewertet nicht nur einen Zustand, sondern das Paar aus Zustand und Handlung – „wie gut ist es, in dieser Stellung genau diesen Zug zu spielen?". Der Vorteil ist praktisch: Wer eine gute \(Q\)-Funktion besitzt, braucht kein Modell der Umgebung, um zu handeln. Er sieht einfach nach, welche Aktion im aktuellen Zustand den höchsten \(Q\)-Wert hat, und wählt sie. Das \(Q\) steht für „Quality", die Qualität einer Aktion, und es wird uns gleich wieder begegnen.

Solange man die Umgebung vollständig kennt – alle Übergangswahrscheinlichkeiten und Belohnungen –, lässt sich die Bellman-Gleichung mit dynamischer Programmierung exakt lösen. Doch in der Wirklichkeit kennt der Agent die Umgebung gerade nicht. Er muss die Werte aus Erfahrung schätzen, aus tatsächlich gespielten Partien. Genau hier beginnt das eigentliche Lernen.

Teil 3: Lernen aus der Erfahrung – Temporal-Difference und Q-Learning

Wie schätzt man den Wert eines Zustands, wenn man die Zukunft nicht kennt? Die naheliegende Antwort: Man spielt viele vollständige Partien zu Ende und mittelt hinterher, welche Erträge die einzelnen Zustände tatsächlich gebracht haben. Diese sogenannte Monte-Carlo-Methode funktioniert, ist aber geduldig bis zur Untauglichkeit: Man erfährt erst am Spielende etwas und verschenkt jede Zwischeninformation.

Der entscheidende Durchbruch gelang Richard Sutton 1988 mit dem Temporal-Difference-Lernen (TD-Lernen). Seine Idee verbindet das Beste aus zwei Welten und ist von fast philosophischer Eleganz: Man muss nicht bis zum Ende warten, um zu lernen. Man kann eine Schätzung anhand einer besseren Schätzung korrigieren.

Das klingt zunächst nach einem Zirkelschluss, ist aber genau das, was Menschen ständig tun. Angenommen, du fährst morgens los und schätzt deine Ankunft auf 30 Minuten. Nach fünf Minuten stehst du in einem unerwarteten Stau. Du wartest nicht bis zur Ankunft, um zu lernen, dass deine Schätzung falsch war – du korrigierst sie sofort auf 40 Minuten, weil die neue Lage eine bessere Prognose erlaubt. Das TD-Lernen formalisiert genau diesen Reflex. Es vergleicht die alte Wertschätzung eines Zustands mit einer neuen, die sich aus der gerade beobachteten Belohnung plus der Schätzung des Folgezustands ergibt. Die Differenz zwischen beiden – der TD-Fehler – ist das Lernsignal, mit dem die alte Schätzung ein Stück in Richtung der neuen verschoben wird. Man lernt aus jedem einzelnen Schritt, nicht erst am Ende. Dieses Aufdatieren einer Schätzung aus einer anderen Schätzung heißt Bootstrapping und ist das Markenzeichen des TD-Lernens.

Faszinierend ist, dass der TD-Fehler eine erstaunlich genaue Entsprechung im Gehirn hat. Die Feuerrate der Dopamin-Neuronen im Mittelhirn folgt nach den Arbeiten von Wolfram Schultz, Peter Dayan und Read Montague in den 1990er-Jahren nicht der Belohnung selbst, sondern dem Belohnungsvorhersagefehler – der Differenz zwischen erwarteter und erhaltener Belohnung. Genau die Größe, die das TD-Lernen berechnet. Diese Konvergenz von Informatik und Neurowissenschaft ist eine der schönsten Brücken zwischen künstlicher und biologischer Intelligenz und verbindet dieses Thema mit dem vorhersagenden Gehirn, das an anderer Stelle im Vault behandelt wird.

Auf dem TD-Prinzip bauen die berühmten Lernalgorithmen auf. Q-Learning, 1989 von Christopher Watkins in seiner Dissertation eingeführt, lernt direkt die optimale Aktionswertfunktion \(Q(s,a)\), und zwar „off-policy": Der Agent kann ruhig experimentieren und suboptimale Züge ausprobieren, während er zugleich lernt, was die optimale Strategie täte. Sein Gegenstück SARSA lernt „on-policy", also den Wert genau jener Strategie, die der Agent tatsächlich verfolgt. Eine dritte Familie, die Policy-Gradient-Verfahren – ausgehend von Ronald Williams' REINFORCE-Algorithmus von 1992 –, verzichtet auf den Umweg über Wertfunktionen und passt die Strategie direkt an, indem sie Handlungen, die zu hoher Belohnung führten, wahrscheinlicher macht. Die heute dominierenden Actor-Critic-Methoden vereinen beide Ideen: Ein „Actor" wählt Handlungen, ein „Critic" bewertet sie per Wertfunktion.

Ein Problem durchzieht all diese Verfahren wie ein Grundton: der Zielkonflikt zwischen Erkunden und Ausnutzen (exploration vs. exploitation). Soll der Agent die bisher beste bekannte Handlung wählen (ausnutzen) oder eine ungetestete ausprobieren, die vielleicht noch besser ist (erkunden)? Wer nur ausnutzt, bleibt womöglich in einem mittelmäßigen Optimum stecken; wer nur erkundet, sammelt nie die Früchte seines Wissens. Die einfachste Lösung heißt \(\varepsilon\)-greedy: Mit hoher Wahrscheinlichkeit die beste bekannte Aktion, mit kleiner Wahrscheinlichkeit \(\varepsilon\) eine zufällige. Dieses Dilemma ist keine technische Randnotiz, sondern ein tiefes Muster jeder Entscheidung unter Unsicherheit – vom Restaurantbesuch (Stammlokal oder Neues?) bis zur Forschungsstrategie eines Unternehmens.

Teil 4: TD-Gammon – der erste Beweis, dass es funktioniert

Die Theorie war elegant, doch lange blieb offen, ob sie in einem komplexen, realen Spiel etwas taugt. Den Beweis lieferte Gerald Tesauro in den frühen 1990er-Jahren bei IBM. Sein Programm TD-Gammon lernte das Brettspiel Backgammon – und wurde zur Legende des Feldes.

Tesauros Konstruktion war für ihre Zeit radikal. Er koppelte das TD-Lernen (genauer: die Variante TD(\(\lambda\)), die Lernsignale über mehrere Schritte verrechnet) mit einem künstlichen neuronalen Netz: einem Feedforward-Netz mit einer verborgenen Schicht von zunächst 80 Neuronen, das für jede Stellung die Gewinnwahrscheinlichkeit schätzte. Entscheidend war die Art des Trainings: TD-Gammon lernte fast ausschließlich durch Selbstspiel. Das Programm spielte hunderttausende, in der reifen Version 2.1 rund 1,5 Millionen Partien gegen sich selbst und verschob nach jedem Zug die Netzgewichte gemäß dem TD-Fehler. Kein menschlicher Lehrer, keine Datenbank von Meisterpartien – nur die pure Erfahrung des Spielens gegen den eigenen, langsam besser werdenden Schatten.

Das Ergebnis, veröffentlicht 1995 in den Communications of the ACM, war eine Sensation. TD-Gammon erreichte ein Niveau knapp unterhalb der besten menschlichen Weltklassespieler seiner Zeit. Bemerkenswerter noch als die Spielstärke war, was das Programm entdeckte: TD-Gammon spielte bestimmte Eröffnungszüge anders, als die menschliche Backgammon-Theorie es seit Jahrzehnten lehrte. Zunächst hielt man das für Fehler. Doch bei genauerer Analyse zeigte sich, dass die Maschine recht hatte – menschliche Weltklassespieler übernahmen daraufhin einige dieser Züge in ihr eigenes Repertoire. Zum ersten Mal hatte eine lernende Maschine ihren menschlichen Lehrern etwas über ihr eigenes Spiel beigebracht.

TD-Gammon war der lebende Beweis für drei Prinzipien, die zwanzig Jahre später AlphaGo tragen sollten: Erstens, dass TD-Lernen mit neuronalen Netzen in echten, komplexen Domänen funktioniert. Zweitens, dass Selbstspiel eine praktisch unbegrenzte Quelle von Trainingsdaten ist. Und drittens, dass eine Maschine übermenschliche Strategien finden kann, indem sie sich von menschlichen Vorurteilen löst. Backgammon hatte allerdings einen freundlichen Zug: Der Würfel bringt Zufall ins Spiel, der die Zustände natürlich durchmischt und das Erkunden erleichtert. Bei rein deterministischen Spielen wie Go würde sich diese Milde nicht wiederholen – dort brauchte es weitere Zutaten.

Teil 5: Der Sprung zur Tiefe – DQN und die Atari-Spiele

Nach TD-Gammon geriet die Verbindung aus Reinforcement Learning und neuronalen Netzen für über ein Jahrzehnt ins Stocken. Die tiefen Netze waren zu schwer zu trainieren, die Kombination galt als instabil. Das änderte sich schlagartig 2013 bis 2015 mit einer Arbeit von DeepMind, damals ein junges Londoner Start-up.

Das Team um Volodymyr Mnih stellte den Deep Q-Network-Algorithmus (DQN) vor, gekrönt von der vielzitierten Veröffentlichung „Human-level control through deep reinforcement learning" in Nature im Februar 2015. Die Aufgabe: ein einziger Algorithmus sollte lernen, 49 verschiedene Atari-2600-Videospiele zu spielen – von Breakout über Space Invaders bis Pong – und zwar allein aus den rohen Bildpunkten des Bildschirms und dem Punktestand. Kein Wissen über die Spielregeln, keine handgebauten Merkmale, für jedes Spiel dieselbe Architektur und dieselben Einstellungen. Das System sah nur Pixel und Punkte und sollte daraus die Steuerung lernen.

DQN verband Q-Learning mit einem tiefen faltenden neuronalen Netz (Convolutional Neural Network), das die Bildschirmbilder verarbeitete und für jede mögliche Joystick-Aktion einen \(Q\)-Wert schätzte. Zwei technische Kniffe zähmten die berüchtigte Instabilität. Der erste, Experience Replay, speichert erlebte Übergänge in einem großen Puffer und zieht zum Lernen zufällige Stichproben daraus, statt streng chronologisch zu lernen; das durchbricht die schädliche Korrelation aufeinanderfolgender Bilder. Der zweite, ein Zielnetzwerk (target network), hält die Vergleichsschätzung für eine Weile eingefroren, damit der Agent nicht einem ständig verrutschenden Ziel hinterherjagt.

Das Resultat war eindrucksvoll: DQN übertraf auf einem großen Teil der Spiele das Niveau eines professionellen menschlichen Testers, in einigen Titeln um ein Vielfaches. Bei Breakout entdeckte es von selbst die Strategie, einen Tunnel an der Seite zu graben, um den Ball hinter die Steinmauer zu befördern – eine Taktik, die auch menschliche Profis schätzen, die aber niemand einprogrammiert hatte. DQN begründete das moderne Deep Reinforcement Learning und lieferte die Bausteine, aus denen kurz darauf AlphaGo entstand. Doch Go war ein ganz anderes Kaliber.

Teil 6: AlphaGo – als die Maschine das unmögliche Spiel gewann

Go galt jahrzehntelang als der Everest der Spiel-KI. Während IBMs Deep Blue Schach 1997 vor allem durch rohe Rechenkraft und das Durchsuchen von Zugbäumen bezwang, ist Go dafür zu groß. Das Brett hat 19×19 Kreuzungen, in jeder Stellung gibt es im Schnitt rund 250 mögliche Züge (beim Schach etwa 35), und eine Partie dauert an die 150 Züge. Die Zahl der legalen Stellungen liegt in der Größenordnung von \(10^{170}\) – mehr, als es Atome im beobachtbaren Universum gibt. Ein vollständiges Durchsuchen des Zugbaums ist damit hoffnungslos aussichtslos. Hinzu kommt, dass sich eine Go-Stellung notorisch schwer bewerten lässt: Ob eine Position gut ist, hängt von subtilen, ganzheitlichen Mustern ab, die menschliche Meister als „Gefühl" beschreiben.

DeepMinds AlphaGo, vorgestellt in Nature im Januar 2016 (Silver, Huang, Hassabis u. a.), löste beide Probleme mit einer Kombination aus zwei tiefen neuronalen Netzen und einer geschickten Suche. Das Policy-Netzwerk schlug für jede Stellung eine kleine Auswahl vielversprechender Züge vor und beschnitt so die absurde Breite des Zugbaums. Das Value-Netzwerk schätzte für eine gegebene Stellung direkt die Gewinnwahrscheinlichkeit und ersparte es der Maschine, jede Variante bis zum Spielende durchzurechnen – es lieferte das „Bauchgefühl", das den Menschen auszeichnet.

Beide Netze wurden in mehreren Stufen trainiert. Zunächst lernte das Policy-Netzwerk überwacht aus rund 30 Millionen Zügen menschlicher Meisterpartien, es imitierte also zunächst den Menschen. Dann verbesserte es sich durch Reinforcement Learning im Selbstspiel über die menschliche Vorlage hinaus. Aus diesen Selbstspiel-Partien wiederum wurde das Value-Netzwerk trainiert. Zur Spielzeit verband AlphaGo die beiden Netze mit der Monte-Carlo-Baumsuche (MCTS): Es simulierte gezielt tausende Fortsetzungen, geleitet vom Policy-Netzwerk (welche Züge lohnt es sich anzuschauen?) und bewertet vom Value-Netzwerk (wie steht es am Ende?). Suche und Intuition, sauber verzahnt.

Die Ergebnisse schrieben Geschichte. Gegen andere Go-Programme gewann AlphaGo 99,8 % seiner Partien. Im Oktober 2015 schlug es den amtierenden Europameister Fan Hui mit 5:0 – die erste Niederlage eines Go-Profis gegen eine Maschine im vollen Spiel. Und im März 2016 folgte das legendäre Duell in Seoul gegen Lee Sedol, einen der stärksten Spieler der Welt, das AlphaGo mit 4:1 für sich entschied. Zug 37 aus der zweiten Partie, mit dem dieser Artikel begann, wurde zum Symbol: der Moment, in dem eine Maschine nicht mehr nur menschliche Meisterschaft nachahmte, sondern originär kreativ über sie hinausging. (Lee Sedols einzige Gewinnpartie, die vierte, verdankte sich übrigens einem ebenso brillanten menschlichen Zug – dem „Zug 78", der AlphaGo an seine Grenzen brachte. Der Mensch schlug zurück, wenn auch nur einmal.)

Teil 7: AlphaGo Zero und AlphaZero – Wissen aus dem Nichts

So beeindruckend AlphaGo war, ein Makel blieb: Es hatte mit menschlichem Wissen begonnen, mit Millionen von Meisterzügen. War der Mensch also doch noch nötig, wenigstens als Startrampe? DeepMind gab 2017 eine radikale Antwort.

AlphaGo Zero, vorgestellt in Nature im Oktober 2017 unter dem programmatischen Titel „Mastering the game of Go without human knowledge", warf die menschlichen Daten vollständig über Bord. Es startete als Tabula rasa – es kannte nur die Spielregeln und ansonsten nichts. Es lernte ausschließlich durch Selbstspiel, beginnend mit vollkommen zufälligen Zügen. Drei weitere Vereinfachungen machten es zugleich stärker und schlanker: Es benutzte nur noch ein einziges neuronales Netz statt zweier (das Policy und Value zugleich ausgab), es speiste die Suche direkt in das Netztraining zurück, und es verzichtete auf allerlei handgebaute Go-Heuristiken.

Das Ergebnis stellte sogar das Original in den Schatten. Nach nur drei Tagen Selbstspiel übertraf AlphaGo Zero jene Version, die Lee Sedol geschlagen hatte, und besiegte sie in einem direkten Vergleich mit 100:0. Es durchlief in wenigen Tagen im Zeitraffer die gesamte Menschheitsgeschichte des Go: Es entdeckte klassische Eröffnungsmuster (Joseki), die Menschen über Jahrhunderte entwickelt hatten, verwarf einige davon wieder als suboptimal und fand eigene, der menschlichen Theorie unbekannte Muster. Die Lehre war unbequem und befreiend zugleich: Menschliches Vorwissen war nicht nur verzichtbar – es hatte die frühere Version sogar ein Stück weit ausgebremst.

Der letzte Schritt der Verallgemeinerung folgte 2018. AlphaZero, beschrieben von Silver und Kollegen in Science im Dezember 2018, nahm dieselbe Idee und befreite sie von jeder Spezialisierung auf Go. Derselbe Algorithmus, ohne jede spielspezifische Anpassung, lernte allein aus den Regeln und dem Selbstspiel gleich drei Spiele zu meistern: Go, Schach und Shogi (das japanische Schach). In wenigen Stunden Training übertraf AlphaZero die jeweils besten spezialisierten Programme der Welt – im Schach das über Jahrzehnte von Menschenhand optimierte Stockfish, im Shogi das Programm Elmo. Besonders im Schach sorgte AlphaZeros Stil für Aufsehen: Es opferte Material für langfristige Initiative auf eine Weise, die an die romantischen Meister des 19. Jahrhunderts erinnerte und die von reiner Rechenkraft getriebenen Engines fremd wirken ließ. Ein einziger, allgemeiner Lernalgorithmus hatte drei uralte Denksportarten von Grund auf neu erobert.

Teil 8: MuZero und die Grenzen – wenn die Regeln selbst unbekannt sind

AlphaZero brauchte immerhin noch eines: die Spielregeln. Es musste wissen, welche Züge legal sind und wie sich das Brett nach einem Zug verändert. Der nächste Schritt bestand darin, auch diese letzte Krücke wegzunehmen.

MuZero, vorgestellt von Julian Schrittwieser und Kollegen in Nature im Dezember 2020, lernte zusätzlich ein Modell der Umgebung – also die Dynamik der Welt selbst. MuZero bekommt die Regeln nicht mehr vorgegeben, sondern lernt ein inneres, abstraktes Modell, das genau jene Größen vorhersagt, die für die Planung zählen: die zu erwartende Belohnung, die beste Handlung und den Wert einer Situation. Damit meisterte ein und derselbe Algorithmus sowohl die Brettspiele Go, Schach und Shogi als auch die 57 visuellen Atari-Spiele – ohne je die Regeln gesagt bekommen zu haben. Die Maschine baute sich ihr eigenes Verständnis davon, wie die Welt auf ihre Handlungen reagiert, und plante darin voraus. Damit war der Bogen von TD-Gammons einfachem Wertnetz bis zur selbst gelernten Weltsimulation geschlossen.

Bei aller Faszination gilt es, die Grenzen nüchtern zu benennen. Erstens sind diese Systeme extrem datenhungrig. AlphaZero und MuZero spielten Millionen von Partien und verschlangen enorme Rechenressourcen; ein Mensch wird aus einer Handvoll Erfahrungen klug, ein RL-Agent braucht oft Millionen. Diese schlechte Stichprobeneffizienz ist bis heute ein Kernproblem des Feldes. Zweitens leben diese Triumphe in perfekt definierten Welten mit klaren Regeln, klaren Zuständen und einem eindeutigen Belohnungssignal (Sieg oder Niederlage). Die reale Welt liefert selten so saubere Belohnungen. Drittens lauert überall das Reward Hacking: Optimiert man eine schlecht gewählte Belohnung, findet der Agent zuverlässig den Weg, genau diese Zahl zu maximieren – oft auf absurde, unbeabsichtigte Weise, statt das eigentlich Gemeinte zu tun. Das ist die maschinelle Ausprägung von Goodharts Gesetz, und es ist einer der Gründe, warum die Ausrichtung mächtiger KI so schwierig ist.

Genau an dieser Stelle schließt sich der Kreis zu den heutigen Sprachmodellen. Wenn sich eine Belohnung wie „hilfreich und ehrlich antworten" nicht als saubere Regel hinschreiben lässt, muss man sie – wie im Nachbarartikel über RLHF beschrieben – aus menschlichem Urteil lernen. Und die jüngste Wende zu „verifizierbaren Belohnungen" beim Training von Reasoning-Modellen ist im Kern eine Rückkehr zu genau dem klaren, überprüfbaren Belohnungssignal, das schon Backgammon und Go so zugänglich für das Reinforcement Learning machte: Am Ende steht ein eindeutiges Richtig oder Falsch.

Ein Framework zum Ordnen: Fünf Stufen einer Idee

Der Weg des Reinforcement Learning lässt sich als Abfolge von fünf Stufen begreifen, auf denen jeweils eine menschliche Krücke wegfällt:

Das Muster ist unverkennbar: Von Stufe zu Stufe wird dem System weniger menschliches Wissen mitgegeben, und es wird stärker. Das ist eine Illustration dessen, was Richard Sutton in seinem vielzitierten Essay „The Bitter Lesson" (2019) als bittere Lektion des Feldes bezeichnete: Auf lange Sicht schlagen allgemeine Methoden, die mit mehr Rechenleistung skalieren – Suche und Lernen –, fast immer die mühsam von Menschen eingebauten Spezialkenntnisse. Nicht weil menschliches Wissen wertlos wäre, sondern weil es sich schlechter skalieren lässt als rohe Erfahrung und Rechenkraft.

Die Erkenntnis zum Mitnehmen

Die eigentliche Lehre des Reinforcement Learning reicht weit über Bretter und Bildschirme hinaus. Sie lautet: Man kann Kompetenz erzeugen, ohne sie zu spezifizieren. Niemand musste AlphaGo erklären, was ein guter Go-Zug ist. Man musste ihm nur ein klares Ziel (gewinnen), einen Handlungsspielraum und die Möglichkeit geben, aus den Konsequenzen seiner eigenen Handlungen zu lernen. Aus Versuch, Irrtum und einem spärlichen Belohnungssignal wuchs eine Meisterschaft, die ihre menschlichen Lehrer übertraf und sie sogar Neues lehrte.

Wer in der Softwareentwicklung, im Cloud-Umfeld oder in der IT-Sicherheit arbeitet, kann daraus zwei praktische Haltungen ableiten. Erstens: Die Belohnung ist die eigentliche Spezifikation. Ein lernendes System tut nicht, was du meinst, sondern was du belohnst. Jede Metrik, die du zum Optimierungsziel machst – ein KPI, ein Testabdeckungswert, eine Latenz-Kennzahl, ein Sicherheits-Score –, wird früher oder später auf genau die Weise ausgereizt, die die Zahl maximiert, nicht unbedingt die Sache verbessert. Das ist Goodharts Gesetz, und es gilt für Teams und Anreizsysteme genauso wie für neuronale Netze. Formuliere Ziele deshalb mit derselben Sorgfalt, mit der du eine Belohnungsfunktion für einen Agenten entwerfen würdest.

Zweitens: Der Zielkonflikt zwischen Erkunden und Ausnutzen ist überall. Ob du an bewährter Architektur festhältst oder eine neue Technologie erprobst, ob dein Team den sicheren Weg geht oder experimentiert – es ist dieselbe Spannung, die ein RL-Agent in jedem Schritt austariert. Zu viel Ausnutzen verharrt im lokalen Optimum, zu viel Erkunden verschenkt den Ertrag des Gelernten. Ein bewusstes, kleines Budget für das Erkunden – die \(\varepsilon\)-greedy-Haltung – ist auch für Menschen und Organisationen kluge Praxis.

Reinforcement Learning ist damit weniger eine Sammlung von Algorithmen als eine Denkweise: Definiere ein Ziel klar, lass das System aus den Folgen seiner Handlungen lernen, und rechne stets damit, dass es die Belohnung wörtlicher nimmt, als dir lieb ist.

Eine Reflexionsfrage zum Schluss

AlphaGos Zug 37 war schön, weil er richtig war – aber niemand, auch nicht seine Erbauer, hätte ihn im Voraus als richtig erkannt. Die Maschine fand etwas Wahres, das kein Mensch ihr zeigen konnte, indem sie ein klar umrissenes Ziel unbeirrbar verfolgte. Wenn wir künftig Systeme auf Ziele in der offenen, unscharfen Wirklichkeit ansetzen – auf „gesund", „gerecht", „sicher", „hilfreich" –, wo es kein eindeutiges Gewonnen oder Verloren gibt: Woher wissen wir dann, ob ein überraschender Vorschlag der Maschine ein brillanter Zug 37 ist oder bloß das geschickte Austricksen einer schlecht gewählten Belohnung? Und wer trägt die Verantwortung, diesen Unterschied zu erkennen, wenn wir das Ziel selbst nur ungenau benennen können?

Querverweise im Vault

• Lob und Tadel für die Maschine: RLHF und die Kunst, der KI beizubringen, was wir wollen – die direkte Fortsetzung: Reinforcement Learning, wenn die Belohnung nicht aus Spielregeln, sondern aus menschlichem Urteil stammt.
• Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI – die Netzarchitektur, die heute vielfach die Rolle der Policy- und Value-Netze übernimmt.
• Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI – warum mehr Rechenleistung und Erfahrung so verlässlich siegen (Suttons „Bitter Lesson").
• Das vorhersagende Gehirn: Predictive Processing und die Illusion der Wahrnehmung – der Belohnungsvorhersagefehler des TD-Lernens hat ein Gegenstück in den Dopamin-Neuronen.
• Der Rat der Spezialisten: Mixture of Experts und wie KI-Modelle wachsen, ohne teurer zu werden – eine weitere Architekturidee, mit der moderne KI-Systeme skalieren.
• Die zwei Kisten: Newcombs Paradox und der Streit um rationale Entscheidungen – was heißt es überhaupt, „optimal" zu entscheiden, wenn Vorhersage und Handlung sich verschränken?

Quellen

• Sutton, R. S., Barto, A. G. (2018): Reinforcement Learning: An Introduction. 2. Auflage, MIT Press. (Standardwerk; erste Auflage 1998.)
• Sutton, R. S. (1988): Learning to Predict by the Methods of Temporal Differences. Machine Learning 3, 9–44.
• Watkins, C. J. C. H. (1989): Learning from Delayed Rewards. Dissertation, University of Cambridge (Einführung des Q-Learning).
• Tesauro, G. (1995): Temporal Difference Learning and TD-Gammon. Communications of the ACM 38(3), 58–68. https://cacm.acm.org/research/temporal-difference-learning-and-td-gammon/
• Mnih, V. et al. (2015): Human-level control through deep reinforcement learning (DQN). Nature 518, 529–533. https://www.nature.com/articles/nature14236
• Silver, D., Huang, A., Hassabis, D. et al. (2016): Mastering the game of Go with deep neural networks and tree search (AlphaGo). Nature 529, 484–489. https://www.nature.com/articles/nature16961
• Silver, D. et al. (2017): Mastering the game of Go without human knowledge (AlphaGo Zero). Nature 550, 354–359. https://www.nature.com/articles/nature24270
• Silver, D. et al. (2018): A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play (AlphaZero). Science 362, 1140–1144. https://www.science.org/doi/10.1126/science.aar6404
• Schrittwieser, J. et al. (2020): Mastering Atari, Go, chess and shogi by planning with a learned model (MuZero). Nature 588, 604–609. https://www.nature.com/articles/s41586-020-03051-4
• DeepMind (2016): AlphaGo versus Lee Sedol. Übersicht zum Match und zu Zug 37. https://en.wikipedia.org/wiki/AlphaGo_versus_Lee_Sedol

← All articles