Sven Erik Matzen

Software Architect | Cloud & Security Expert | AI-enabled Solutions

Der Rat der Spezialisten: Mixture of Experts und wie KI-Modelle wachsen, ohne teurer zu werden

🎧 Listen to this article

KI · 2026-08-26

EU-Kennzeichnung: vollständig KI-generierter Inhalt Vollständig KI-generierter Artikel (ohne Vorabprüfung).

Der Aufhänger: Ein Modell mit 671 Milliarden Parametern, das rechnet wie eines mit 37 Milliarden

Ende 2024 veröffentlichte ein chinesisches Labor ein Sprachmodell namens DeepSeek-V3. Auf dem Datenblatt stand eine Zahl, die zunächst nach einem Tippfehler aussah: 671 Milliarden Parameter. Das ist eine Größenordnung, die man mit den absoluten Spitzenmodellen der Branche verbindet, mit Systemen, deren Training zweistellige Millionenbeträge verschlingt und deren Betrieb ganze Rechenzentren beschäftigt. Doch daneben stand eine zweite Zahl, die nicht zusammenzupassen schien: 37 Milliarden aktivierte Parameter pro Token.

Wie kann ein Modell 671 Milliarden Parameter besitzen, aber nur 37 Milliarden davon benutzen, um das nächste Wort vorherzusagen? Und warum sollte man ein solches Modell überhaupt bauen wollen?

Die Antwort auf diese beiden Fragen ist eine der folgenreichsten Architekturideen der jüngeren KI-Geschichte. Sie trägt den Namen Mixture of Experts – „Mischung aus Experten", kurz MoE. Sie durchbricht eine Kopplung, die jahrzehntelang als eisernes Gesetz galt: dass ein Modell umso teurer zu betreiben ist, je mehr es weiß. MoE trennt das Wissen eines Modells von dem Rechenaufwand, den es pro Wort treibt. Ein MoE-Modell ist wie ein riesiges Krankenhaus voller hochspezialisierter Fachärzte – aber jeder Patient wird an der Rezeption gezielt zu den zwei oder drei Spezialisten geschickt, die er gerade braucht, statt reihum jeden einzelnen Arzt aufzusuchen. Das Krankenhaus kann beliebig viele Ärzte beschäftigen; die Behandlung des einzelnen Patienten bleibt trotzdem schnell und günstig.

Dieser Artikel nimmt dich mit auf die ganze Strecke: von dem grundlegenden Dilemma, das MoE löst, über die überraschend alte Grundidee der bedingten Berechnung, ihre technische Umsetzung im Herzen des Transformers, das tückische Problem der Lastverteilung, bis hin zu den konkreten Modellen der Gegenwart – Mixtral, Switch Transformer, DeepSeek-V3 – und den offenen Fragen, die diese Architektur noch mit sich schleppt. Am Ende sollst du nicht nur wissen, was ein Mixture-of-Experts-Modell ist, sondern warum die gesamte Branche gerade in diese Richtung marschiert.

Teil 1: Das Dilemma des Wachstums

Warum größer fast immer besser ist – und warum das ein Problem ist

Um MoE zu verstehen, muss man das Problem verstehen, das es löst. Und dieses Problem beginnt mit einer der robustesten empirischen Beobachtungen der modernen KI: Größere Modelle sind besser. Wer die Zahl der Parameter erhöht, das Trainingsdatenmaterial vergrößert und mehr Rechenleistung hineinsteckt, bekommt in aller Regelmäßigkeit ein fähigeres Modell. Diese Beziehung ist so verlässlich, dass sie sich in Form von Potenzgesetzen fassen lässt – den sogenannten Skalierungsgesetzen, denen dieser Vault ein eigenes Kapitel gewidmet hat (siehe Wie groß ist groß genug? Skalierungsgesetze, Chinchilla und die Vermessung der KI).

Doch dieser Segen hat einen Preis, und der Preis ist unerbittlich. In einem klassischen, sogenannten dichten (dense) neuronalen Netz wird bei jeder einzelnen Berechnung jeder Parameter benutzt. Verdoppelt man die Parameterzahl, verdoppelt sich auch der Rechenaufwand für jedes einzelne Wort – beim Training und, was noch teurer ist, bei jeder späteren Nutzung. Ein dichtes Modell zahlt seine gesamte Größe bei jedem Token, das es je verarbeitet. Kapazität und Kosten sind fest aneinandergekettet.

Das führt zu einer frustrierenden Sackgasse. Man möchte einem Modell mehr Wissen einverleiben, mehr Fakten, mehr Sprachen, mehr Fähigkeiten – aber jede zusätzliche Milliarde Parameter macht das Modell auch langsamer und im Betrieb teurer. Für ein Modell, das später milliardenfach Anfragen beantworten soll, ist diese Kopplung die eigentliche wirtschaftliche Grenze. Nicht das Training ist auf Dauer der teuerste Posten, sondern der laufende Betrieb, die Inferenz.

Die entscheidende Frage: Muss wirklich alles rechnen?

An dieser Stelle stellt sich eine fast naive Frage, die zugleich der Schlüssel zu allem ist: Muss wirklich das gesamte Modell an jeder einzelnen Vorhersage beteiligt sein?

Denk an dein eigenes Gehirn. Wenn du einen mathematischen Term löst, feuern nicht sämtliche Neurone deines Kopfes gleichzeitig. Wenn du ein Gedicht liest, sind andere Areale aktiv als beim Kopfrechnen. Dein Gehirn ist gewaltig, aber es aktiviert für jede konkrete Aufgabe nur einen Bruchteil seiner Kapazität. Es ist – in der Sprache der Informatik – spärlich aktiviert (sparse).

Ein dichtes Sprachmodell tut das genaue Gegenteil. Ob das nächste Wort ein juristischer Fachbegriff, eine Zeile Python-Code oder ein Reimwort in einem Kinderlied ist – dasselbe riesige Netz rechnet mit voller Kraft. Das ist, als würde man für jede Frage, egal wie trivial, den gesamten Expertenstab eines Konzerns zu einer Vollversammlung zusammenrufen. Die Intuition hinter Mixture of Experts ist genau diese: Man baue ein Modell mit enormer Gesamtkapazität, aber lasse für jedes einzelne Token nur den kleinen, passenden Teil davon arbeiten. Das nennt man bedingte Berechnung (conditional computation): Welcher Teil des Netzes rechnet, hängt von der Eingabe ab.

Teil 2: Die Grundidee – bedingte Berechnung und der Ort, an dem sie stattfindet

Was ein „Experte" wirklich ist

Der Begriff „Experte" ist verführerisch und irreführend zugleich, deshalb räumen wir gleich zu Beginn ein Missverständnis aus. Man stellt sich unwillkürlich vor, dass es in einem MoE-Modell einen „Juristen-Experten", einen „Python-Experten" und einen „Poesie-Experten" gäbe – klar abgegrenzte Fachleute mit menschlich benennbaren Zuständigkeiten. So sauber ist die Wirklichkeit nicht. Ein Experte in einem MoE ist zunächst nichts weiter als ein kleines neuronales Teilnetz – technisch meist ein gewöhnliches vorwärtsgerichtetes Feed-Forward-Netz. Wofür genau sich ein Experte im Laufe des Trainings zuständig fühlt, entscheidet das Modell selbst, und die entstehenden Spezialisierungen sind für Menschen oft nicht sauber interpretierbar. Ich bin der Meinung, dass gerade dieser Punkt in populären Darstellungen zu oft glattgebügelt wird: Die „Experten" sind emergente, statistische Zuständigkeiten, keine bewusst entworfenen Fachabteilungen.

Um zu verstehen, wo diese Experten im Modell sitzen, müssen wir kurz an den Bauplan des Transformers erinnern – der Architektur, auf der praktisch jedes moderne Sprachmodell beruht (ausführlich in Aufmerksamkeit ist alles: Der Transformer, Self-Attention und die Architektur moderner KI). Ein Transformer besteht aus einem Stapel identisch aufgebauter Schichten. Jede Schicht hat zwei Hauptbestandteile: einen Attention-Mechanismus, der die Wörter eines Satzes miteinander in Beziehung setzt, und ein Feed-Forward-Netz (FFN), das jedes Wort einzeln durch eine kleine Verarbeitungsstufe schickt. In den großen Modellen steckt der Löwenanteil der Parameter genau in diesen Feed-Forward-Netzen – oft zwei Drittel und mehr.

Und genau hier setzt MoE an. Die zentrale Idee ist verblüffend chirurgisch: Man ersetzt das eine, große Feed-Forward-Netz in einer Transformer-Schicht durch viele kleinere Feed-Forward-Netze – die Experten – und stellt einen Türsteher davor, der für jedes Wort entscheidet, welche Experten es besuchen darf. Der Attention-Teil bleibt unangetastet. Nur die teuerste, parameterreichste Komponente wird aufgefächert.

Der Türsteher: das Gating-Netz

Der Türsteher heißt in der Fachsprache Gating-Netzwerk oder Router. Es ist selbst ein winziges neuronales Netz – oft nur eine einzige Gewichtsmatrix. Für jedes Wort, das ankommt, berechnet der Router eine Punktzahl für jeden verfügbaren Experten: „Wie gut passt dieses Wort zu Experte 1, zu Experte 2, zu Experte 3 …?" Diese Punktzahlen werden über eine Softmax-Funktion in Wahrscheinlichkeiten umgewandelt, und dann wählt der Router die besten k Experten aus – typischerweise die zwei höchstbewerteten (top-2), in manchen Architekturen auch nur einen (top-1) oder acht von Hunderten.

Nur diese ausgewählten Experten verarbeiten das Wort. Alle anderen bleiben untätig, ihre Parameter werden für dieses Token gar nicht erst angefasst. Die Ausgaben der aktiven Experten werden schließlich – gewichtet mit ihren Router-Punktzahlen – zu einem einzigen Ergebnis vermischt, das dann in der Schicht weiterverarbeitet wird. Daher der Name „Mixture": Die Antwort ist eine Mischung der Beiträge weniger ausgewählter Spezialisten.

Der Effekt ist das eingangs beschriebene Wunder. Ein Modell kann Hunderte von Experten enthalten und damit eine gigantische Gesamtparameterzahl aufweisen. Aber weil pro Token nur eine Handvoll davon aktiv ist, entspricht der tatsächliche Rechenaufwand dem eines viel kleineren, dichten Modells. Die Kapazität skaliert mit der Gesamtzahl der Parameter, die Kosten skalieren nur mit den aktiven Parametern. Genau das ist die Entkopplung, die MoE so mächtig macht.

Teil 3: Eine überraschend lange Geschichte

1991: Die Idee, bevor es das Wort „Deep Learning" gab

Man könnte meinen, eine so moderne Idee sei ein Kind der 2020er Jahre. Tatsächlich reicht ihre Wurzel mehr als drei Jahrzehnte zurück. 1991 veröffentlichten Robert Jacobs, Michael Jordan, Steven Nowlan und – kein Geringerer als – Geoffrey Hinton in der Zeitschrift Neural Computation eine Arbeit mit dem Titel „Adaptive Mixtures of Local Experts". Ihr Grundgedanke war schon damals vollständig da: Statt ein einziges Netz an einer komplexen Aufgabe verzweifeln zu lassen, teile man das Problem unter mehreren spezialisierten Teilnetzen auf und lasse ein Gating-Netz lernen, welcher Experte für welche Eingabe zuständig ist.

Die Autoren zeigten das an einer Aufgabe der Vokalunterscheidung: Das System zerlegte die Aufgabe selbständig in sinnvolle Teilprobleme, von denen jedes ein einfacher Experte lösen konnte. Der zentrale Kunstgriff war, dass Experten und Türsteher gemeinsam trainiert wurden – die Experten spezialisierten sich, während der Router lernte, sie richtig zuzuweisen, in einem Wechselspiel, das die klassische Idee des „Teile und herrsche" mit dem Lernen aus Daten verband. Alle Bausteine des heutigen MoE waren hier bereits im Prinzip vorhanden. Was fehlte, war schlicht der Maßstab – und die Hardware, um ihn auszureizen.

2017: Der Sprung ins Gigantische

Der Durchbruch kam 2017, im selben Jahr wie der Transformer, aus derselben Ecke bei Google. Noam Shazeer und Kollegen veröffentlichten eine Arbeit mit dem herrlich unbescheidenen Titel „Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer" – „unverschämt große neuronale Netze". Sie fügten eine MoE-Schicht mit bis zu Tausenden von Experten zwischen die Schichten eines rekurrenten Sprachmodells ein und bewiesen, dass man auf diese Weise die Kapazität eines Modells um mehr als das Tausendfache steigern konnte, ohne dass der Rechenaufwand pro Beispiel explodierte.

Der entscheidende technische Beitrag war das spärliche Gating (sparse gating): Statt alle Experten zu einer weichen Mischung zu verrühren, wählte der Router hart nur die besten wenigen aus. Shazeer führte zudem ein leichtes Rauschen im Gating ein und – wichtiger noch – benannte zum ersten Mal in aller Klarheit das Problem, das MoE bis heute begleitet: die Lastverteilung. Ohne Gegenmaßnahmen tendieren solche Systeme dazu, dass wenige Experten fast allen Verkehr abbekommen und der Rest verkümmert. Dazu gleich mehr.

2020 bis 2021: GShard und Switch – MoE trifft den Transformer im großen Stil

Die nächsten Meilensteine verheirateten MoE endgültig mit dem Transformer und mit dem Maßstab industrieller Rechenzentren. GShard (Google, 2020) skalierte spärlich aktivierte MoE-Transformer auf etwa 600 Milliarden Parameter, verteilt über gut zweitausend Beschleunigerchips. GShard etablierte das Muster der Experten-Parallelität: Verschiedene Experten liegen physisch auf verschiedenen Chips, und die Token werden über das Netzwerk zu ihren zugewiesenen Experten geschickt. GShard nutzte typischerweise ein Top-2-Routing – jedes Token besucht die zwei bestbewerteten Experten.

2021 folgte der Switch Transformer von William Fedus, Barret Zoph und wiederum Noam Shazeer. Sein Beitrag war eine radikale Vereinfachung: Warum überhaupt zwei Experten pro Token? Der Switch Transformer wählte konsequent nur einen aus (top-1). Das reduzierte Kommunikation und Rechenaufwand, vereinfachte die Lastverteilung und erwies sich als bemerkenswert stabil. Damit skalierte das Team seine Modelle bis in den Billionen-Parameter-Bereich und zeigte zugleich, dass spärliche Modelle bei gleichem Rechenbudget schneller lernen als dichte. Der Switch Transformer machte die Formel „mehr Parameter bei konstantem Rechenaufwand" salonfähig.

Teil 4: Wie das Routing im Detail funktioniert

Der Weg eines Tokens durch die Schicht

Verfolgen wir ein einzelnes Wort auf seinem Weg durch eine MoE-Schicht, um das Zusammenspiel greifbar zu machen. Nehmen wir das Wort „Integral" in einem mathematischen Text.

Zunächst hat der Attention-Mechanismus dieses Wort bereits mit seinem Kontext angereichert; es liegt nun als Vektor vor, als eine Liste von Zahlen, die seine kontextabhängige Bedeutung kodiert. Dieser Vektor erreicht die MoE-Schicht und trifft zuerst auf den Router. Der Router multipliziert den Vektor mit seiner Gewichtsmatrix und erhält für jeden der – sagen wir – 64 Experten eine Punktzahl. Über eine Softmax werden diese Punktzahlen zu Wahrscheinlichkeiten normiert. Angenommen, Experte 12 bekommt 0,7, Experte 39 bekommt 0,2, der Rest teilt sich die restlichen 0,1.

Bei Top-2-Routing wählt der Router nun Experte 12 und Experte 39 aus. Das Wort „Integral" wird durch beide Feed-Forward-Netze geschickt und liefert zwei Ausgabevektoren. Diese werden gemäß ihren Gewichten gemischt – der Beitrag von Experte 12 zählt, grob gesagt, mehr als der von Experte 39, weil sein Router-Score höher war. Das gemischte Ergebnis verlässt die Schicht. Die anderen 62 Experten haben für dieses Token keinen einzigen Rechenschritt getan.

Warten – lässt sich das überhaupt trainieren?

Hier lauert ein subtiles Problem. Die Auswahl der besten k Experten ist eine harte, sprunghafte Entscheidung: Ein Experte ist entweder ausgewählt oder nicht. Solche Entscheidungen sind nicht differenzierbar, und das übliche Trainingsverfahren neuronaler Netze – die Rückpropagation von Gradienten – braucht Differenzierbarkeit wie die Luft zum Atmen. Wie lernt der Router dann überhaupt, gute Entscheidungen zu treffen?

Der Trick liegt darin, dass die Gewichte der Mischung – die Softmax-Wahrscheinlichkeiten der ausgewählten Experten – sehr wohl in die Berechnung eingehen und damit differenzierbar sind. Der Gradient fließt über diese Gewichte zurück in den Router. Vereinfacht gesagt: Hat ein ausgewählter Experte ein gutes Ergebnis geliefert, lernt der Router, ihm bei ähnlichen Eingaben künftig eine noch höhere Punktzahl zu geben; war das Ergebnis schlecht, sinkt seine Punktzahl. Auf diese Weise lernen Experten und Router gemeinsam – die Experten spezialisieren sich, der Router lernt, den Verkehr passend zu lenken. Es ist derselbe gekoppelte Tanz, den schon Jacobs und Jordan 1991 beschrieben, nur in gewaltigem Maßstab.

Teil 5: Das tückische Problem der Lastverteilung

Der Teufelskreis der Expertenkonzentration

Nun zu dem Problem, das Shazeer schon 2017 benannte und das bis heute die halbe Forschungsliteratur zu MoE bestimmt. Es ist eine Rückkopplung mit fatalem Vorzeichen.

Stell dir vor, ein Experte gerät früh im Training zufällig ein wenig ins Hintertreffen und wird etwas häufiger ausgewählt als seine Kollegen. Weil er mehr Token bekommt, erhält er mehr Trainingssignal, wird also besser. Weil er besser wird, gibt ihm der Router noch höhere Punktzahlen. Weil er höhere Punktzahlen bekommt, wird er noch häufiger ausgewählt. Ein sich selbst verstärkender Sog entsteht. Am Ende dieses Teufelskreises steht ein Zustand, den man Experten-Kollaps nennt: Eine Handvoll Experten schluckt fast den gesamten Verkehr, während die große Mehrheit als totes Gewicht brachliegt und nie richtig trainiert wird. Das Modell hat dann zwar formal Hunderte Experten, nutzt aber nur eine Handvoll – die teure Kapazität verpufft.

Der Klassiker: die Hilfsverlustfunktion

Die traditionelle Gegenmaßnahme ist eine Hilfsverlustfunktion (auxiliary loss) zur Lastverteilung. Zusätzlich zum eigentlichen Ziel – gute Vorhersagen zu treffen – bekommt das Modell einen kleinen Strafterm, der immer dann anschlägt, wenn die Token ungleichmäßig auf die Experten verteilt werden. Typischerweise multipliziert dieser Term den Anteil der Token, die an einen Experten gehen, mit der durchschnittlichen Router-Wahrscheinlichkeit dieses Experten; das Produkt bestraft es, viel Wahrscheinlichkeitsmasse auf ohnehin schon überlastete Experten zu legen. Der Effekt ist ein sanfter Druck in Richtung gleichmäßiger Auslastung.

Doch dieser Zusatz hat einen unbequemen Preis, und er verrät etwas Grundsätzliches. Der Hilfsverlust kämpft gegen das eigentliche Lernziel. Er zwingt das Modell mitunter, ein Token an einen weniger passenden Experten zu schicken, nur damit die Bilanz stimmt. Deshalb wird sein Gewicht in der Praxis klein gehalten – ein Faktor von etwa 0,01 ist üblich. Man kauft Balance, indem man ein wenig Modellqualität dafür hergibt. Es ist ein Regulierer, der gegen die Hauptmelodie ansingt.

Kapazität und fallengelassene Token

Ein weiteres praktisches Ärgernis ist der Kapazitätsfaktor (capacity factor). Damit die Berechnung auf paralleler Hardware effizient bleibt, legt man vorab fest, wie viele Token jeder Experte höchstens verarbeiten darf. Läuft ein Experte über – weil ihm der Router mehr Token zuweist, als seine Kapazität erlaubt –, werden die überzähligen Token schlicht fallengelassen (token dropping): Sie durchlaufen die Experten-Schicht gar nicht, sondern werden unverändert weitergereicht. Setzt man den Kapazitätsfaktor zu klein, fallen zu viele Token durch und die Qualität leidet. Setzt man ihn zu groß, verschwendet man Rechenleistung und Speicher für selten genutzte Reservekapazität. Es ist eine Gratwanderung, die jedes MoE-System kalibrieren muss.

Zwei elegante Auswege: Expert-Choice und der auxiliary-loss-free-Ansatz

Die Forschung hat auf dieses Dilemma zwei besonders elegante Antworten gefunden. Die erste dreht die Blickrichtung um. Statt jedes Token seine bevorzugten Experten wählen zu lassen (token choice), lässt man jeden Experten seine bevorzugten Token wählen (expert choice). Weil dann jeder Experte per Konstruktion genau seine Kapazität an Token aufnimmt, ist die Last automatisch perfekt verteilt – kein Hilfsverlust, kein Kollaps, keine fallengelassenen Token. Der Preis: Manche Token werden womöglich von mehreren Experten umworben, andere von keinem, was eigene Feinheiten mit sich bringt.

Die zweite Antwort stammt aus dem eingangs erwähnten DeepSeek-V3 und trägt den sprechenden Namen auxiliary-loss-free load balancing – Lastverteilung ganz ohne Hilfsverlust. Die Idee: Man verzichtet auf den qualitätsmindernden Strafterm und steuert die Balance stattdessen über einen lernbaren Bias-Term pro Experte, der direkt auf die Router-Punktzahlen aufgeschlagen wird. Bekommt ein Experte zu viel Verkehr, wird sein Bias leise gesenkt, sodass er im Ranking etwas zurückfällt; bekommt er zu wenig, wird sein Bias angehoben. Dieser Bias beeinflusst nur die Auswahl, nicht die Gewichtung der Mischung – und stört damit das eigentliche Lernziel nicht. So erreicht das Modell eine gleichmäßige Auslastung, ohne die Modellqualität dem Balancezwang zu opfern. Ich bin der Meinung, dass genau dieser Kniff – Balance über die Auswahl statt über einen Strafterm im Verlust – einer der unterschätzten Gründe für die Effizienz der jüngsten MoE-Generation ist.

Teil 6: Drei Modelle aus der Praxis

Abstraktion ist gut, konkrete Zahlen sind besser. Betrachten wir drei einflussreiche MoE-Modelle und lesen ihre Architektur wie einen Steckbrief.

Mixtral 8x7B – die offene Referenz

Ende 2023 veröffentlichte das französische Labor Mistral AI mit Mixtral 8x7B ein offenes Modell, das MoE in der breiten Entwicklergemeinde populär machte. Der Name ist zugleich eine Bauanleitung: In jeder der 32 Transformer-Schichten sitzen acht Experten, und ein Router wählt für jedes Token die besten zwei aus (top-2).

Die Zahlen illustrieren die Entkopplung mustergültig. Insgesamt hat jedes Token Zugriff auf etwa 47 Milliarden Parameter – so viel Wissen steckt im Modell. Doch pro Token sind nur rund 13 Milliarden Parameter aktiv. Das bedeutet: Die Rechenkosten entsprechen einem dichten 13-Milliarden-Modell, die gespeicherte Kapazität aber der eines viel größeren. (Dass 8×7 nicht 47 ergibt, liegt daran, dass sich die Experten nur die Feed-Forward-Netze teilen; Attention und Einbettungen werden gemeinsam genutzt und nur einmal gezählt.) Mixtral erreichte oder übertraf damit das dichte Llama-2-70B und das seinerzeit dominierende GPT-3.5 auf vielen Benchmarks – bei einem Bruchteil der Rechenkosten pro Token, besonders deutlich bei Mathematik, Programmierung und mehrsprachigen Aufgaben.

Switch Transformer – die Radikalvereinfachung

Der bereits erwähnte Switch Transformer steht für die entgegengesetzte Designphilosophie: maximale Einfachheit durch top-1-Routing. Jedes Token besucht genau einen Experten. Das minimiert Kommunikation und Rechenaufwand und macht die Lastverteilung überschaubarer. Sein historischer Verdienst ist der Beweis, dass man Modelle auf Billionen von Parametern skalieren kann, während der Rechenaufwand pro Token konstant bleibt – und dass solche Modelle pro investiertem Rechenbudget schneller lernen als ihre dichten Gegenstücke.

DeepSeek-V3 – der Stand der Kunst

DeepSeek-V3 von Ende 2024 zeigt, wie ausgereift die Architektur inzwischen ist, und bündelt gleich mehrere fortgeschrittene Ideen. Es hat 671 Milliarden Gesamtparameter, von denen pro Token nur 37 Milliarden aktiv sind. Drei Merkmale heben es hervor.

Erstens setzt es auf fein granulierte Experten (fine-grained experts): Statt weniger großer Experten gibt es sehr viele kleine – 256 geroutete Experten, von denen jedes Token acht besucht. Die Idee dahinter: Viele kleine Spezialisten lassen sich präziser kombinieren als wenige große und erlauben eine feinere Aufteilung des Wissens. Zweitens gibt es einen geteilten Experten (shared expert), der immer aktiv ist – er fängt das allgemeine, für alle Token nützliche Wissen auf, während die gerouteten Experten sich auf Spezielles konzentrieren können. Drittens nutzt DeepSeek-V3 die oben beschriebene auxiliary-loss-free Lastverteilung. Zusammen ergeben diese Zutaten ein Modell an der Spitze der offenen Systeme, dessen Betriebskosten pro Token dennoch die eines mittelgroßen dichten Modells kaum übersteigen.

Ein Steckbrief-Vergleich

Modell Gesamtparameter Aktiv pro Token Experten pro Schicht Routing
Mixtral 8x7B ~47 Mrd. ~13 Mrd. 8 top-2
Switch Transformer bis Billionen pro Token konstant bis Tausende top-1
DeepSeek-V3 671 Mrd. 37 Mrd. 256 (+1 geteilt) top-8

Die Tabelle macht das gemeinsame Muster sichtbar: In jeder Zeile klafft eine große Lücke zwischen Gesamt- und aktiver Parameterzahl. Diese Lücke ist der Gewinn von Mixture of Experts.

Teil 7: Der ehrliche Preis – wo MoE nicht gratis ist

Es wäre unredlich, MoE als Wundermittel ohne Kosten darzustellen. Die Architektur verschiebt das Problem, statt es zu beseitigen, und die Verschiebung hat Konsequenzen.

Der offensichtlichste Preis ist der Speicher. Zwar rechnet ein MoE-Modell nur mit einem Bruchteil seiner Parameter – aber es muss alle Parameter im Speicher vorhalten, denn welcher Experte gebraucht wird, entscheidet sich erst zur Laufzeit, Token für Token. DeepSeek-V3 verlangt genug Grafikspeicher für 671 Milliarden Parameter, obwohl es nur mit 37 Milliarden rechnet. MoE tauscht also Speicher gegen Rechenzeit: Es spart Rechenoperationen, indem es großzügig Speicher belegt. Für Betreiber mit vielen Beschleunigern ist das ein guter Tausch; für jemanden, der ein Modell auf einem einzelnen Gerät laufen lassen will, kann es ein Ausschlusskriterium sein.

Der zweite Preis ist Komplexität im Training und Betrieb. Die Lastverteilung muss sorgfältig kalibriert werden, sonst kollabieren die Experten. Verteilt man die Experten über viele Chips, entsteht reger Netzwerkverkehr, weil Token zu ihren Experten und wieder zurück wandern – das sogenannte all-to-all-Kommunikationsmuster, das schnelle Verbindungen zwischen den Beschleunigern voraussetzt. MoE-Modelle gelten zudem als etwas heikler im Training; die harte Routing-Entscheidung kann das Lernen instabiler machen als bei dichten Modellen.

Der dritte, subtilere Preis betrifft die Interpretierbarkeit und die Batch-Verarbeitung. Weil verschiedene Token einer Anfrage zu verschiedenen Experten wandern, ist die Auslastung der Hardware weniger gleichmäßig als bei einem dichten Modell, was das effiziente Bündeln vieler Anfragen erschwert. Und die verlockende Hoffnung, man könne durch Betrachten der Experten verstehen, wie das Modell denkt, erfüllt sich nur teilweise: Die Zuständigkeiten der Experten sind, wie eingangs betont, selten sauber menschlich benennbar. Wer tiefer verstehen will, was in einem Netz vorgeht, braucht andere Werkzeuge – etwa die der mechanistischen Interpretierbarkeit (siehe Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest).

Teil 8: Warum die ganze Branche in diese Richtung marschiert

Trotz dieser Kosten ist MoE zur dominierenden Architektur für die größten Modelle geworden, und der Grund liegt in der Ökonomie der Inferenz. Ein Modell wird einmal trainiert, aber danach womöglich milliardenfach benutzt. Über die Lebensdauer eines Modells summieren sich die Inferenzkosten zum weitaus größten Posten. Jede Architektur, die diese Kosten senkt, ohne die Fähigkeit zu beschneiden, hat einen überwältigenden wirtschaftlichen Vorteil.

Genau das leistet MoE: Es erlaubt, die Kapazität – und damit tendenziell die Fähigkeit – eines Modells zu erhöhen, während die Kosten pro Wort im Zaum bleiben. In der Sprache der Skalierungsgesetze verschiebt MoE die Kurve: Bei gegebenem Rechenbudget lässt sich ein fähigeres Modell bauen, weil man Parameter „billiger" bekommt. Für Anbieter, die Modelle im großen Maßstab betreiben, ist das kein Nischenvorteil, sondern der Unterschied zwischen einem tragfähigen und einem defizitären Geschäft.

Ich bin der Meinung, dass MoE deshalb weniger eine vorübergehende Mode als eine tiefe strukturelle Anpassung ist: Die Branche hat eingesehen, dass die dichte Aktivierung – jeder Parameter rechnet bei jedem Wort – eine Verschwendung ist, die sich mit wachsender Modellgröße immer weniger rechtfertigen lässt. Die bedingte Berechnung, so alt sie ist, war die naheliegende Antwort, sobald der Maßstab groß genug wurde, um ihre Umsetzungsprobleme zu rechtfertigen. Ob top-1, top-2 oder fein granulierte Top-8-Architekturen sich durchsetzen, ob der Hilfsverlust oder der bias-basierte Ausgleich gewinnt – das sind Detailfragen. Das Grundprinzip, Wissen von Rechenaufwand zu entkoppeln, wird bleiben.

Erkenntnis zum Mitnehmen

Die zentrale Lehre von Mixture of Experts lässt sich in einem Satz fassen: Nicht alles muss immer rechnen. Die jahrzehntelange stillschweigende Annahme, dass ein Modell seine gesamte Größe bei jeder Vorhersage aufbieten muss, war nie ein Naturgesetz, sondern nur der bequemste Weg. Sobald man diese Annahme fallen lässt und einen klugen Türsteher davorstellt, entkoppeln sich zwei Dinge, die man für untrennbar hielt: das Wissen eines Systems und der Aufwand, es zu benutzen.

Diese Einsicht reicht weit über KI hinaus. Sie ist ein Prinzip guter Systemgestaltung überhaupt: Baue Kapazität großzügig, aber aktiviere sie sparsam und bedarfsgerecht. Ein Krankenhaus mit vielen Fachärzten und einer guten Triage ist leistungsfähiger und günstiger als eines, in dem jeder Patient reihum jeden Arzt sieht. Ein Softwaresystem, das teure Module nur bei Bedarf lädt, skaliert besser als eines, das stets alles vorhält. Das eigentliche Kunststück liegt selten in der schieren Größe – es liegt im Router, in der Klugheit, mit der man entscheidet, welcher Teil der Kapazität für die jeweilige Aufgabe wirklich gebraucht wird.

Für die Praxis heißt das: Wer heute die Größe eines Sprachmodells beurteilt, sollte nicht nur nach der Gesamtparameterzahl fragen, sondern nach den aktiven Parametern pro Token – denn erst diese Zahl verrät die wahren Betriebskosten und oft mehr über das Verhalten des Modells als die eindrucksvolle Gesamtsumme auf dem Datenblatt.

Reflexionsfrage

Wenn die Zukunft der KI darin besteht, gewaltige Kapazität mit sparsamer, bedingter Aktivierung zu verbinden – wie viel Ähnlichkeit hat dieser Weg mit deinem eigenen Denken, das ebenfalls nur einen winzigen Teil seiner Möglichkeiten für die jeweilige Aufgabe abruft? Und wenn das „Wissen" eines Modells und seine „Anstrengung" sich sauber trennen lassen: Welche Systeme in deinem beruflichen Alltag – Software, Prozesse, Teams – halten heute noch ihre gesamte Kapazität bei jeder Aufgabe unter Volllast, obwohl ein kluger Türsteher genügen würde?

Querverweise im Vault

Quellen

← All articles