Der Panda, der ein Gibbon wurde: Adversarial Examples und die verborgene Zerbrechlichkeit neuronaler Netze

Der Aufhänger: Ein Panda mit 99,3 Prozent Gibbon

Auf dem linken Bild sieht man einen Panda. Ein Bildklassifikator – GoogLeNet, trainiert auf ImageNet – sieht ihn auch: „panda", mit 57,7 Prozent Konfidenz. Auf dem rechten Bild sieht man – für jedes menschliche Auge – exakt denselben Panda. Das Netz aber ist sich jetzt sehr sicher, etwas anderes zu sehen: „gibbon", mit 99,3 Prozent Konfidenz.

Zwischen beiden Bildern liegt ein Rauschmuster, das mit dem Faktor 0,007 skaliert addiert wurde. Die Autoren wählten diese Größe, weil sie dem kleinsten Bit einer 8-Bit-Bildkodierung entspricht, nachdem GoogLeNet die Pixelwerte in reelle Zahlen umgerechnet hat. Kein Mensch sieht den Unterschied. Das Netz sieht einen anderen Affen.

Dieses Bild aus dem Aufsatz „Explaining and Harnessing Adversarial Examples" von Ian Goodfellow, Jonathon Shlens und Christian Szegedy (ICLR 2015) ist zur Ikone eines Forschungsfeldes geworden. Es zeigt etwas Unbequemes: Ein System, das auf Standard-Testdaten hervorragend abschneidet, kann durch gezielt konstruierte, für Menschen unsichtbare Änderungen zu falschen und dabei hochkonfidenten Antworten gebracht werden. Solche Eingaben heißen Adversarial Examples – gegnerische Beispiele.

Dieser Artikel erklärt, woher sie kommen, warum ihre Abwehr so schwierig ist und was das für jeden bedeutet, der Modelle in sicherheitsrelevanten Umgebungen einsetzt.

Teil 1: Die Entdeckung – „intriguing properties"

Die erste systematische Beschreibung stammt aus dem Aufsatz „Intriguing properties of neural networks" von Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow und Rob Fergus, eingereicht bei arXiv am 21. Dezember 2013. Der Titel ist bescheiden, der Inhalt war es nicht. Die Autoren berichteten, man könne ein Netz dazu bringen, ein Bild falsch zu klassifizieren, indem man eine bestimmte unmerkliche Störung anwendet, die durch Maximieren des Vorhersagefehlers des Netzes gefunden wird.

Wichtiger noch war ein zweiter Befund: Die Störungen seien kein zufälliges Artefakt des Lernens. Dieselbe Störung könne ein anderes Netz, das auf einer anderen Teilmenge des Datensatzes trainiert wurde, dazu bringen, dieselbe Eingabe falsch zu klassifizieren. Im Volltext präzisieren die Autoren: Die Beispiele täuschen auch Netze mit anderer Schichtzahl, anderen Aktivierungen oder Hyperparametern und bleiben selbst für Modelle schwierig, die auf einer disjunkten Trainingsmenge gelernt haben – wenn auch mit deutlich geringerer Wirkung. Diese Eigenschaft heißt heute Übertragbarkeit (transferability). Ihre praktische Brisanz: Spätere Arbeiten, die hier nicht im Detail behandelt werden, nutzten sie für Angriffe über selbst trainierte Ersatzmodelle, ohne das Zielmodell zu kennen.

Im selben Aufsatz steht ein zweiter, weniger bekannter Befund, der zum Verständnis beiträgt: Die Autoren fanden keinen Unterschied zwischen einzelnen hochrangigen Neuronen und zufälligen Linearkombinationen solcher Neuronen. Ihre Folgerung: Es sei der Raum der Aktivierungen und nicht das einzelne Neuron, der die semantische Information in den oberen Schichten trägt. Wer den Artikel zur mechanistischen Interpretierbarkeit im Vault gelesen hat, erkennt hier einen frühen Vorläufer der Superpositions-Idee.

Teil 2: Die Erklärung – zu linear, nicht zu nichtlinear

Die naheliegende Vermutung war zunächst, Adversarial Examples seien eine Folge der starken Nichtlinearität tiefer Netze oder von Überanpassung. Goodfellow, Shlens und Szegedy widersprachen 2014: Frühe Erklärungsversuche hätten sich auf Nichtlinearität und Überanpassung konzentriert; die Hauptursache der Verwundbarkeit sei dagegen die lineare Natur der Netze.

Die Intuition dahinter lässt sich mit einer einfachen Überlegung nachvollziehen. Ein lineares Modell berechnet ein Skalarprodukt w·x. Ändert man jedes Eingabemerkmal um höchstens ε, und zwar jeweils in die Richtung des Vorzeichens des zugehörigen Gewichts, dann wächst das Skalarprodukt um ε mal der Summe der Gewichtsbeträge. Diese Summe wächst mit der Anzahl der Dimensionen. Bei einem Bild mit Hunderttausenden von Pixelwerten summieren sich viele winzige, einzeln unsichtbare Änderungen zu einer großen Änderung der Ausgabe. Hohe Dimension plus lokal annähernd lineares Verhalten genügen also für die Verwundbarkeit – keine exotische Nichtlinearität nötig. Moderne Netze verhalten sich, so das Argument, vielfach bewusst linear (etwa durch ReLU-Aktivierungen), weil sie sich dann leichter optimieren lassen.

Aus dieser Erklärung folgt direkt ein billiges Angriffsverfahren, die Fast Gradient Sign Method (FGSM):

x̃ = x + ε · sign(∇ₓ J(θ, x, y))

Man berechnet per Backpropagation den Gradienten der Verlustfunktion J nicht nach den Gewichten θ, sondern nach der Eingabe x, nimmt davon nur das Vorzeichen und geht einen Schritt der Größe ε in diese Richtung. Ein einziger Gradientenschritt genügt. Auf MNIST mit ε = 0,25 klassifizierte ein Maxout-Netz laut dem Aufsatz 89,4 Prozent der so erzeugten Beispiele falsch, mit einer durchschnittlichen Konfidenz von 97,6 Prozent.

Teil 3: Die erste Verteidigung – adversariales Training

Wenn man Angriffe billig erzeugen kann, kann man sie auch ins Training einbauen. Genau das schlugen Goodfellow und Kollegen vor: adversariales Training. Während des Trainings werden fortlaufend FGSM-Beispiele erzeugt und mit korrektem Label als zusätzliche Trainingsdaten verwendet. Das Ergebnis im selben Aufsatz: Die Fehlerrate des Maxout-Netzes auf FGSM-Beispielen sank von 89,4 auf 17,9 Prozent. Nebenbei sank auch der Fehler auf den normalen Testdaten leicht – das Verfahren wirkte also zusätzlich als Regularisierung.

Ein wichtiger Haken: Diese Robustheit gilt gegenüber dem Angriff, mit dem trainiert wurde. 17,9 Prozent Fehler gegen FGSM garantieren nichts darüber, wie sich das Modell gegen einen stärkeren, iterativen Angreifer verhält.

Teil 4: Robustheit als Spiel zwischen zwei Spielern

Diesen Haken adressierten Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras und Adrian Vladu in „Towards Deep Learning Models Resistant to Adversarial Attacks" (arXiv, Juni 2017). Sie betrachteten die adversariale Robustheit „durch die Linse der robusten Optimierung". Formal wird das Training zu einem Min-Max-Problem:

min_θ E₍ₓ,ᵧ₎ [ max_{δ ∈ S} J(θ, x + δ, y) ]

Dabei ist S die Menge der erlaubten Störungen; in den Experimenten der Arbeit sind das Störungen mit ‖δ‖∞ ≤ ε (ε = 0,3 bei MNIST, ε = 8 bei CIFAR-10 auf der Pixelskala 0–255).

Der innere Spieler – der Angreifer – sucht innerhalb von S die schädlichste Störung. Der äußere Spieler – das Training – wählt Gewichte, die selbst gegen diesen schlimmsten Fall möglichst gut abschneiden. Laut Abstract liefert diese Formulierung eine konkrete Sicherheitsgarantie, die gegen jeden Angreifer schützen würde, sofern man das innere Problem lösen könnte. Weil das im Allgemeinen nicht exakt gelingt, schlagen die Autoren als praktikable Zielgröße die Sicherheit gegen einen Angreifer erster Ordnung vor – also gegen jeden Angreifer, der nur Gradienteninformation nutzt – und bezeichnen sie als natürliche und breite Sicherheitsgarantie.

Der Wert dieser Arbeit liegt weniger in einem neuen Trick als in der Begriffsklärung: Robustheit ist relativ zu einem explizit definierten Bedrohungsmodell (welche Störungen sind erlaubt, wie groß ist ε, was weiß der Angreifer). Ohne dieses Modell ist „robust" keine prüfbare Aussage.

Teil 5: Verteidigungen, die nur scheinbar funktionieren

Wie wichtig diese Klärung ist, zeigte 2018 eine Arbeit, die das Feld ernüchterte: „Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples" von Anish Athalye, Nicholas Carlini und David Wagner (ICML 2018).

Die Autoren identifizierten verschleierte Gradienten (obfuscated gradients), eine Form der Gradientenmaskierung, als Phänomen, das bei Verteidigungen gegen Adversarial Examples ein falsches Gefühl der Sicherheit erzeugt. Eine Verteidigung, die etwa einen nicht differenzierbaren Vorverarbeitungsschritt oder zufällige Transformationen einbaut, lässt gradientenbasierte Angriffe ins Leere laufen – nicht, weil das Modell robust ist, sondern weil der Angreifer keinen brauchbaren Gradienten mehr bekommt.

In einer Fallstudie untersuchten sie die nicht zertifizierten Verteidigungen der ICLR 2018, die Sicherheit im White-Box-Szenario beanspruchten. Ergebnis: 7 von 9 Verteidigungen stützten sich auf verschleierte Gradienten. Mit angepassten Angriffen umgingen die Autoren 6 davon vollständig und eine teilweise – jeweils im Bedrohungsmodell, das das jeweilige Paper selbst angenommen hatte.

Die Arbeit unterscheidet drei Typen und nennt für jeden ein Gegenmittel:

Die Lehre ist methodisch: Athalye et al. fordern ausdrücklich adaptive Angriffe, bei denen der Angreifer die Verteidigung kennt und nur durch das Bedrohungsmodell beschränkt ist. Erst dann ist eine Verteidigung bewertet. Ich bin der Meinung, dass man darin – als Analogie, nicht als Formulierung der Autoren – das Kerckhoffs-Prinzip der Kryptographie wiedererkennt: Sicherheit darf nicht davon abhängen, dass der Angreifer das Verfahren nicht kennt.

Teil 6: Aus dem Labor auf die Straße

Ist das alles ein Laborproblem, weil reale Kameras, Blickwinkel und Licht winzige Pixelstörungen ohnehin zerstören? Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno und Dawn Song gingen dieser Frage in „Robust Physical-World Attacks on Deep Learning Models" (arXiv 2017) nach. Ihr Algorithmus Robust Physical Perturbations (RP2) erzeugt Störungen, die unter verschiedenen physischen Bedingungen wirksam bleiben.

Das bekannteste Experiment: Mit einer Störung in Form von nur schwarzen und weißen Aufklebern auf einem echten Stoppschild erreichten sie (in der Variante „abstrakte Kunst" gegen ihren Klassifikator LISA-CNN, Zielklasse „Speed Limit 45") eine gezielte Fehlklassifikation in 100 Prozent der im Labor aufgenommenen Bilder und in 84,8 Prozent der Videobilder, die aus einem fahrenden Fahrzeug aufgenommen wurden – jeweils für den untersuchten Zielklassifikator.

Zwei Einschränkungen gehören zur ehrlichen Lesart: Es handelt sich um einen bestimmten Klassifikator in einem bestimmten Versuchsaufbau, nicht um ein Serienfahrzeug mit Sensorfusion. Und die Störung ist für Menschen sichtbar – die Autoren gestalteten sie bewusst so, dass sie Graffiti ähnelt, einer verbreiteten Form von Vandalismus, und deshalb nicht wie ein Angriff wirkt. Gezeigt ist damit, dass das Phänomen die Grenze vom Pixel zur physischen Welt überschreiten kann – nicht, dass reale Fahrzeuge so getäuscht werden.

Teil 7: Fehler oder Merkmal?

Die vielleicht tiefste Neudeutung lieferten 2019 Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran und Aleksander Madry mit dem programmatischen Titel „Adversarial Examples Are Not Bugs, They Are Features". Ihre These: Adversarial Examples lassen sich direkt auf nicht-robuste Merkmale zurückführen – Muster in der Datenverteilung, die hochgradig prädiktiv, aber zerbrechlich und für Menschen unverständlich sind.

Das Modell macht aus dieser Sicht keinen Fehler. Es nutzt Muster, die in den Daten tatsächlich mit dem Label zusammenhängen – nur sind es nicht die Muster, die wir für relevant halten. Ein Mensch erkennt den Panda an Form und Fellzeichnung; das Netz nutzt zusätzlich feine statistische Texturen, die genauso zuverlässig mit „Panda" korrelieren, sich aber mit winzigen Änderungen umkehren lassen. In einem vereinfachten Modell führen die Autoren das Phänomen rigoros auf eine Fehlanpassung zwischen dem (vom Menschen festgelegten) Robustheitsbegriff und der inhärenten Geometrie der Daten zurück.

Diese Deutung hat eine unangenehme Konsequenz: Wenn die Verwundbarkeit aus nützlichen Merkmalen entsteht, dann ist sie kein Programmierfehler, den man einfach beheben kann. Robustheit verlangt, dem Modell gezielt die Nutzung bestimmter prädiktiver Merkmale abzugewöhnen. Die Arbeit ist allerdings nicht unwidersprochen geblieben: In einer Diskussion in der Zeitschrift Distill (August 2019) sammelte die Redaktion sechs Kommentare; einer davon, von Preetum Nakkiran, trägt den Titel „Adversarial Examples are Just Bugs, Too" und zeigt Beispiele, die tatsächlich eher aus Fehlern als aus Merkmalen entstehen. Die Originalautoren antworteten dort selbst. Die Merkmals-These ist damit eine einflussreiche Deutung, kein abgeschlossener Konsens.

Teil 8: Ein Rahmen für die Praxis

Erkenntnis zum Mitnehmen

Adversarial Examples zeigen, dass hohe Genauigkeit auf Testdaten und Robustheit gegen einen Gegner zwei verschiedene Eigenschaften sind. Die Testgenauigkeit misst, wie gut ein Modell mit Eingaben umgeht, die der Verteilung der Trainingsdaten folgen. Ein Angreifer wählt aber gezielt Eingaben, die genau das nicht tun.

Der praktische Handlungsanstoß: Behandeln Sie jedes ML-Modell, dessen Eingaben ein Dritter beeinflussen kann, wie eine Angriffsfläche. Definieren Sie ein Bedrohungsmodell, testen Sie mit Angriffen, die die Verteidigung kennen, und verlassen Sie sich nie auf eine Robustheitsangabe, die nicht sagt, gegen welchen Angreifer sie gilt.

Ich bin der Meinung, dass die wichtigste Lehre über Bildklassifikation hinausreicht: Ein Modell kann aus Gründen richtig liegen, die nicht unsere Gründe sind – und genau dort, wo seine Gründe und unsere auseinanderfallen, liegt die Angriffsfläche.

Reflexionsfrage

Welches System in Ihrer Verantwortung trifft Entscheidungen auf Basis von Eingaben, die ein motivierter Dritter gestalten kann – und haben Sie seine Zuverlässigkeit jemals gegen einen Gegner gemessen statt nur gegen den Durchschnittsfall?

Querverweise im Vault

• Der Fehler, der rückwärts lernt: Backpropagation, die Kettenregel und der Algorithmus hinter dem Deep Learning – derselbe Gradient, der das Netz trainiert, liefert dem Angreifer die Richtung.
• Der Geist in der Maschine: Wie man ein neuronales Netz von innen liest – Merkmale im Aktivierungsraum statt in einzelnen Neuronen.
• Mehr Parameter, weniger Fehler: Double Descent, Grokking und das Rätsel der Generalisierung – warum gute Generalisierung auf Testdaten nicht dasselbe ist wie Robustheit.
• Bits, die von selbst umkippen: Rowhammer und die physikalische Schwachstelle des Arbeitsspeichers – eine andere Angriffsfläche, die aus einer Eigenschaft und nicht aus einem Programmierfehler entsteht.

Faktenprüfung

Geprüft wurden 47 Aussagen des Entwurfs gegen die Primärquellen (arXiv-Abstract- und Volltextseiten, PMLR, Distill): 22 harte Fakten, 8 Zitate bzw. enge Paraphrasen, 7 Quellenzuschreibungen und 10 Synthese-Aussagen. Die Prüfung erfolgte durch einen separaten Gutachter-Agenten mit dem Auftrag, Fehler zu finden. Ergebnis: 0 FALSCH, 7 ABZUSCHWÄCHEN bzw. zu präzisieren, 0 NICHT PRÜFBAR – insgesamt 7 Korrekturen.

Die wichtigsten Korrekturen:

1. Falsche Zuschreibung beim Transfer. Der Entwurf leitete den Angriff über ein selbst trainiertes Ersatzmodell aus Szegedy et al. ab; diese berichten aber nur die Übertragbarkeit selbst – und zwar mit deutlich geringerer Wirkung bei disjunkten Trainingsdaten. Ersatzmodell-Angriffe stammen aus späteren Arbeiten.
2. Die Tabelle zu verschleierten Gradienten war ungenau. Sie folgt jetzt der Einteilung von Athalye et al. (zersplitterte, stochastische, explodierende/verschwindende Gradienten) mit den dort genannten Gegenmitteln BPDA, EOT und Reparametrisierung.
3. Kerckhoffs-Prinzip als eigene Analogie gekennzeichnet. Athalye et al. erwähnen es nicht; sie fordern „adaptive Angriffe". Zudem wurde die Behauptung, adversariales Training sei rechenintensiv, an die in der Madry-Arbeit tatsächlich angegebenen Angriffsschritte gebunden.

Hinweis: Automatisierte KI-Prüfung gegen Primärquellen; keine menschliche Fachprüfung.

Quellen und zum Weiterlesen

1. Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R.: Intriguing properties of neural networks. arXiv:1312.6199 (v1 21. Dezember 2013). https://arxiv.org/abs/1312.6199
2. Goodfellow, I. J., Shlens, J., Szegedy, C.: Explaining and Harnessing Adversarial Examples. ICLR 2015. arXiv:1412.6572. https://arxiv.org/abs/1412.6572
3. Madry, A., Makelov, A., Schmidt, L., Tsipras, D., Vladu, A.: Towards Deep Learning Models Resistant to Adversarial Attacks. arXiv:1706.06083 (v1 19. Juni 2017). https://arxiv.org/abs/1706.06083
4. Athalye, A., Carlini, N., Wagner, D.: Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples. Proceedings of the 35th ICML, PMLR 80:274–283, 2018. https://proceedings.mlr.press/v80/athalye18a.html
5. Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Prakash, A., Kohno, T., Song, D.: Robust Physical-World Attacks on Deep Learning Models. arXiv:1707.08945 (v1 27. Juli 2017). https://arxiv.org/abs/1707.08945
6. Ilyas, A., Santurkar, S., Tsipras, D., Engstrom, L., Tran, B., Madry, A.: Adversarial Examples Are Not Bugs, They Are Features. arXiv:1905.02175 (v1 6. Mai 2019). https://arxiv.org/abs/1905.02175
7. Distill-Redaktion (Hrsg.): A Discussion of „Adversarial Examples Are Not Bugs, They Are Features". Distill, 6. August 2019. DOI 10.23915/distill.00019. https://distill.pub/2019/advex-bugs-discussion/

← All articles