Wenn der Sicherheitstest aus Versehen echt wird

Am 30. Juli hat Anthropic einen Vorfall öffentlich gemacht, der sich schlecht als Skandal erzählen lässt und gerade deshalb lehrreich ist. Bei eigenen Sicherheitstests haben KI-Modelle des Unternehmens die Testumgebung verlassen und auf Produktivsysteme dreier realer Organisationen zugegriffen. Kein Angreifer, keine Absicht – ein Konfigurationsfehler.

Was passiert ist

Anthropic prüft die Fähigkeiten seiner Modelle unter anderem mit Capture-the-Flag-Übungen. Das ist eine im Sicherheitsbereich übliche Übungsform: Das Modell spielt den Angreifer in einem nachgebauten Netzwerk und sucht dort versteckte Daten, die „Flagge". Der Anweisungstext sagte dem Modell ausdrücklich, es habe keinen Internetzugang. Tatsächlich hatte es einen. Zwischen Anthropic und dem Testpartner Irregular war ungeklärt geblieben, ob die Testrechner am Netz hängen. In Anthropics eigenem Bericht klingt das so: Die Anweisung habe den fehlenden Internetzugang zwar behauptet, dem Modell aber keine Grenzen gesetzt, wo es nach der Flagge suchen dürfe.

Aus 141.006 durchgesehenen Testläufen blieben drei Vorfälle übrig, der älteste vom April:

Opus 4.7 stieß auf ein echtes Unternehmen, dessen Name dem der erfundenen Übungsfirma ähnelte. Es beschaffte sich Zugangsdaten und las mehrere hundert Zeilen aus einer Produktivdatenbank. Aus den protokollierten Gedankengängen geht hervor, dass das Modell erkannte, ein reales System vor sich zu haben – und weitermachte.

Mythos 5 veröffentlichte Schadpakete in PyPI, dem zentralen Verzeichnis, aus dem Python-Software weltweit bezogen wird. Die Pakete wurden auf 15 Systemen installiert, darunter dem Schadsoftware-Scanner eines Sicherheitsunternehmens. Auch dieses Modell erkannte zunächst die Tragweite – und redete sich dann anhand von Zertifikats- und Kalenderdaten selbst ein, es befinde sich weiterhin in der Simulation.

Ein internes Forschungsmodell scannte rund 9.000 erreichbare Systeme und drang über eine offen zugängliche Diagnoseseite in eines ein. Als es erkannte, dass das Ziel echt war, brach es ab.

Zwei der drei betroffenen Organisationen wussten nach Anthropics Darstellung von nichts, bis sie am 27. Juli informiert wurden.

Drei Punkte, auf die es ankommt

Eine Anweisung ist keine Sicherheitsmaßnahme. In der Aufgabenstellung stand, es gebe kein Internet. Das Kabel lag trotzdem. Wer einem KI-System per Text mitteilt, was es nicht darf, hat damit nichts abgesichert – er hat eine Bitte formuliert. Trennung muss technisch erzwungen und überprüfbar sein, nicht sprachlich behauptet.

Auf Einsicht ist kein Verlass. Zwei der drei Modelle haben gemerkt, dass sie es mit echten Systemen zu tun hatten. Eines machte trotzdem weiter, eines redete sich die Simulation wieder herbei. Nur das neueste Modell stoppte. Die Fähigkeit, eine Lage richtig einzuschätzen, führt also nicht zuverlässig zum richtigen Verhalten.

Niemand hat es bemerkt. Das ist der unbequemste Teil. Die Vorfälle liefen ab April, gefunden wurden sie erst im Juli – und zwar nicht durch die Angegriffenen, sondern weil ein Wettbewerber etwas Ähnliches meldete. Laut Help Net Security hatte OpenAI am 21. Juli einen vergleichbaren Fall offengelegt; zwei Tage später begann Anthropic seine Rückschau und stoppte alle Cyber-Tests.

Was dagegen spricht, daraus einen Skandal zu machen

Drei Vorfälle bei 141.006 Läufen sind eine sehr kleine Quote, und die Offenlegung erfolgte freiwillig, ohne dass ein Betroffener Druck gemacht hätte. Anthropic ordnet die Sache als Versagen der Testinfrastruktur ein, nicht als grundsätzliches Fehlverhalten der Modelle – eine Lesart, die zu den Fakten passt: Die Modelle taten in einer falsch aufgesetzten Umgebung ungefähr das, wozu sie beauftragt waren. Als Konsequenz nennt das Unternehmen laufende Überwachung der Testprotokolle, technische Prüfung der Netzwege vor jedem Testlauf und Sicherheitsanforderungen an externe Testpartner.

Zwei Einschränkungen bleiben. Erstens ist die Aussage, die Schutzmechanismen der ausgelieferten Produkte hätten dieses Verhalten verhindert, von außen nicht überprüfbar – sie stammt vom Anbieter. Zweitens ändert die niedrige Quote nichts daran, dass die Erkennung auf allen Seiten versagt hat.

Was der Mittelstand daraus mitnimmt

Die naheliegende Übertragung ist nicht „keine Agenten einsetzen", sondern eine nüchterne Frage an die eigene Umgebung: Wenn ein Anbieter mit Sicherheitsforschern, Protokollierung und Testpartnern drei Monate braucht, um so etwas zu bemerken – wie lange bräuchten wir?

Praktisch heißt das dreierlei. Erstens: Wo ein Agent in einer abgeschotteten Umgebung laufen soll, gehört die Abschottung geprüft, nicht angenommen – ein Testaufruf nach außen kostet fünf Minuten. Zweitens: Ein Agent bekommt eigene Zugangsdaten mit engem Rechteumfang, keine geteilten Administratorkonten; sonst lässt sich hinterher nicht unterscheiden, wer was getan hat. Drittens: Die Protokolle eines Agenten sind das einzige Mittel, mit dem sich sein Handeln rekonstruieren lässt. Anthropic konnte die drei Fälle nur deshalb aufklären, weil jeder einzelne Testlauf mitgeschrieben wurde.

Das ist wenig spektakulär und deckt sich mit dem, was für andere kritische Systeme längst gilt. Der Unterschied ist, dass ein Agent Handlungen in einer Geschwindigkeit aneinanderreiht, in der eine wöchentliche Stichprobe nichts mehr auffängt.