Ein KI-gesteuerter Angriff trifft die Modell-Drehscheibe der Branche

Wer im eigenen Haus offene KI-Modelle einsetzt, lädt sie fast immer von einer einzigen Stelle herunter: Hugging Face, einer Art App-Store für Modelle und Trainingsdaten. Genau diese Plattform hat Mitte Juli einen Einbruch in die eigene Produktivinfrastruktur öffentlich gemacht. Das Bemerkenswerte ist nicht, dass es passierte – das passiert großen Plattformen –, sondern wie: Der Angriff wurde weitgehend von einem automatisierten Programm gefahren, nicht von einem Menschen am Bildschirm.

Was passiert ist

Der Einstieg lief über einen präparierten Datensatz. Beim Verarbeiten dieses Datensatzes wurde fremder Programmcode ausgeführt – möglich, weil das Laden von Datensätzen an zwei Stellen Code ausführen kann. Von diesem ersten Rechner arbeitete sich der Angreifer übers Wochenende weiter vor: höhere Zugriffsrechte, das Abgreifen von Zugangsdaten für Cloud und interne Cluster, seitliche Bewegung in mehrere davon.

Gesteuert wurde das laut Hugging Face von einem eigenständig agierenden Agenten-System, das über 17.000 einzelne Aktionen in kurzlebigen Wegwerf-Umgebungen ausführte. Aufgefallen ist der Angriff durch die eigene, KI-gestützte Auffälligkeitserkennung des Anbieters. Betroffen waren nach dessen Darstellung eine begrenzte Zahl interner Datensätze und mehrere Dienst-Zugangsdaten. Nicht manipuliert wurden demnach die öffentlichen Modelle, Datensätze und die Software, die Millionen Nutzer herunterladen.

Warum das jeden angeht, der Modelle herunterlädt

Der entscheidende Punkt für den Mittelstand steckt in der Einstiegstür. Ein KI-Modell oder einen Datensatz herunterzuladen ist eben nicht wie das Öffnen einer PDF: Beim Laden kann – je nach Dateiformat – Programmcode auf Ihrem Rechner ausgeführt werden. Dieselbe Schwachstelle, über die man bei Hugging Face einstieg, sitzt auch auf dem Laptop des Entwicklers, der ein fremdes Modell „mal eben ausprobiert".

Das ist ein Lieferketten-Risiko im Wortsinn: Sie beziehen einen Baustein von einem Zulieferer, und mit dem Baustein kommt potenziell mehr ins Haus als gedacht. Dass diesmal die öffentlichen Downloads sauber blieben, war Glück im Unglück – und der Grund, warum das Thema überhaupt so ernst genommen wird.

Wie neu ist das wirklich?

Hier lohnt Nüchternheit. Dass ein „autonomer KI-Angreifer" am Werk war, ist zunächst die Darstellung des Betroffenen – belastbar, weil Hugging Face als Einziger die Protokolle hat, aber eben eine Innensicht. Die begleitende Presse macht daraus schnell den Beginn einer neuen Ära, so etwa Forbes, ohne skeptische Gegenstimmen.

Zwei Dinge sind zu trennen. Die ausgenutzte Schwachstelle – Codeausführung beim Laden von Daten – ist alt und gut bekannt. Neu ist die Automatisierung: Zehntausende Handgriffe, die früher ein Angreifer einzeln machen musste, laufen jetzt billig und rund um die Uhr. Ob dahinter echte „Autonomie" oder nur ein gut geschriebenes Skript steckt, lässt sich von außen nicht sauber unterscheiden – für die Verteidigung ist der Unterschied auch zweitrangig. Und ein Lichtblick gehört dazu: Erkannt wurde der Angriff durch KI auf der Verteidigerseite. Das Wettrüsten läuft in beide Richtungen.

Was tatsächlich hilft

Der Schutz liegt, wie so oft, nicht in einem KI-Produkt, sondern in der Hygiene beim Umgang mit fremden Bausteinen.

Sichere Dateiformate bevorzugen. Für Modellgewichte gibt es das Format safetensors, das anders als das ältere Python-Format „Pickle" keinen ausführbaren Code enthält, sondern nur Zahlen. Wo es die Wahl gibt, ist das die risikoärmere Variante.

Fremdes zuerst in Quarantäne laden. Ein unbekanntes Modell oder einen unbekannten Datensatz auf einer isolierten Maschine ohne Zugangsdaten und ohne Netz zu den Kernsystemen ausprobieren – nicht auf dem Rechner, der auch ins ERP kommt.

Zugangs-Token rotieren und knapp halten. Hugging Face empfiehlt seinen Nutzern genau das. Ein Token, der nur lesen darf, richtet weniger Schaden an als einer, der alles darf.

Die Modell-Plattform als Zulieferer behandeln, nicht als Teil des eigenen Hauses. Version festhalten, Prüfsummen kontrollieren, nicht blind die neueste Fassung ziehen. Es sind dieselben Prinzipien, die für jeden anderen Zulieferer längst gelten – sie auf KI-Bausteine anzuwenden, ist der eigentliche Lerneffekt dieser Woche.