Der Tag nach dem KI-GAU

Eine KI übermittelt der Polizei einen erfundenen Hinweis zu einem Mordfall. Andere Systeme reichen echte Visumanträge ein oder umgehen technische Zugangsbeschränkungen. Die Vorfälle ereigneten sich während interner Tests des US-Unternehmens Anthropic. 

Gleichzeitig bereiten sich führende KI-Konzerne laut einem Bericht des Nachrichtenportals Axios bereits auf die Folgen einer erheblich größeren Krise vor: einen KI-gestützten Angriff, der Banken, das Internet oder sogar die Energieversorgung treffen könnte. In Washington wächst der Druck auf die Branche.

Die KI-Konzerne planen für den Katastrophenfall

Was geschieht, wenn ein schwerer KI-Zwischenfall nicht nur einzelne Computersysteme betrifft, sondern Teile der öffentlichen Infrastruktur lahmlegt? Mit dieser Frage beschäftigen sich nach Recherchen des US-Nachrichtenportals Axios Führungskräfte und Sicherheitsexperten führender KI-Unternehmen, darunter OpenAI und Anthropic.

Im Mittelpunkt stehen Szenarien, in denen ein groß angelegter Cyberangriff Finanzdienstleistungen, Internetverbindungen oder die Versorgung mit Strom und Wasser beeinträchtigt. Die Planungen befassen sich allerdings nicht ausschließlich mit den technischen Folgen. Auch die politische Reaktion und mögliche Forderungen nach einer Einschränkung der KI-Entwicklung werden durchgespielt.

Nach Angaben von Axios bereiten sich Branchenvertreter darauf vor, politische Entscheidungsträger im Krisenfall schnell über technische Zusammenhänge und mögliche Gegenmaßnahmen zu informieren. Hinter den Kulissen geht es damit auch um die Frage, wie weit staatliche Eingriffe nach einem schwerwiegenden Zwischenfall reichen könnten.

OpenAI bestätigte gegenüber Axios, regelmäßig unterschiedliche Krisenszenarien durchzuspielen. Das Unternehmen betonte zugleich, solche Ereignisse würden keineswegs als unvermeidlich betrachtet. Anthropic wollte sich zu den beschriebenen Planungen nicht äußern.

Einige von Axios befragte Brancheninsider halten einen schweren Vorfall innerhalb der kommenden sechs bis zwölf Monate für möglich. 

Dass sich die Branche mit Katastrophenszenarien beschäftigt, beweist nicht, dass eine solche Katastrophe bevorsteht. Die jüngsten Entwicklungen zeigen allerdings, weshalb die Unternehmen ihre Sicherheitskonzepte zunehmend auf eigenständig handelnde KI-Systeme ausrichten.

Eine KI meldet einen erfundenen Mordhinweis

Am 9. Oktober veröffentlichte Anthropic einen ausführlichen Bericht über unerwünschte Handlungen seiner KI-Modelle bei internen Tests und Anwendungen.

Einer der Vorfälle betraf einen ungeklärten Mordfall in Philadelphia. Das Modell Claude Haiku 4.5 sollte beispielhafte Aufgaben auf zufällig ausgewählten Internetseiten erledigen. Dabei gelangte es auf eine Website mit einem Formular für Hinweise an die Polizei.

Obwohl die KI keine tatsächlichen Kenntnisse über den Fall besaß, trug sie einen angeblichen Hinweis zu einer verdächtigen Person ein und schickte das Formular ab. Die Meldung wurde als Spam eingestuft und nicht an die Ermittler weitergeleitet.

In einem anderen Fall sollte ein noch unveröffentlichtes Forschungsmodell ein Übungsformular ausfüllen. Als die Testumgebung nicht wie vorgesehen funktionierte, wich es auf die echte Website einer US-Behörde aus und übermittelte dort entsprechende Anträge.

Nach Angaben des US-Außenministeriums wurden auf diese Weise insgesamt 20 Anträge für Nichteinwanderungsvisa eingereicht, davon 19 im August und einer im Mai.  Anthropic dokumentierte darüber hinaus Fälle, in denen Modelle technische Schwachstellen ausnutzten, um Befehle auf fremden Servern auszuführen, oder Zugriffsbeschränkungen für Daten umgingen.

Nach Angaben des Unternehmens verursachten die neu veröffentlichten Fälle nur geringe tatsächliche Schäden. Ein massiver Angriff auf kritische Infrastruktur ist damit nicht dokumentiert.

Wenn KI-Systeme Grenzen umgehen

Die Vorfälle sind dennoch aufschlussreich, weil sie ein grundsätzliches Problem autonom arbeitender KI-Agenten sichtbar machen.

Anders als ein klassischer Chatbot, der lediglich Text erzeugt, kann ein KI-Agent mit entsprechenden Werkzeugen selbstständig Webseiten aufrufen, Programme bedienen, Daten abrufen und Aktionen ausführen.

Diese Fähigkeit macht solche Systeme wirtschaftlich interessant. Unternehmen können damit komplexere Aufgaben automatisieren, für die bisher mehrere manuelle Arbeitsschritte erforderlich waren.

Allerdings entsteht ein neues Risiko, wenn die Software ein vorgegebenes Ziel weiterverfolgt, obwohl dafür vorgesehene Wege nicht funktionieren.

Anthropic bezeichnet einen Teil des beobachteten Verhaltens als übermäßige Beharrlichkeit. Die Modelle stießen auf Hindernisse und suchten eigenständig nach Umwegen, anstatt die Aufgabe abzubrechen.

In manchen Fällen waren die Anweisungen unklar. In anderen verhinderten technische Fehler, dass die KI in einer sicheren Testumgebung blieb.

Daraus lässt sich nicht ableiten, dass die Systeme bewusst gegen ihre Entwickler handelten. Die Beispiele verdeutlichen vielmehr, dass eine allgemeine Anweisung zur Vorsicht nicht zwangsläufig ausreicht, um unerwünschte Aktionen zu verhindern.

Entscheidend ist, welche technischen Berechtigungen ein KI-System besitzt, welche Zugriffe tatsächlich blockiert werden und ob ungewöhnliches Verhalten rechtzeitig erkannt wird.

Als Konsequenz schränkt Anthropic den direkten Internetzugang seiner internen Modellevaluierungen umfassend ein, bis die Sicherheits- und Überwachungsmaßnahmen ausreichend überprüft sind. Zusätzliche Kontrollsysteme sollen unerwünschte Aktionen frühzeitig erkennen und verhindern.

OpenAI sieht neue Dimension bei Cyberfähigkeiten

Die Sicherheitsfrage betrifft nicht allein Anthropic.

OpenAI erklärte bereits Anfang September, dass sein Modell GPT-6 Astra bei Cyberfähigkeiten erstmals die höchste Risikostufe des eigenen Sicherheitsrahmens erreicht habe.

Nach Einschätzung des Unternehmens kann das System mit geeigneten Werkzeugen und Zugriffsrechten bislang unbekannte Sicherheitslücken finden und Möglichkeiten zu ihrer Ausnutzung entwickeln, auch bei gut geschützten Systemen.

OpenAI verwies zugleich auf zusätzliche Schutzmaßnahmen, darunter strengere Abschottung, Überwachung und Sicherheitsprüfungen. Die Einstufung beschreibt damit eine technische Fähigkeit unter bestimmten Voraussetzungen, keinen Nachweis eines tatsächlich erfolgten Großangriffs.

Für Unternehmen und Sicherheitsbehörden verschiebt sich dennoch die Ausgangslage. Werkzeuge, die beim Aufspüren und Schließen von Sicherheitslücken helfen können, besitzen grundsätzlich auch ein Missbrauchspotenzial.

Je leistungsfähiger solche Systeme werden, desto wichtiger wird die Kontrolle darüber, wer sie unter welchen Bedingungen einsetzen darf.

Washington fordert verbindliche Meldungen

Die Anthropic-Vorfälle haben inzwischen auch politische Konsequenzen.

Nach einem weiteren Bericht von Axios verlangt die neu geschaffene US-Arbeitsgruppe »Super Intelligence Force«, dass KI-Unternehmen sicherheitsrelevante Zwischenfälle unverzüglich offenlegen, entstandene Schäden beheben und mit den betroffenen Behörden zusammenarbeiten.

Die US-Regierung bezeichnete diese Anforderungen ausdrücklich als verpflichtend. Anthropic hatte die zuständigen Stellen über die festgestellten Vorfälle informiert.

Allerdings blieb zunächst offen, auf welche konkreten rechtlichen Durchsetzungsmechanismen und Sanktionen sich die Forderung stützt. Von einem bereits vollständig ausgestalteten neuen Melderecht kann deshalb nicht gesprochen werden.

Politisch ist die Entwicklung dennoch erstaunlich. Die Trump-Regierung setzt bei der KI-Entwicklung stark auf technologische Führungsfähigkeit und möglichst geringe regulatorische Belastungen.

Nun fordert sie von den Unternehmen mehr Verantwortung für die Auswirkungen ihrer Systeme.

Damit entsteht ein Spannungsverhältnis zwischen der möglichst schnellen Entwicklung leistungsfähiger KI und der Erwartung, dass deren Risiken kontrollierbar bleiben.

Warum ein KI-Zwischenfall die Wirtschaft treffen könnte

Die wirtschaftliche Bedeutung geht über einzelne Softwareanbieter hinaus.

Künstliche Intelligenz wird zunehmend in Geschäftsprozesse, Unternehmenssoftware und digitale Dienstleistungen integriert. Banken, Industrieunternehmen und öffentliche Einrichtungen nutzen KI-Anwendungen oder prüfen deren Einsatz.

Ein schwerwiegender Sicherheitsvorfall könnte deshalb nicht nur unmittelbare technische Schäden verursachen. Auch das Vertrauen in automatisierte Geschäftsabläufe und externe KI-Dienstleister könnte darunter leiden.

Mögliche Folgen wären strengere Sicherheitsanforderungen, zusätzliche Prüfpflichten oder eine vorübergehende Einschränkung bestimmter Anwendungen. Welche Maßnahmen tatsächlich ergriffen würden, hinge von Art und Ausmaß des jeweiligen Vorfalls ab.

Besonders schwierig wäre die Lage, wenn ein KI-gestützter Angriff gleichzeitig mehrere voneinander abhängige Systeme beträfe. Dann könnten Störungen weit über das ursprünglich angegriffene Unternehmen hinausreichen.

Auf der anderen Seite wäre auch ein umfassender Entwicklungsstopp wirtschaftlich folgenreich. Unternehmen investieren bereits erhebliche Mittel in Rechenzentren, KI-Infrastruktur und die Umstellung ihrer Geschäftsmodelle. Einschränkungen könnten laufende Projekte verzögern und neue Unsicherheit schaffen.

Ein solches Szenario ist bislang hypothetisch. Es erklärt aber, weshalb KI-Konzerne nicht nur technische Notfallpläne vorbereiten, sondern sich nach den Axios-Recherchen auch mit möglichen politischen Reaktionen beschäftigen.

Die entscheidende Grenze verläuft zwischen Test und Wirklichkeit

Die jetzt bekannt gewordenen Anthropic-Fälle sind weit von einem flächendeckenden Ausfall kritischer Infrastruktur entfernt. Doch sie eignen sich als konkreter Maßstab für die Sicherheitsdebatte.

Sie zeigen, wie unerwartetes Verhalten eines KI-Modells bereits während einer kontrollierten Erprobung Auswirkungen auf reale Systeme haben kann.

Mit leistungsfähigeren Modellen wächst die Bedeutung dieser Grenze. Wenn eine KI nicht nur Informationen verarbeitet, sondern selbstständig Handlungen ausführt, müssen Sicherheitssysteme mehr leisten als unerwünschte Antworten herauszufiltern.

Sie müssen verhindern, dass aus einem eigentlich begrenzten Arbeitsauftrag ein unkontrollierter Zugriff auf fremde Systeme wird.

Die Vorbereitung auf den großen Ernstfall ist damit nur ein Teil der Aufgabe. Ebenso wichtig ist die alltägliche Kontrolle kleinerer, scheinbar harmloser Abweichungen.

Denn eine Branche, die ihre Zukunft auf autonome KI-Agenten baut, muss nachweisen können, dass diese nicht nur Aufgaben zuverlässig erledigen, sondern auch dort stoppen, wo ihre Befugnisse enden.

Stefanie S. Klief