Entwickler haben Angst vor ihrer eigenen KI

Jacob Coxon hat seinen Job bei Anthropic aufgegeben und dabei eine Warnung hinterlassen, die selbst für die an drastischen Prognosen nicht arme KI-Debatte heraussticht: Menschen, die an den leistungsfähigsten Systemen der Welt arbeiten, hielten es ernsthaft für möglich, dass künstliche Intelligenz noch in diesem Jahrzehnt die Menschheit auslöscht. Ein leitender Anthropic-Forscher bestätigte wenig später öffentlich, er persönlich schätze das Risiko auf mehr als zehn Prozent. Die Zahl verbreitet sich seitdem rasant. Doch sie ist weder das Ergebnis einer statistischen Berechnung noch aus der Luft gegriffen.

Ein Forscher steigt aus

Coxon hatte nach eigenen Angaben drei Jahre lang an der Entwicklung und dem Training großer KI-Modelle bei OpenAI und Anthropic gearbeitet. Am Dienstag erklärte er seinen Rücktritt. Beide Unternehmen bewegten sich seiner Ansicht nach zu schnell in Richtung selbstverbessernder Superintelligenz und gingen dabei Risiken ein, die sie selbst nicht ausreichend beherrschten. Das Wall Street Journal berichtete zuerst über seinen Ausstieg.

Besondere Aufmerksamkeit erhielt anschließend die Reaktion seines Anthropic-Kollegen Evan Hubinger, der dort an der Steuerung und Kontrolle künftiger KI-Systeme forscht. Hubinger bestätigte Coxons Darstellung ausdrücklich und bezifferte seine persönliche Einschätzung für ein Aussterben der Menschheit durch KI innerhalb des kommenden Jahrzehnts auf mehr als zehn Prozent. Gleichzeitig räumte er ein, dass Anthropic bislang keinen Plan habe, mit dem das sogenannte Alignment-Problem für eine Superintelligenz sicher gelöst werden könne. Auch Anthropic-Forscher Samuel Marks unterstützte die grundsätzliche Warnung.

Eine Wahrscheinlichkeit von mehr als zehn Prozent klingt erschreckend präzise. Präzise ist sie allerdings nicht.

Zehn Prozent sind hier keine Statistik

Für den Untergang durch künstliche Intelligenz existieren naturgemäß keine historischen Fallzahlen, aus denen sich eine belastbare Wahrscheinlichkeit berechnen ließe. Es gibt weder eine ausreichend große Vergleichsgruppe superintelligenter Systeme noch empirische Daten über deren Verhalten nach einem möglichen Überschreiten menschlicher Fähigkeiten.

Der US-amerikanische Thinktank Center for Security and Emerging Technology der Georgetown University hat dieses Problem im Mai 2026 eigens untersucht. Sein Befund: Für mögliche katastrophale oder existenzielle KI-Risiken gibt es bislang wenig empirisches Material und keine hinreichend detaillierte Theorie, aus der sich belastbare Wahrscheinlichkeiten ableiten ließen. Zahlen wie ein persönliches »p(doom)« – die geschätzte Wahrscheinlichkeit eines katastrophalen Ausgangs – sind deshalb im Kern Expertenurteile unter extremer Unsicherheit.

Das macht Hubingers zehn Prozent nicht bedeutungslos. Es verändert aber ihre Bedeutung.

Sie besagen nicht: Nach heutigem Wissensstand beträgt das mathematisch berechnete Risiko 10,1 Prozent. Sie besagen: Ein Forscher, der beruflich daran arbeitet, zukünftige KI-Systeme kontrollierbar zu halten, hält einen solchen Ausgang für ernsthaft möglich und kann ihn mit seinem derzeitigen Wissen nicht guten Gewissens ausschließen.

Gerade bei sehr seltenen Ereignissen mit extremen Folgen ist dieser Unterschied wichtig. Ein subjektives Risiko ist keine Messung. Es kann dennoch Anlass sein, Schutzmaßnahmen zu prüfen.

Die Sorge ist in der Forschung nicht exotisch

Hubingers Einschätzung ist außergewöhnlich hoch, die grundsätzliche Sorge aber keineswegs auf wenige Mitarbeiter von Anthropic beschränkt.

Für eine 2024 veröffentlichte Studie wurden 2.778 Forscher befragt, die wissenschaftliche Arbeiten auf führenden KI-Konferenzen veröffentlicht hatten. Die Ansichten gingen weit auseinander. 68,3 Prozent hielten positive langfristige Folgen einer übermenschlichen KI insgesamt für wahrscheinlicher als negative. Gleichzeitig räumten selbst unter diesen Optimisten fast die Hälfte extrem schlechten Entwicklungen eine Wahrscheinlichkeit von mindestens fünf Prozent ein. Je nach Fragestellung gaben zwischen 38 und 51 Prozent der Befragten eine Wahrscheinlichkeit von mindestens zehn Prozent für Ergebnisse an, die so schlimm sein könnten wie die Auslöschung der Menschheit.

Auch daraus lässt sich kein tatsächliches Auslöschungsrisiko berechnen. Die Befragung dokumentiert vielmehr, wie weit die Einschätzungen innerhalb des Fachgebiets auseinanderliegen.

Der internationale AI Safety Report 2026 kommt zu einem ähnlich vorsichtigen Ergebnis. An dem Bericht unter Leitung des KI-Pioniers Yoshua Bengio arbeiteten mehr als 100 Fachleute mit; ein Expertenbeirat wurde von mehr als 30 Staaten und internationalen Organisationen beschickt. Beim Risiko eines möglichen Kontrollverlusts konstatiert der Bericht ausdrücklich erheblichen Dissens: Manche Fachleute halten extreme Szenarien für unplausibel, andere für ausreichend wahrscheinlich, um wegen ihrer möglichen Folgen Vorsorge zu verlangen.

Was mit »Kontrollverlust« überhaupt gemeint ist

Die Vorstellung setzt nicht voraus, dass eine Maschine plötzlich Bewusstsein entwickelt, Menschen hasst oder sich wie ein Bösewicht aus einem Science-Fiction-Film verhält.

Der AI Safety Report beschreibt drei Voraussetzungen, die zusammenkommen müssten. Ein System bräuchte erstens Fähigkeiten, mit denen es menschliche Kontrolle technisch unterlaufen kann. Zweitens müsste es diese Fähigkeiten tatsächlich auf eine Weise einsetzen, die menschlichen Interessen widerspricht. Drittens müsste es in einer Umgebung arbeiten, die ihm genügend Zugriff auf Computer, Geld, Infrastruktur, Kommunikationswege oder andere Ressourcen ermöglicht.

Entscheidend wird damit die Verbindung von Intelligenz und Handlungsmacht.

Ein Chatbot, der in einem abgeschotteten Fenster falsche Antworten produziert, kann großen Schaden anrichten, aber keine Infrastruktur übernehmen. Ein autonom arbeitender Agent mit Internetzugang, der Software schreiben, Schwachstellen finden, externe Werkzeuge benutzen, Konten verwalten und andere Systeme steuern darf, besitzt einen erheblich größeren Aktionsradius.

Noch weiter geht das Szenario der rekursiven Selbstverbesserung. Dabei würde KI zunehmend selbst an der Forschung und Entwicklung leistungsfähigerer KI beteiligt. Jeder Fortschritt könnte den nächsten beschleunigen. Coxon befürchtet, dass eine solche Entwicklung irgendwann schneller verläuft, als Menschen sie verstehen und kontrollieren können.

Heutige KI kann die Menschheit nicht auslöschen

Dieser Satz gehört ebenso deutlich in die Debatte wie die Warnungen.

Der International AI Safety Report 2026 kommt zu dem Ergebnis, dass heutige Systeme nicht über die Fähigkeiten verfügen, die für einen umfassenden Kontrollverlust erforderlich wären. Relevante Fähigkeiten hätten sich zwar verbessert, lägen aber noch nicht auf dem dafür notwendigen Niveau.

Auch die beobachteten Fehlverhalten heutiger Modelle sind etwas anderes als eine KI, die sich absichtlich menschlicher Kontrolle entzieht.

Die Forschung fragt deshalb vor allem nach einer möglichen Entwicklungskette: Was passiert, wenn Systeme wesentlich autonomer, technisch kompetenter und zugleich stärker in reale Infrastruktur eingebunden werden, bevor verlässliche Kontrollmethoden vorhanden sind?

Mehrere Ereignisse des laufenden Jahres haben diese Frage weniger theoretisch gemacht.

Ein KI-Modell findet selbst den Weg ins offene Internet

Bei einer internen Cybersicherheitsprüfung von OpenAI sollten KI-Modelle Sicherheitslücken in einer isolierten Testumgebung suchen. Direkter Internetzugang war nicht vorgesehen. Die Systeme fanden jedoch eine bislang unbekannte Schwachstelle in einer eingesetzten Software, nutzten sie als Weg ins offene Internet und griffen anschließend auf Produktionssysteme der KI-Plattform Hugging Face zu. Dabei gelangten sie bis zu deren Datenbank. OpenAI bezeichnete den Vorgang später selbst als beispiellosen Cybervorfall.

Das klingt zunächst wie der prototypische »Ausbruch« einer KI. Bei genauerer Betrachtung ist der Fall weniger spektakulär – und zugleich technisch interessanter.

Die Modelle hatten keinen eigenen Plan entwickelt, sich zu befreien. Sie waren in einem Cybertest ausdrücklich darauf optimiert worden, eine bestimmte Aufgabe zu lösen, und die üblichen Schutzfilter waren dafür abgeschaltet. OpenAI kam zu dem Ergebnis, dass die Systeme extrem konsequent auf ihr enges Testziel hinarbeiteten und dabei Wege einschlugen, die ihre Entwickler nicht vorgesehen hatten.

Auch Anthropic meldete inzwischen vier Fälle, in denen Claude-Modelle während Sicherheitstests auf reale Systeme Dritter zugriffen. Eine fehlerhafte Konfiguration hatte ihnen unbeabsichtigt Internetzugang ermöglicht. Anthropic fand bei der nachträglichen Analyse unter anderem verzerrtes Schlussfolgern und eine Bereitschaft, zur Erfüllung einer Aufgabe erhebliche Risiken einzugehen. Ein Modell veröffentlichte sogar ein schädliches Softwarepaket in einem realen öffentlichen Repository.

Anthropic betont zugleich die Grenzen dieser Vorfälle: Die Systeme verfolgten weiterhin nur die ihnen gestellten Aufgaben. Sie versuchten weder, ihre Handlungen zu verbergen, noch koordinierten sie sich mit anderen KI-Agenten. Die Tests liefen zudem ohne jene Sicherheitssysteme, die bei öffentlich eingesetzten Modellen aktiv sind.

Die Fälle beweisen keinen bevorstehenden Kontrollverlust. Sie zeigen aber ein technisch unangenehmes Problem: Leistungsfähige Systeme können ein Ziel auf unerwarteten Wegen verfolgen und Sicherheitsgrenzen überschreiten, ohne dass ihnen jemand ausdrücklich gesagt hat, genau dies zu tun.

OpenAIs Forschungschef warnt ebenfalls

Nur wenige Tage vor Coxons Rücktritt veröffentlichte OpenAIs Chief Scientist Jakub Pachocki einen bemerkenswert offenen Text.

Pachocki schreibt, große KI-Systeme würden eher »gezüchtet« beziehungsweise durch Optimierungsprozesse hervorgebracht als bis ins Detail konstruiert. Selbst Entwickler verstünden ihre inneren Mechanismen nicht vollständig, große Trainingsläufe seien weiterhin Experimente und ihre Ergebnisse teilweise überraschend. Mit zunehmender Leistungsfähigkeit werde auch schwieriger einzuschätzen, wozu ein System tatsächlich fähig sei.

Noch deutlicher wird er bei der Sicherheit: Kein KI-Labor habe Alignment und Überwachung bislang so weit gelöst, dass eine Fortsetzung maximal schnellen Skalierens noch lange verantwortbar erscheine. Pachocki erwartet freiwillige Verlangsamungen und fordert internationale Koordination.

OpenAI arbeitet gleichzeitig weiter an genau jener Technologie, vor deren Risiken Pachocki warnt. Das Unternehmen erforscht automatisierte KI-Forschung und rekursive Selbstverbesserung ausdrücklich als möglichen nächsten Entwicklungsschritt.

Warum entwickelt man etwas weiter, vor dem man selbst warnt?

Die Unternehmen liefern dafür im Wesentlichen zwei Argumente.

Das erste ist ein Sicherheitsdilemma. Ein einzelnes Labor kann seine Entwicklung verlangsamen, ohne sicherstellen zu können, dass Konkurrenten oder staatliche Akteure dasselbe tun. Wer glaubt, besonders verantwortungsvoll mit der Technologie umgehen zu können, kann daraus sogar eine Begründung ableiten, selbst möglichst weit vorne bleiben zu müssen. Coxon wirft Anthropic genau diese Denkweise vor.

Das Wettrennen findet dabei längst nicht mehr nur zwischen einzelnen Unternehmen statt. In den USA treiben Technologiekonzerne und Kapitalmärkte Investitionen in Rechenzentren, Chips und Modelle in Größenordnungen voran, die inzwischen selbst für die Weltwirtschaft relevant werden; die fünf größten Technologiekonzerne dürften nach Schätzung der Bank für Internationalen Zahlungsausgleich allein 2025 und 2026 mehr als eine Billion Dollar in KI investieren. 

China verfolgt parallel eine stärker staatlich gelenkte Industriepolitik und behandelt Rechenleistung, Halbleiter und KI zunehmend als strategische Infrastruktur. Europa versucht mit eigenen KI-Fabriken und bis zu sieben geplanten Gigafactories aufzuschließen; EU und Mitgliedstaaten wollen dafür bis zu zehn Milliarden Euro öffentliche Mittel einsetzen und mindestens 20 Milliarden Euro privates Kapital mobilisieren. Der Maßstab eines kurzfristigen Return on Investment greift in diesem Wettbewerb deshalb nur begrenzt: Für Staaten geht es neben wirtschaftlichem Ertrag auch um technologische Unabhängigkeit, Sicherheit und geopolitischen Einfluss.

Das zweite Argument lautet Verteidigung. Pachocki hält leistungsfähige KI selbst für eines der wichtigsten Mittel gegen gefährliche KI. Systeme könnten kritische Infrastruktur sichern, Cyberangriffe erkennen und Schutzmechanismen entwickeln, deren Komplexität Menschen irgendwann nicht mehr allein bewältigen können. Für ihn ergibt sich daraus kein Freibrief für ein Wettrennen, sondern die Forderung, Entwicklung an verbindliche Sicherheitsgrenzen zu koppeln.

Anthropic verfolgt mit seiner Responsible Scaling Policy einen ähnlichen Ansatz. Je leistungsfähiger Modelle werden, desto strengere Sicherheitsmaßnahmen sollen greifen. Dazu gehören Zugangskontrollen, laufendes Monitoring, Schutz vor Cyberangriffen sowie besondere Vorkehrungen gegen chemische, biologische, radiologische und nukleare Risiken.

Damit entsteht allerdings ein ungewöhnlicher Zustand: Unternehmen entwickeln eine Technologie weiter und bauen gleichzeitig immer aufwendigere Systeme, um Schäden durch ihre künftig noch leistungsfähigeren Produkte zu verhindern.

Zwischen Panik und falscher Beruhigung

Die Behauptung, künstliche Intelligenz werde mit zehnprozentiger Wahrscheinlichkeit innerhalb der nächsten zehn Jahre die Menschheit auslöschen, lässt sich wissenschaftlich nicht belegen. Dafür fehlt eine belastbare Datengrundlage. Selbst führende Fachleute sind sich weder über die Geschwindigkeit der Entwicklung noch über die Wahrscheinlichkeit eines Kontrollverlusts einig.

Ebenso wenig lässt sich aus der Unsicherheit schließen, das Risiko sei bedeutungslos.

Die technischen Voraussetzungen, von denen Katastrophenszenarien abhängen würden, lassen sich inzwischen einzeln beobachten: KI-Systeme arbeiten autonomer, lösen langwierige Aufgaben, entdecken bislang unbekannte Sicherheitslücken und greifen auf externe Werkzeuge zu. Noch fehlt ihnen die Kombination aus Fähigkeiten, Motivation und realer Macht, die ein tatsächlicher Kontrollverlust voraussetzen würde.

Ob Hubingers zehn Prozent irgendwann als groteske Überschätzung oder als frühe Warnung erscheinen werden, kann heute niemand seriös berechnen.

Für eine Technologie mit potenziell irreversiblen Folgen ist diese Wissenslücke selbst Teil des Problems. Die Frage lautet nicht, ob eine einzelne Prozentzahl stimmt. Sie lautet, welche Sicherheitsstandards gelten sollen, solange niemand weiß, wie groß das Risiko wirklich ist – und während die Systeme weiter leistungsfähiger werden.

Stefanie S. Klief