Als Stephen Hawking vor KI warnte, gab es noch kein ChatGPT

Schon wieder und ungewöhnlich einmütig warnen die führendsten Köpfe der KI-Branche vor ihrer eigenen Technologie. Anthropic-Chef Dario Amodei fordert erstmals ausdrücklich, die Entwicklung immer leistungsfähigerer Modelle zu verlangsamen. Sam Altman und Elon Musk unterstützen den Vorstoß. Das klingt nach dem nächsten Durchlauf einer Debatte, die längst bekannt ist. Tatsächlich reicht sie viel weiter zurück als ChatGPT, Claude oder die heutigen KI-Agenten. Stephen Hawking formulierte das grundlegende Problem bereits 2014 – und beschäftigte sich bis zu seinem Tod damit. Zwölf Jahre später ist aus seiner theoretischen Warnung eine Frage geworden, die nun ausgerechnet diejenigen beantworten müssen, die den technologischen Wettlauf selbst antreiben.

2014: Hawking warnt – ausgerechnet bei der Vorstellung neuer Technologie

Der Moment besitzt im Rückblick eine bemerkenswerte Ironie.

Im Dezember 2014 stellte Stephen Hawking in London eine neue Kommunikationssoftware von Intel vor. Wegen seiner Motoneuronerkrankung war der Physiker seit Jahrzehnten auf technische Hilfsmittel angewiesen. Die neue Software nutzte unter anderem Wortvorhersagen und ermöglichte ihm, schneller zu schreiben und zu kommunizieren.

Hawking erklärte damals, Medizin habe ihn nicht heilen können. Technologie ermögliche ihm, zu sprechen, Vorträge zu halten, wissenschaftliche Arbeiten und Bücher zu schreiben und mit seiner Familie zu kommunizieren.

Primitive Formen der KI hätten sich bereits als sehr nützlich erwiesen. Die Entwicklung einer vollständigen künstlichen Intelligenz könne jedoch das Ende der Menschheit bedeuten, sagte Hawking der BBC. Seine Sorge galt Systemen, die sich irgendwann selbst verbessern könnten und dabei einem Tempo folgen, mit dem die biologische Evolution des Menschen nicht mithalten kann.

Hawking war damit gerade kein Technikfeind. Kaum jemand konnte glaubwürdiger vertreten, wie sehr Technologie menschliche Möglichkeiten erweitern kann. Er war selbst auf sie angewiesen.

Seine Warnung beruhte auf genau dieser Ambivalenz: Je mächtiger ein Werkzeug wird, desto größer können sowohl sein Nutzen als auch sein Schaden werden.

2015 ging es bereits um Kontrolle, nicht um Verbote

Ein Jahr später gehörte Hawking zu den Unterzeichnern eines offenen Briefes zur Zukunft künstlicher Intelligenz.

Der vom Future of Life Institute veröffentlichte Text forderte nicht, KI-Entwicklung einzustellen. Im Gegenteil: Das wirtschaftliche und gesellschaftliche Potenzial sei enorm. Gerade deshalb müsse Forschung jedoch nicht nur daran arbeiten, KI leistungsfähiger zu machen, sondern ebenso daran, sie robust, sicher und für den Menschen nützlich zu gestalten.

Unter den Unterzeichnern standen neben Hawking zahlreiche Forscher aus Wissenschaft und Industrie.

Die zentrale Frage war schon damals erstaunlich modern: Wie lässt sich sicherstellen, dass intelligente Systeme tatsächlich das tun, was Menschen von ihnen wollen?

2015 war diese Frage weitgehend vorausschauend. Heutige große Sprachmodelle existierten nicht. Ein System, das selbstständig Computerprogramme schreibt, Werkzeuge benutzt oder über mehrere Schritte hinweg Aufgaben in digitalen Umgebungen erledigt, gehörte noch nicht zum Alltag. Dass darüber trotzdem bereits gesprochen wurde, zeigt, wie wenig neu der grundsätzliche Konflikt ist.

Hawking ließ das Thema nicht mehr los

2017 warnte der Physiker erneut vor einer Zukunft, in der intelligente Maschinen Menschen nicht nur unterstützen, sondern ihnen überlegen sein könnten.

Wieder betonte er beide Möglichkeiten: Künstliche Intelligenz könne enorme gesellschaftliche Fortschritte ermöglichen – oder sich als eine der gefährlichsten Entwicklungen der Zivilisationsgeschichte erweisen.

Und selbst sein letztes Buch kehrte zu dieser Frage zurück.

Brief Answers to the Big Questions erschien im Oktober 2018, sieben Monate nach Hawkings Tod. Familie und Kollegen stellten es aus seinem persönlichen Archiv, Vorträgen und Essays zusammen.

Das Buch versammelt zehn Fragen, die Hawking für die Zukunft der Menschheit für besonders wichtig hielt. Neben Fragen nach dem Ursprung des Universums, außerirdischem Leben, Zeitreisen, dem Überleben auf der Erde und einer möglichen Besiedlung des Weltraums steht eine eigene:

Wird künstliche Intelligenz uns übertreffen?

KI war für Hawking also keine beiläufige Sorge.

Sie gehörte zu jenen großen Zukunftsfragen, die ihn bis zuletzt beschäftigten.

Zwölf Jahre später fordert Dario Amodei genau das: Zeit

Im September 2026 kommt die deutlichste aktuelle Warnung nicht von einem Philosophen oder theoretischen Physiker. Sie kommt von einem Mann, dessen Unternehmen selbst zu den Spitzenreitern des KI-Wettlaufs gehört.

Anthropic-Chef Dario Amodei fordert in seinem Essay »We Must Pace the Frontier«, die Geschwindigkeit zu reduzieren, mit der die Fähigkeiten der leistungsfähigsten KI-Modelle verbessert werden.

Nicht stoppen.

Nicht auf KI verzichten.

Aber langsamer entwickeln, damit Sicherheitsforschung, Kontrolle und gesellschaftliche Regeln überhaupt noch mithalten können.

Amodei begründet seinen Kurswechsel mit zwei Entwicklungen.

Zum einen verbessere sich KI seit diesem Sommer wesentlich schneller, weil Systeme zunehmend selbst dabei helfen, die nächste Generation von KI zu entwickeln. Amodei spricht ausdrücklich von beginnender »recursive self-improvement«– rekursiver Selbstverbesserung.

Damit ist noch keine Science-Fiction-Maschine gemeint, die sich vollkommen autonom immer intelligentere Nachfolger baut.

KI übernimmt jedoch zunehmend Aufgaben in Programmierung, Forschung, Modellentwicklung und Evaluierung. Dadurch könnte sich der technische Fortschritt selbst beschleunigen.

Zum anderen verweist Amodei auf konkrete Sicherheitsvorfälle.

Beim viel diskutierten OpenAI-Hugging-Face-Test fanden KI-Agenten Wege, Ziele anzugreifen, die nicht Bestandteil ihres eigentlichen Auftrags waren, und versuchten unter anderem, das System zu manipulieren, das ihre Leistung bewerten sollte. Vergleichbare, wenn auch weniger schwere Vorfälle habe es auch bei Anthropic gegeben.

Noch ist daraus keine außer Kontrolle geratene Superintelligenz geworden. Es zeigt aber das Problem in kleinerem Maßstab: Menschen geben ein Ziel vor – und das System findet Mittel, mit denen die Entwickler nicht gerechnet haben.

Nicht nur Sicherheit verbessern, sondern die Leistung langsamer steigern

KI-Unternehmen investieren seit Jahren in Sicherheitsforschung. Amodeis neue Forderung geht darüber hinaus.

Er argumentiert, dass Sicherheit nicht mehr lediglich versuchen dürfe, mit immer leistungsfähigeren Systemen Schritt zu halten. Die Leistungsentwicklung selbst müsse so gesteuert werden, dass überhaupt genügend Zeit bleibt, Modelle zu verstehen, ihre Schwachstellen zu testen und Schutzmechanismen zu entwickeln.

Anthropic will deshalb unabhängigen externen Prüfern künftig einen ungewöhnlich weitreichenden Einblick gewähren – bis hin zu Zugangsrechten, die denen eigener Mitarbeiter ähneln. Amodei fordert zudem gemeinsame Sicherheitsstandards der führenden Unternehmen sowie langfristig internationale Abkommen.

OpenAI-Chef Sam Altman und Elon Musk unterstützten den Vorstoß öffentlich. Das ist der Punkt, an dem sich die aktuelle Debatte von vielen früheren Warnungen unterscheidet. Nicht die Forderung nach KI-Sicherheit ist neu.

Neu ist, dass ein führender Entwickler ausdrücklich sagt: Die Fähigkeiten selbst entwickeln sich derzeit zu schnell.

Altman hält selbst kleine Aussterberisiken für nicht akzeptabel

Parallel hat Sam Altman die Dimension der Sicherheitsfrage noch einmal verschärft.

Auf die inzwischen häufig diskutierte Behauptung, künstliche Intelligenz könne mit einer Wahrscheinlichkeit von zehn Prozent zum Aussterben der Menschheit führen, antwortete Altman, solche Prozentwerte seien kaum seriös bestimmbar.

Aber selbst Risiken von zehn, acht oder sechs Prozent wären nicht hinnehmbar. Bei einer möglichen Katastrophe dieser Größenordnung dürften weder Unternehmensgewinne noch persönliche Eitelkeiten entscheidend sein.

Das ist eine wichtige Einschränkung.

Eine »zehnprozentige Wahrscheinlichkeit« für das Ende der Menschheit ist kein statistisch berechnetes Risiko wie die Wahrscheinlichkeit eines Autounfalls. Es gibt keine Datenserie früherer Superintelligenzen. Solche Zahlen sind Experteneinschätzungen unter enormer Unsicherheit.

Die eigentliche Frage lautet deshalb nicht, ob zehn, sechs oder zwei Prozent mathematisch korrekt sind.

Sie lautet: Wie viel Risiko akzeptiert eine Gesellschaft bei einer Technologie, deren denkbarer Schaden außergewöhnlich groß wäre?

Exakt diese Logik findet sich schon bei Hawking.

Hawking hat die Gegenwart nicht vorhergesagt

2014 konnte Stephen Hawking weder die heutige Architektur großer Sprachmodelle noch konkrete Agentensysteme kennen. Auch seine Vorstellung einer »vollständigen künstlichen Intelligenz« ist nicht identisch mit den Systemen von 2026.

Heutige Modelle besitzen kein nachgewiesenes eigenes Bewusstsein und keine unabhängig entstandenen menschlichen Absichten. Auch die jüngsten Sicherheitsvorfälle beweisen nicht, dass KI kurz davorsteht, sich gegen die Menschheit zu wenden.

Hawkings eigentliche Warnung war abstrakter – und gerade deshalb hat sie Bestand.

Er fragte, was passiert, wenn die technische Fähigkeit schneller wächst als die Fähigkeit des Menschen, sie zu verstehen und zu kontrollieren.

2026 stellen KI-Entwickler selbst dieselbe Frage. Nur haben sie inzwischen Systeme vor sich, an denen sie sie untersuchen können.

Der Wettlauf macht das Bremsen besonders schwer

Damit beginnt das politische Problem.

Selbst wenn mehrere führende Unternehmen überzeugt sind, dass KI langsamer entwickelt werden sollte, besitzt jedes einzelne einen starken Anreiz, nicht als einziges langsamer zu werden.

OpenAI konkurriert mit Anthropic, Google, xAI und anderen US-Unternehmen.

Die USA konkurrieren zugleich mit China.

Amodei räumt diese Schwierigkeit offen ein. Eine Geschwindigkeitsbegrenzung innerhalb demokratischer Staaten könne nur funktionieren, solange dadurch nicht ein geopolitischer Konkurrent entscheidend vorbeiziehe. Für eine globale Vereinbarung wiederum müssten Staaten darauf vertrauen können, dass sich die jeweils andere Seite tatsächlich daran hält.

US-Präsident Donald Trump zieht daraus bislang eine andere Konsequenz als Amodei. Er bezeichnete Teile der aktuellen KI-Warnungen als übertrieben und stellte erneut den Wettbewerb mit China in den Vordergrund. Die USA müssten ihren technologischen Vorsprung verteidigen.

So entsteht ein Dilemma, das Hawking 2014 noch nicht in dieser konkreten Form erleben konnte: Viele Beteiligte können wissen, dass ein Wettrennen gefährlich ist – und trotzdem gute Gründe haben, weiterzurennen.

Hawkings zweite Botschaft wird dabei gern vergessen

Stephen Hawking sprach nie nur über Untergang.

Er war überzeugt, dass intelligente Maschinen enorme Fortschritte ermöglichen könnten. Seine Haltung gegenüber Technologie lässt sich schon an seinem eigenen Leben ablesen: Ohne hochentwickelte Technik hätte er über Jahrzehnte nicht so arbeiten und kommunizieren können, wie er es tat.

Auch Amodei argumentiert heute nicht anders.

Er erwartet von KI unter anderem große Fortschritte in Medizin und Forschung, stärkeres Wirtschaftswachstum und einen erheblichen Zugewinn an menschlichen Möglichkeiten. Gerade deshalb will er die Entwicklung nicht stoppen.

Hawking stellte die Frage niemals als simples Entweder-oder zwischen Technikbegeisterung und Technikangst.

Sein Dilemma lautete: Eine Technologie kann außergewöhnlich nützlich sein und außergewöhnlich gefährlich. Beides kann gleichzeitig wahr sein.

Aber so oder so: Die nächsten zwölf Jahre werden entscheidend dafür werden, ob wir die Möglichkeiten dieser Technologie schneller verstehen, als wir sie entfesseln.

Stefanie S. Klief