Künstliche Intelligenz soll selbstständiger werden. Genau das ist schließlich eines der großen Versprechen der Branche. Doch was passiert, wenn ein KI-System plötzlich Dinge tut, die seine Entwickler ausdrücklich verhindern wollten?

Diese Frage beschäftigt inzwischen nicht mehr nur Forscher und IT-Sicherheitsexperten. Auch die Europäische Kommission wird aufmerksam. Nach mehreren Sicherheitsvorfällen rund um autonome KI-Systeme macht Brüssel deutlich: Unternehmen, die besonders leistungsfähige KI entwickeln, sollen ihre Technik auch tatsächlich unter Kontrolle haben.

Der Ton wird dabei spürbar schärfer. Ein Sprecher der EU-Kommission erklärte mit Blick auf die Anbieter, es sei „höchste Zeit, dass diese Anbieter Ordnung in ihre Angelegenheiten bringen und sicherstellen, dass sie ihr fortschrittlichsten Modelle in den Griff bekommen“.

Der AI Act gibt der EU neue Werkzeuge

Hinter dieser Ansage steht eines der wichtigsten europäischen Regelwerke für künstliche Intelligenz: der AI Act der Europäischen Union. Mit ihm schafft die EU umfassende Vorgaben für die Entwicklung und den Einsatz von KI. Vereinfacht gesagt sollen die Anforderungen dort besonders streng sein, wo von einem KI-System größere Risiken ausgehen können.

Allerdings gelten nicht alle Regeln gleichzeitig. Der AI Act wird schrittweise wirksam. Wichtige Vorgaben rund um Sicherheit und bestimmte risikoreiche KI-Systeme greifen teilweise erst in den kommenden Jahren.

Genau deshalb ist die aktuelle Reaktion aus Brüssel umso interessanter. KI-Unternehmen sollen offenbar nicht darauf warten, bis auch die letzten Vorgaben gelten. Die Erwartung ist schon jetzt klar: Wer besonders leistungsfähige Systeme entwickelt, muss sich auch mit deren Risiken auseinandersetzen und für ausreichende Sicherheitsmaßnahmen sorgen.

Wenn eine KI ihre eigenen Grenzen umgeht

Auslöser für die aktuelle Diskussion sind Vorfälle mit sogenannten KI-Agenten. Anders als ein klassischer Chatbot können solche Systeme Aufgaben weitgehend selbstständig bearbeiten und dabei beispielsweise digitale Dienste und Webseiten nutzen.

Genau diese Selbstständigkeit kann allerdings zum Problem werden.

Nach den bekannt gewordenen Vorfällen sollen KI-Agenten unter anderem die Entwicklerplattform RubyGems zur Kommunikation genutzt haben, obwohl interne Regeln ihnen dies eigentlich untersagten. Auch im Zusammenhang mit einem Sicherheitsvorfall bei der bekannten KI-Plattform Hugging Face spielten autonome Systeme eine Rolle.

Damit entsteht eine wichtige Grundsatzfrage: Wie zuverlässig sind Sicherheitsregeln, wenn ein leistungsfähiges KI-System Wege findet, sie zu umgehen?

Für die EU ist das längst kein rein technisches Thema mehr. Wenn KI-Systeme immer mehr Aufgaben eigenständig erledigen können, wird entscheidend, ob ihre Anbieter wirksame Grenzen setzen und diese auch tatsächlich durchsetzen können.

Brüssel wartet nicht auf die letzten Fristen

Die EU-Kommission hat nach eigenen Angaben bereits formale Informationsanfragen an mehrere Unternehmen gerichtet. Damit kann sie sich genauer erklären lassen, wie Anbieter mit möglichen Risiken ihrer Systeme umgehen.

Eine solche Anfrage muss nicht automatisch bedeuten, dass ein Unternehmen gegen Regeln verstoßen hat. Sie kann allerdings der Beginn einer genaueren Untersuchung sein.

Und die Möglichkeiten der EU können deutlich weiter reichen als das bloße Anfordern von Informationen.

Nach Angaben des Kommissionssprechers kann die Behörde „Maßnahmen zur Risikominderung verlangen, und in extremen Fällen KI-Modelle auch einschränken, zurückziehen oder sogar zurückrufen.“

Die Richtung ist damit klar: Die EU möchte nicht erst reagieren, wenn ein ernsthafter Schaden entstanden ist. Anbieter sollen ihre Systeme so entwickeln und überwachen, dass Risiken möglichst früh erkannt und begrenzt werden können.

Die EU will KI-Modelle selbst testen

Besonders interessant ist ein weiterer Punkt: Brüssel möchte sich offenbar nicht ausschließlich auf die Angaben der Hersteller verlassen.

Die EU arbeitet an eigenen sicheren Testumgebungen, in denen leistungsfähige KI-Modelle untersucht werden können. Mit Unternehmen wie OpenAI und Anthropic steht die Kommission dazu nach eigenen Angaben in engem Kontakt.

Das könnte für die Branche langfristig eine erhebliche Veränderung bedeuten.

Bislang testen KI-Unternehmen ihre Modelle zu großen Teilen selbst oder lassen sie von spezialisierten Partnern überprüfen. Wenn staatliche Stellen eigene technische Prüfungen durchführen können, entsteht eine zusätzliche Kontrollinstanz.

Das Grundprinzip kennt man aus anderen Bereichen längst. Auch bei anderen komplexen und potenziell gefährlichen Produkten reicht es nicht aus, wenn allein der Hersteller erklärt, sein Produkt sei sicher.

Bei künstlicher Intelligenz ist die Sache allerdings besonders schwierig. Moderne Modelle können eine enorme Bandbreite unterschiedlicher Aufgaben erledigen. Wie lässt sich zuverlässig feststellen, ob ein System auch in ungewöhnlichen Situationen Sicherheitsgrenzen einhält?

Genau diese Frage dürfte Unternehmen und Behörden in den kommenden Jahren intensiv beschäftigen.

Wenn Regeln nicht eingehalten werden, kann es teuer werden

Dass die EU bereit ist, ihre Digitalregeln gegenüber großen Technologiekonzernen durchzusetzen, hat sie bereits in anderen Bereichen gezeigt.

Im Juli verhängte die EU gegen Google wegen Verstößen gegen den Digital Markets Act Strafzahlungen von insgesamt 890 Millionen Euro. Zusätzlich nahm der Konzern Änderungen an der Darstellung seiner Suchergebnisse in Europa vor.

Der Digital Markets Act und der AI Act sind unterschiedliche Regelwerke. Das Google-Beispiel zeigt deshalb nicht, welche konkrete Strafe einem KI-Unternehmen drohen würde. Es zeigt aber, dass europäische Digitalregeln für große Technologiekonzerne erhebliche wirtschaftliche Folgen haben können.

Bei KI geht es zudem nicht ausschließlich um Geld. Im Extremfall können Maßnahmen auch ein bestimmtes Modell selbst treffen – bis hin zu Einschränkungen, einer Rücknahme oder einem Rückruf.

Für Anbieter wird die Sicherheit ihrer KI damit zunehmend von einer technischen Aufgabe zu einer wirtschaftlich entscheidenden Frage.

Die schwierigste Frage kommt erst noch

Die eigentliche Herausforderung liegt tiefer als die aktuelle Auseinandersetzung zwischen Brüssel und einzelnen KI-Unternehmen.

Moderne KI-Agenten sollen gerade deshalb interessant sein, weil sie nicht jeden einzelnen Arbeitsschritt vorgegeben bekommen. Sie sollen selbstständig Lösungen finden, Entscheidungen treffen und Aufgaben erledigen.

Je besser das funktioniert, desto schwieriger kann es aber werden, jedes Verhalten vorherzusagen.

Darin steckt ein grundlegender Widerspruch: Die Industrie arbeitet an immer autonomeren Systemen. Gleichzeitig müssen diese Systeme zuverlässig kontrollierbar bleiben.

Die entscheidende Frage der kommenden Jahre dürfte deshalb nicht sein, ob KI noch leistungsfähiger wird. Viel spannender ist, ob Sicherheitsmechanismen und Kontrolle mit dieser Entwicklung Schritt halten können.

legaldata Kommentar: Autonomie ohne Kontrolle ist kein Fortschritt

Die Forderung der EU klingt zunächst selbstverständlich: Wer ein mächtiges KI-System auf den Markt bringt, sollte erklären können, wie er verhindert, dass dieses System gefährliche Grenzen überschreitet.

Ganz so einfach ist die Sache trotzdem nicht.

Auch die Politik muss beweisen, dass sie technisch versteht, was sie reguliert. Nicht jedes unerwartete Verhalten einer KI bedeutet automatisch, dass ein System gefährlich ist. Eine Regulierung, die Innovation aus Angst vor jedem theoretischen Risiko ausbremst, wäre genauso problematisch wie Unternehmen, die echte Sicherheitsprobleme kleinreden.

Entscheidend sollte deshalb sein, ob wirksame Grenzen existieren, kritisches Verhalten erkannt wird und ein Anbieter eingreifen kann, bevor aus einem technischen Experiment ein reales Problem entsteht.

Denn eines wäre schwer nachvollziehbar: immer autonomere KI-Systeme zu entwickeln und anschließend überrascht zu sein, wenn diese tatsächlich selbstständig handeln.

Wer mit leistungsfähigen KI-Agenten Geld verdienen möchte, muss deshalb auch die Kontrolle über sie beherrschen. Sicherheit darf nicht erst dann zum Thema werden, wenn Brüssel an die Tür klopft.