„Es fehlen wissenschaftliche Grundlagen“: Warum KI in kritischen Bereichen zum Sicherheitsrisiko werden kann
Große Sprachmodelle werden zunehmend in Unternehmen, Behörden und anderen sensiblen Bereichen eingesetzt. Doch nach Einschätzung eines Forschungsteams könnten grundlegende Eigenschaften dieser Systeme verhindern, dass sie jemals vollständig gegen gezielte Angriffe abgesichert werden. Besonders problematisch ist, dass Sprachmodelle Anweisungen, eigene Verarbeitungsschritte und externe Informationen nicht zuverlässig voneinander trennen können.
Grundlegende Schwachstellen großer Sprachmodelle
Die Sicherheit moderner KI-Systeme steht vor einem möglicherweise fundamentalen Problem. Wissenschaftlerinnen und Wissenschaftler vertreten die Auffassung, dass große Sprachmodelle aufgrund ihrer technischen Funktionsweise Schwachstellen besitzen, die sich nicht vollständig beseitigen lassen.
Dabei geht es nicht nur um klassische Prompt-Injection-Angriffe. Bei solchen Attacken werden manipulierte Anweisungen in Eingaben oder externe Inhalte eingebettet, um ein KI-System dazu zu bringen, ursprünglich festgelegte Regeln zu umgehen.
Die Forschenden beschreiben jedoch ein tiefer liegendes Problem: Sprachmodelle können offenbar nicht immer eindeutig unterscheiden, welche Informationen tatsächlich als Anweisung gedacht sind und welche lediglich verarbeitet oder analysiert werden sollen.
Prompts, Reasoning und Tools können miteinander verschwimmen
Moderne KI-Systeme führen längst nicht mehr nur einfache Textaufgaben aus. Sie können komplexe Verarbeitungsschritte durchführen und teilweise externe Werkzeuge oder Datenquellen verwenden.
Genau hier entsteht eine zusätzliche Angriffsfläche. Wenn ein Sprachmodell nicht zuverlässig zwischen einem Prompt, internen Verarbeitungsschritten und der Verwendung eines Tools unterscheiden kann, können manipulierte Inhalte möglicherweise Einfluss auf das Verhalten des gesamten Systems nehmen.
Angreifer könnten diese Eigenschaft ausnutzen, um Sicherheitsmechanismen zu umgehen oder ein Modell zu Aktionen zu bewegen, die ursprünglich nicht vorgesehen waren.
Die von den Forschenden untersuchten Methoden gehen damit über herkömmliche Prompt Injection hinaus. Sie zeigen, dass sich unerlaubte Informationen unter bestimmten Bedingungen aus Sprachmodellen herauslösen oder Sicherheitsbeschränkungen umgehen lassen könnten.
Warum das Problem schwer zu lösen ist
Besonders brisant ist die Einschätzung, dass es sich nicht lediglich um einen Softwarefehler handelt, der mit einem Update behoben werden könnte. Vielmehr könnte die Schwachstelle direkt mit der grundlegenden Architektur und Arbeitsweise großer Sprachmodelle zusammenhängen.
Sprachmodelle verarbeiten unterschiedliche Arten von Text letztlich innerhalb eines gemeinsamen Systems. Die klare technische Trennung zwischen vertrauenswürdigen Anweisungen und potenziell manipulierten Daten, wie sie bei klassischen Computersystemen möglich ist, lässt sich deshalb nur schwer gewährleisten.
Vollständige Sicherheit möglicherweise nicht erreichbar
Das bedeutet nicht, dass bestehende Schutzmaßnahmen wirkungslos sind. Sicherheitsfilter, Zugriffsbeschränkungen, isolierte Ausführungsumgebungen und zusätzliche Kontrollmechanismen können das Risiko deutlich reduzieren.
Eine Garantie, dass ein großes Sprachmodell unter allen denkbaren Bedingungen sicher reagiert, könnte jedoch kaum möglich sein. Gerade bei Systemen, die eigenständig auf Datenbanken, Programme oder andere externe Dienste zugreifen dürfen, gewinnt diese Frage an Bedeutung.
Die zentrale Herausforderung besteht darin, dass Angreifer ständig neue Eingaben entwickeln können. Ein Schutzmechanismus müsste dagegen praktisch jede mögliche Manipulationsstrategie zuverlässig erkennen.
Risiken für Behörden, Unternehmen und Gesundheitssysteme
Die möglichen Folgen reichen weit über gewöhnliche Chatbots hinaus. KI-Systeme werden zunehmend in Unternehmensprozesse integriert und auch für Aufgaben diskutiert oder eingesetzt, bei denen sensible Informationen und weitreichende Entscheidungen eine Rolle spielen.
Besonders kritisch wird die Situation bei Regierungsbehörden, militärischen Anwendungen oder im Gesundheitswesen. Ein manipuliertes KI-System könnte dort deutlich schwerwiegendere Konsequenzen haben als ein fehlerhaft antwortender Verbraucher-Chatbot.
Auch für deutsche Unternehmen und öffentliche Einrichtungen ist diese Debatte relevant. Mit der zunehmenden Integration generativer KI in interne Arbeitsabläufe wächst die Bedeutung klarer Sicherheitsgrenzen und menschlicher Kontrollmechanismen.
KI sollte nicht wie klassische Software behandelt werden
Die Forschung stellt damit eine grundlegende Annahme infrage: dass sich Sprachmodelle durch ausreichend umfangreiche Sicherheitsmaßnahmen ähnlich zuverlässig absichern lassen wie traditionelle Software.
Bei klassischen Anwendungen können Berechtigungen, Daten und ausführbare Befehle vergleichsweise klar voneinander getrennt werden. Bei Sprachmodellen sind diese Grenzen weniger eindeutig, weil natürliche Sprache gleichzeitig Information und Anweisung enthalten kann.
Für besonders sensible Anwendungen könnte deshalb entscheidend sein, nicht allein auf das Sprachmodell selbst zu vertrauen. Zusätzliche technische Kontrollen, begrenzte Zugriffsrechte und eine konsequente Überprüfung kritischer Aktionen könnten notwendig bleiben.
Fazit: KI-Sicherheit bleibt eine grundlegende Herausforderung
Die Ergebnisse der Forschenden verdeutlichen, dass die Sicherheit großer Sprachmodelle nicht nur von besseren Filtern oder einzelnen technischen Updates abhängt. Wenn Modelle Prompts, Verarbeitungsschritte und externe Werkzeugnutzung nicht zuverlässig voneinander unterscheiden können, bleibt eine grundlegende Angriffsfläche bestehen.
Je stärker KI-Systeme in Unternehmen, Behörden, Militär und Gesundheitswesen integriert werden, desto wichtiger wird deshalb die Frage, welche Aufgaben ihnen tatsächlich anvertraut werden können. Für kritische Anwendungen dürfte es entscheidend sein, KI nicht als vollständig autonome und grundsätzlich sichere Technologie zu betrachten, sondern als System, dessen Entscheidungen und Zugriffsrechte weiterhin streng kontrolliert werden müssen.
Maximilian Berger ist Autor bei Technik-smartphone-news.de und berichtet über aktuelle Entwicklungen aus den Bereichen Nachrichten, Politik, Wirtschaft, Technologie, Sport, Unterhaltung und Lifestyle. Sein Fokus liegt auf einer klaren und verständlichen Berichterstattung, die relevante Themen präzise einordnet und leserfreundlich aufbereitet. Mit einem Blick für aktuelle Ereignisse und interessante Hintergründe liefert er nützliche Informationen und Geschichten, die für die Leserinnen und Leser von Bedeutung sind.
