Prompt Injection: Neue Bedrohung für KI-Chatbots und KI-Agenten im Unternehmen

Prompt Injection ist ein Angriff, bei dem ein Angreifer Anweisungen in Texten, E-Mails, Dokumenten oder Webseiten versteckt, die das KI-Modell so befolgt, als kämen sie direkt vom Benutzer. Ein KI-Assistent, der eine E-Mail zusammenfasst, kann so einen versteckten Befehl „lesen“, vertrauliche Daten weiterzuleiten oder einen schädlichen Link zu öffnen. Die Organisation OWASP listet dies an erster Stelle der Risiken für Anwendungen mit großen Sprachmodellen (LLMs).

TL;DR — Die wichtigsten Punkte

• KI-Modelle unterscheiden nicht zuverlässig zwischen Anweisungen und Daten.
• Das Risiko steigt mit KI-Agenten, die Zugriff auf E-Mails, Dateien und Tools haben.
• Es gibt keinen hundertprozentigen Schutz — entscheidend ist die Begrenzung dessen, was die KI tun darf.
• Ein Chatbot auf einer Webseite sollte niemals ohne Überwachung Zugriff auf interne Systeme haben.

Direkte und indirekte Angriffe

Warum dies für Unternehmen wichtig ist

Solange die KI nur Fragen beantwortet, ist der Schaden begrenzt. Wenn Sie jedoch einem KI-Agenten erlauben, E-Mails zu versenden, auf das CRM zuzugreifen oder Aktionen auszuführen, kann eine erfolgreiche Prompt Injection zu Datenlecks oder unbefugten Handlungen in Ihrem Namen führen.

Wie Sie das Risiko minimieren

1. Minimale Berechtigungen: Ein KI-Agent sollte nur Zugriff auf die Daten und Aktionen haben, die er unbedingt benötigt.
2. Menschliche Bestätigung (Human-in-the-loop) für sensible Aktionen wie Versand, Zahlungen oder Löschvorgänge.
3. Trennung von öffentlichen Chatbots und internen Systemen.
4. Filterung von Inputs und Outputs sowie Überwachung auf ungewöhnliches Verhalten.
5. Testing von KI-Anwendungen durch gezielte Angriffe vor der Veröffentlichung.

Sicherheit von KI-generierten AnwendungenDie häufigsten Fehler in KI-generierten Applikationen.

Häufig gestellte Fragen (FAQ)

Kann man Prompt Injection vollständig verhindern?

Derzeit nicht. Daher ist es entscheidend, die Folgen zu begrenzen: minimale Berechtigungen, menschliche Bestätigung und konsequente Überwachung.

Gilt dies auch für Microsoft Copilot?

Microsoft hat Schutzmechanismen integriert, aber auch für Copilot gilt: Gut strukturierte Berechtigungen bedeuten einen geringeren potenziellen Schaden.

Ist ein Chatbot auf der Webseite riskant?

Wenn er nur allgemeine Fragen beantwortet, ist das Risiko gering. Hat er Zugriff auf Kundendaten oder interne Systeme, ist eine Sicherheitsüberprüfung erforderlich.