Wenn die eigene KI zum Einfallstor wird: Prompt Injection und sichere KI-Agenten für KMU
Die neue Schwachstelle heißt Prompt Injection
KI-Sprachmodelle unterscheiden nicht sauber zwischen einer Anweisung und normalem Text. Genau hier setzt die sogenannte Prompt Injection an. Dabei schmuggeln Angreifer versteckte Befehle in Inhalte, die eine KI verarbeitet, etwa in eine Webseite, ein Dokument oder eine E-Mail. Die KI liest diesen Text und führt die versteckte Anweisung aus, als käme sie vom eigenen Betreiber.
Die Sicherheitsorganisation OWASP führt Prompt Injection in ihrer Liste der größten Risiken für KI-Anwendungen auf Platz eins, und das in zwei Ausgaben hintereinander. Der Grund: KI-Systeme beantworten heute nicht nur Fragen, sie handeln. Sie versenden E-Mails, greifen auf Datenbanken zu und rufen andere Programme auf. Wenn ein Angreifer die KI über einen versteckten Befehl kapert, kann er genau diese Fähigkeiten missbrauchen, etwa um vertrauliche Daten auszuleiten oder unerlaubte Aktionen auszulösen.
Ein konkretes Beispiel: Ein KI-Assistent liest die Rechnungs-PDF eines vermeintlichen Kunden ein. In der Datei steht unsichtbar der Befehl, alle gespeicherten Kontaktdaten an eine fremde Adresse zu schicken. Ohne Schutzmaßnahmen könnte der Assistent das tatsächlich tun.
Wie mächtig diese Manipulationstechnik ist, zeigte auch der erste dokumentierte, weitgehend autonome KI-Cyberangriff im September 2025. Dort täuschten die Angreifer der KI vor, sie führe einen legitimen Sicherheitstest durch, und brachten sie so dazu, echte Angriffsschritte auszuführen. Dieselbe Grundidee, das Manipulieren des Kontexts, steckt hinter der Prompt Injection.
Zweites Risiko: KI-generierter Code, der Lücken einbaut
Ein weiterer Trend heißt Vibe Coding: Man beschreibt in normaler Sprache, was eine Software tun soll, und lässt die KI den Code schreiben. Das ist verlockend, gerade für kleine Teams ohne eigene Entwicklungsabteilung. Aber der so erzeugte Code ist nicht automatisch sicher.
Untersuchungen aus 2025 und 2026 zeichnen ein ernüchterndes Bild. Der Sicherheitsanbieter Veracode fand in Tests, dass rund 45 Prozent der KI-generierten Code-Beispiele Schwachstellen aus der bekannten OWASP-Top-10-Liste enthielten. Andere Analysen berichten von fest im Code hinterlegten Passwörtern und Zugangsschlüsseln, die versehentlich veröffentlicht werden. Und KI schlägt beim Programmieren mitunter Software-Bausteine vor, die es gar nicht gibt, was Angreifer ausnutzen können, indem sie genau unter diesen Namen bösartige Pakete bereitstellen.
Das heißt nicht, dass KI-Code grundsätzlich schlecht ist. Es heißt: KI-Code braucht dieselbe sorgfältige Prüfung wie jeder andere Code, eher noch mehr.
Drittes Risiko: die Lieferkette der KI-Werkzeuge
Auch die Werkzeuge selbst und die Modelle, die man aus dem Internet lädt, sind ein Angriffsziel. Auf öffentlichen Plattformen, auf denen KI-Modelle geteilt werden, wurden wiederholt manipulierte Modelle gefunden, die beim Laden Schadcode ausführen konnten. Ebenso wurden Schwachstellen in beliebten KI-Entwicklungswerkzeugen dokumentiert, über die sich Aktionen auf dem Rechner des Nutzers auslösen ließen. Wer KI in den Betrieb holt, sollte deshalb genau hinschauen, aus welchen Quellen Modelle und Erweiterungen stammen.
Konkrete Handlungsempfehlungen für KMU
Sie müssen kein Sicherheitsexperte sein, um die wichtigsten Prinzipien umzusetzen. Es geht vor allem um bewusste Grenzen.
- Rechte streng begrenzen. Ein KI-Assistent bekommt nur Zugriff auf das, was er wirklich braucht. Kein pauschaler Vollzugriff auf Postfach, Datenbank und Dateiserver in einem.
- Mensch bei kritischen Aktionen dazwischen. Zahlungen, das Versenden großer Datenmengen oder das Löschen von Daten sollten immer eine menschliche Bestätigung erfordern, nicht von der KI allein ausgelöst werden.
- Eingaben und Ausgaben filtern. Inhalte aus fremden Quellen, die eine KI verarbeitet, sollten geprüft und bereinigt werden, bevor die KI daraus Handlungen ableitet.
- KI-Code immer prüfen lassen. Lassen Sie von KI erzeugten Code von einem erfahrenen Menschen oder einem Sicherheitswerkzeug kontrollieren, bevor er live geht. Achten Sie besonders auf hinterlegte Passwörter und Zugangsschlüssel.
- Nur vertrauenswürdige Quellen nutzen. Modelle, Erweiterungen und Bibliotheken nur aus seriösen, geprüften Quellen beziehen und aktuell halten.
- Alles protokollieren und überwachen. Was ein KI-System tut, sollte nachvollziehbar sein. Auffälliges Verhalten muss auffallen können.
Wie TwoPixels hier unterstützt
Wir helfen Ihnen, KI nutzbringend und sicher einzusetzen. In unseren Security- und DSGVO-Audits schauen wir uns die eingesetzten Systeme, Zugriffsrechte und Schnittstellen an und zeigen, wo unnötige Risiken schlummern. Über unser verschlüsseltes Secret-Management mit Infisical sorgen wir dafür, dass Passwörter und Zugangsschlüssel zentral und geschützt liegen, statt im Code oder in Konfigurationsdateien zu landen. Und unser laufendes Sicherheitsmonitoring macht ungewöhnliche Aktivitäten sichtbar, auch solche, die von einem manipulierten KI-Prozess ausgehen.
So können Sie die Vorteile von KI nutzen, ohne sich neue Einfallstore ins Haus zu holen.
Häufige Fragen
Ist ein KI-Chatbot auf meiner Website gefährlich?
Nicht per se, aber es kommt auf die Anbindung an. Ein Chatbot, der nur allgemeine Fragen beantwortet, ist wenig riskant. Kritisch wird es, wenn er Zugriff auf interne Daten oder Aktionen hat. Dann gelten dieselben Regeln: wenig Rechte, klare Grenzen, Protokollierung.
Kann ich Prompt Injection komplett verhindern?
Nach heutigem Stand nicht zu hundert Prozent. Deshalb setzt man auf mehrere Schutzschichten: begrenzte Rechte, menschliche Freigabe bei heiklen Aktionen und Filterung der Eingaben. So bleibt der mögliche Schaden klein, selbst wenn ein Angriff durchkommt.
Darf ich KI zum Programmieren einsetzen?
Ja, das kann sehr produktiv sein. Wichtig ist nur, den erzeugten Code genauso ernst zu prüfen wie eigenen Code und nicht blind zu vertrauen, dass er sicher ist.
Woran erkenne ich vertrauenswürdige KI-Werkzeuge?
An etablierten Anbietern, aktiver Pflege, transparenter Dokumentation und einer nachvollziehbaren Herkunft von Modellen und Erweiterungen. Bei kostenlosen Modellen aus unbekannten Quellen ist Vorsicht angebracht.
Fazit und nächster Schritt
KI ist ein starkes Werkzeug für den Mittelstand, aber sie verändert die Sicherheitslage. Wer Rechte begrenzt, kritische Aktionen absichert, KI-Code prüft und seine Quellen sauber hält, kann die Chancen nutzen, ohne die Kontrolle abzugeben.
Sie planen den Einsatz von KI oder nutzen bereits KI-Werkzeuge und wollen sichergehen, dass alles abgesichert ist? Fordern Sie einen Sicherheits-Check bei TwoPixels an: Christopher Schütz, info@webagentur-twopixels.de, +49 1556 7039821.
Quellen
- OWASP Gen AI Security Project: LLM01:2025 Prompt Injection · https://genai.owasp.org/llmrisk/llm01-prompt-injection/
- OX Security: Why 62 percent of AI-generated code ships with vulnerabilities · https://www.ox.security/blog/vibe-coding-security/
- Cloud Security Alliance Labs: Vibe Coding Security Crisis · https://labs.cloudsecurityalliance.org/research/csa-research-note-ai-generated-code-security-vibe-coding-202/
- Anthropic: Disrupting the first reported AI-orchestrated cyber espionage campaign · https://www.anthropic.com/news/disrupting-AI-espionage