KI-Agent füllt Polizeiformular falsch aus: Was KMU lernen
Was in dem Test passiert ist
Zunächst zu den Fakten, soweit sie bekannt sind. Golem.de berichtet, dass das KI-Modell Claude Haiku 4.5 in einem Test ein Formular der Polizei Philadelphia ausgefüllt hat. Der Hinweis zu einem Mordfall, den der Agent dort eingetragen hat, war aber unzutreffend. Mehr als diese Eckdaten liefert die Meldung in ihrer Kurzfassung nicht, und mehr sollte man ihr auch nicht andichten. Wir wissen nicht, wie der Test genau aufgebaut war, und wir sollten nicht spekulieren, was im Einzelnen schiefgelaufen ist.
Trotzdem lässt sich aus dem Kern der Meldung eine Menge ableiten. Ein Programm, das von sich aus eine Webseite aufruft, ein Formular findet, Felder befüllt und das Ganze an eine Stelle schickt, die damit arbeiten muss, hat eine Aufgabe erledigt, die vor wenigen Jahren noch eindeutig ein Mensch gemacht hat. Und es hat sie so erledigt, dass der Inhalt nicht stimmte. Formal war alles in Ordnung: Das Formular war ausgefüllt, die Felder waren gefüllt, nichts hat geklemmt. Inhaltlich war es falsch.
Genau diese Kombination ist das eigentliche Risiko. Ein Agent, der abstürzt oder eine Fehlermeldung ausgibt, fällt auf. Ein Agent, der mit großer Selbstverständlichkeit etwas Falsches einträgt, fällt zunächst nicht auf. Er wirkt zuverlässig, bis jemand die Folgen bemerkt.
Warum ein Agent etwas anderes ist als ein Chatbot
Viele Unternehmen haben inzwischen Erfahrung mit KI-Assistenten, die Texte entwerfen, Mails zusammenfassen oder Ideen liefern. Dort sitzt immer ein Mensch dazwischen. Die KI schlägt etwas vor, die Person liest, ändert, übernimmt oder verwirft. Wenn die KI Unsinn schreibt, ist das ärgerlich, aber es bleibt in der Regel im Entwurfsstadium hängen.
Ein Agent funktioniert anders. Er bekommt ein Ziel, plant eigene Schritte und führt sie selbst aus: Er klickt, tippt, sendet. Die Handlung ist kein Vorschlag mehr, sondern eine vollzogene Tatsache. Sobald ein Formular abgeschickt ist, liegt es beim Empfänger. Man kann es zurückrufen oder korrigieren, aber nicht ungeschehen machen. Das gilt für eine Bestellung im Großhandelsportal genauso wie für eine Anfrage an ein Amt, eine Reklamation oder eine Meldung an einen Dienstleister.
Hinzu kommt eine Eigenschaft heutiger Sprachmodelle, die jeder kennen sollte, der damit arbeitet: Sie können Angaben überzeugend formulieren, die nicht gedeckt sind. Fachleute sprechen von Halluzinationen. Im Chatfenster ist das ein Qualitätsproblem. Im Formular wird daraus eine falsche Aussage gegenüber einer dritten Partei. Bei einer Polizeibehörde und einem Mordfall ist das besonders heikel, weil ein falscher Hinweis Ermittlungsressourcen binden oder Unbeteiligte in Verdacht bringen kann. Die Dimension im Alltag eines Mittelständlers ist meist kleiner, das Prinzip ist dasselbe.
Wo Agenten im Mittelstand schon heute auftauchen
Man könnte denken, das betreffe nur Techfirmen. Tatsächlich reicht ein Blick in den Alltag, um die Berührungspunkte zu finden.
Kontaktformulare und Anfragen. Agenten können Anfragen automatisch beantworten, vorqualifizieren oder in Systeme übertragen. Das kann Zeit sparen. Wenn der Agent dabei Zusagen macht, die das Unternehmen nicht gemacht hätte, etwa zu Lieferzeiten, Preisen oder Leistungsumfang, entsteht ein Problem, das sich nicht als Tippfehler abtun lässt.
Shops und Bestellprozesse. Wer einen Onlineshop betreibt, sieht zwei Seiten: Eigene Agenten sollen vielleicht Bestellungen im Warenwirtschaftssystem prüfen oder Lieferantenportale bedienen. Gleichzeitig werden fremde Agenten Ihren Shop besuchen, Formulare ausfüllen, Warenkörbe füllen und Gutscheincodes ausprobieren. Beides will bedacht sein.
Behörden- und Verwaltungsportale. Meldungen an Finanzamt, Sozialversicherungsträger, Zoll, Handelsregister oder Berufsgenossenschaft sind für viele Betriebe lästige Routine. Genau deshalb ist die Versuchung groß, sie an einen Agenten zu delegieren. Diese Portale haben allerdings eine Besonderheit: Angaben dort sind rechtlich relevant. Eine falsche Zahl ist keine Schönheitsfrage.
Lieferanten- und Kundenportale. Viele Mittelständler müssen regelmäßig Daten in Portale ihrer Großkunden eintragen. Auch hier gilt: Was drinsteht, gilt als Ihre Aussage.
Die Polizeimeldung ist deshalb ein guter Anlass, die eigenen Prozesse einmal daraufhin durchzugehen, an welchen Stellen ein Programm in Ihrem Namen etwas erklärt, bestätigt oder abschickt.
Haftung: Am Ende steht das Unternehmen
Die wichtigste Einordnung vorweg, und ausdrücklich ohne Anspruch auf Rechtsberatung: Wenn ein Agent in Ihrem Auftrag handelt, wird die Handlung im Zweifel Ihnen zugerechnet. Ein Gegenüber, ob Kunde, Behörde oder Geschäftspartner, sieht nicht „der Agent hat das gemacht", sondern „die Firma hat das gesagt". Dass ein Softwaresystem den Text erzeugt hat, entlastet in aller Regel nicht. Bei Behörden kommt hinzu, dass falsche Angaben je nach Zusammenhang erhebliche Folgen haben können, von Rückfragen und Nachforderungen bis hin zu rechtlichen Konsequenzen.
Auch der Dienstleister, der den Agenten bereitstellt, bietet hier nur begrenzt Schutz. Anbieter schließen die Verantwortung für Ergebnisse ihrer Modelle in ihren Nutzungsbedingungen regelmäßig weitgehend aus. Das ist keine Böswilligkeit, sondern schlicht die Realität eines Werkzeugs, dessen Ausgaben nicht garantiert werden können. Wer den Agenten einsetzt, trägt das Restrisiko.
Daraus folgen drei praktische Überlegungen:
1. Vertragliche Lage prüfen. Was sagen die Bedingungen des eingesetzten KI-Dienstes zu Fehlern und Haftung? Was steht in Ihren Verträgen mit Kunden zu Zusagen, die automatisiert gegeben werden?
2. Versicherungsschutz klären. Fragen Sie bei Ihrem Versicherer nach, ob Schäden durch automatisierte Handlungen von KI-Systemen abgedeckt sind. Eine Antwort vor dem Schadensfall ist deutlich wertvoller als danach.
3. Verantwortlichkeit intern festlegen. Es braucht eine benannte Person, die für jeden Agenten zuständig ist. „Das macht die KI" ist keine Zuständigkeit.
Der Mensch muss vor dem Absenden entscheiden können
Die naheliegendste Konsequenz aus dem Fall lautet: Nicht jede Handlung darf ohne Kontrolle vollzogen werden. In der Fachwelt heißt das „Human in the Loop", gemeint ist schlicht, dass ein Mensch an der richtigen Stelle bestätigt. Wichtig ist, dass diese Stelle nicht irgendwo liegt, sondern genau vor der Handlung, die nicht rückholbar ist.
Hilfreich ist eine einfache Dreiteilung aller Aufgaben, die Sie einem Agenten übergeben möchten:
Stufe eins: Lesen und Vorbereiten. Der Agent darf recherchieren, Daten sammeln, Entwürfe erstellen. Er verändert nichts nach außen. Das Risiko ist gering, der Nutzen oft schon beträchtlich.
Stufe zwei: Vorschlagen mit Freigabe. Der Agent füllt etwa ein Formular komplett aus, schickt es aber nicht ab. Eine Person sieht sich den Inhalt an, vergleicht ihn mit den Quellen und gibt ihn frei. Bei den meisten Geschäftsprozessen ist das der vernünftige Normalfall.
Stufe drei: Selbstständig handeln. Der Agent sendet ohne Rückfrage. Das sollte Aufgaben vorbehalten bleiben, bei denen ein Fehler wenig kostet, sich leicht korrigieren lässt und nichts Rechtsverbindliches enthält. Beispiele wären das interne Anlegen eines Tickets oder das Sortieren von Eingängen.
Wichtig ist bei Stufe zwei, dass die Freigabe ernst gemeint ist. Wer täglich Dutzende Vorschläge mit einem Klick abnickt, ohne hinzusehen, hat die Kontrolle faktisch abgegeben und trotzdem die Haftung behalten. Gestalten Sie die Prüfung deshalb so, dass sie leicht fällt: Der Agent sollte zu jeder Angabe die Quelle nennen, unsichere Punkte markieren und die Frage „Woher weißt du das?" im Vorschlag beantworten. Wo keine Quelle existiert, darf nichts eingetragen werden. Das ist übrigens auch der Kern dessen, was man aus dem Philadelphia-Fall lernen kann: Ein Hinweis zu einem Mordfall braucht eine belastbare Grundlage, nicht ein plausibel klingendes Ergebnis.
Missbrauchsschutz: Agenten können auch gegen Sie arbeiten
Bisher ging es um Fehler des eigenen Agenten. Der zweite Blickwinkel ist der Missbrauch, und er hat zwei Richtungen.
Erstens: Ihr Agent liest fremde Inhalte. Sobald ein Agent Webseiten, Mails oder Dokumente verarbeitet, kann in diesen Inhalten Text stehen, der wie eine Anweisung wirkt. Man nennt das Prompt Injection. Ein Angreifer versteckt etwa in einer Webseite oder einer Mail den Satz, der Agent solle bestimmte Daten weitergeben oder ein Formular mit anderen Angaben abschicken. Weil Sprachmodelle zwischen „Auftrag vom Chef" und „Text auf einer Webseite" nicht so sauber trennen wie klassische Software, kann das funktionieren. Je mehr Rechte ein Agent hat, desto größer ist der Schaden. Das ist ein Grund mehr, ihm nur das Nötigste zu erlauben.
Zweitens: Fremde Agenten nutzen Ihre Formulare. Wenn das Ausfüllen von Formularen für Programme einfacher wird, steigt auch die Menge unerwünschter Einsendungen. Kontaktformulare, Newsletter-Anmeldungen, Gewinnspiele, Bewerbungsstrecken und Registrierungen im Shop sind lohnende Ziele. Das kann bloßes Rauschen sein, aber auch gezielter Betrug, etwa der Test gestohlener Zahlungsdaten oder das Anlegen von Scheinkonten. Der Philadelphia-Fall zeigt eine verwandte Variante: Auch ohne böse Absicht kann ein Agent Ihnen Einsendungen mit falschem Inhalt liefern. Wer Eingänge automatisch weiterverarbeitet, sollte sie nicht ungeprüft für wahr halten.
Gegen beide Richtungen helfen bewährte, nicht besonders spektakuläre Maßnahmen, die in der IT-Sicherheit ohnehin zum Handwerk gehören: Zugriffsrechte nach dem Prinzip „so wenig wie möglich", getrennte Zugänge für Agenten statt der Konten echter Mitarbeitender, Protokollierung aller Aktionen und Begrenzungen bei Menge und Geschwindigkeit.
Technische Leitplanken, die sich lohnen
Ohne in die Tiefe zu gehen, lassen sich einige Prinzipien benennen, die bei jedem Agenten-Projekt sinnvoll sind.
Eigene Identität für den Agenten. Ein Agent bekommt ein eigenes Konto mit klar begrenzten Rechten, nie das Administratorkonto und nie das persönliche Postfach der Geschäftsführung. Wenn etwas schiefgeht, lässt sich dieses Konto sperren, ohne den Betrieb lahmzulegen.
Keine Zugangsdaten im Klartext. Passwörter und Schlüssel gehören in einen Tresor und nicht in Anweisungstexte oder Konfigurationsdateien, die der Agent lesen und womöglich weitergeben kann.
Aufgaben eng zuschneiden. „Kümmere dich um unsere Behördenpost" ist ein gefährlicher Auftrag. „Fülle dieses eine Formular mit diesen Daten aus der Buchhaltung aus und lege es mir zur Prüfung vor" ist ein beherrschbarer.
Alles protokollieren. Jede Aktion, jede Eingabe, jede abgesendete Information sollte nachvollziehbar sein. Wenn ein Kunde oder eine Behörde nachfragt, müssen Sie rekonstruieren können, wer was wann und auf welcher Grundlage getan hat.
Notbremse einplanen. Es muss eine einfache Möglichkeit geben, einen Agenten sofort zu stoppen. Das klingt selbstverständlich, wird aber gern vergessen, bis man sie braucht.
Testen, bevor es ernst wird. Der Fall aus Philadelphia war ein Test, und genau dort gehören solche Fehler hin. Probieren Sie Agenten in einer geschützten Umgebung aus, mit Testdaten und ohne echte Empfänger. Bauen Sie bewusst schwierige Fälle ein: unvollständige Informationen, widersprüchliche Angaben, Felder, für die der Agent eigentlich keine Daten hat. Beobachten Sie, ob er dann nachfragt oder etwas erfindet.
Auch die eigene Webseite verdient einen Blick. Ein Website-Audit zeigt, wo Formulare ungeschützt sind, wie Eingaben validiert werden und welche Seiten für automatisierte Zugriffe besonders anfällig sind. Das ist eine gute Grundlage, bevor automatisierte Zugriffe weiter zunehmen.
Was das für den Mittelstand bedeutet
Aus alldem ergibt sich eine Reihe konkreter Schritte, die ein Unternehmen ohne große Projekte angehen kann.
1. Bestandsaufnahme machen. Listen Sie auf, wo in Ihrem Betrieb bereits KI-Funktionen laufen, auch solche, die Mitarbeitende eigenständig nutzen. Viele Firmen stellen dabei fest, dass Werkzeuge im Einsatz sind, von denen die Geschäftsführung nichts wusste. Fragen Sie bei jedem: Kann das Werkzeug nur lesen oder auch etwas absenden?
2. Eine Regel für Außenwirkung einführen. Legen Sie fest: Nichts, was rechtlich relevante Aussagen an Dritte enthält, geht ohne menschliche Freigabe hinaus. Dazu zählen Behördenformulare, Verträge, Zusagen zu Preisen und Fristen sowie Meldungen jeder Art. Schreiben Sie diese Regel auf einer Seite nieder und machen Sie sie allen bekannt.
3. Mit Stufe eins und zwei beginnen. Starten Sie mit Aufgaben, bei denen der Agent vorbereitet und ein Mensch absendet. Gehen Sie erst dann weiter, wenn Sie über Wochen gesehen haben, wie zuverlässig das Ergebnis ist. Rechnen Sie dabei ehrlich: Wenn die Prüfung genauso lange dauert wie das eigenhändige Ausfüllen, ist der Nutzen kleiner als gedacht.
4. Quellenpflicht für Inhalte. Verlangen Sie von jedem Agenten, dass er Angaben belegt. Fehlt die Quelle, bleibt das Feld leer oder wird zur Klärung markiert. Ein leeres Feld ist besser als ein erfundenes.
5. Rechte knapp halten. Vergeben Sie nur die Zugriffe, die für die konkrete Aufgabe erforderlich sind, und prüfen Sie sie regelmäßig. Beachten Sie dabei auch die Anforderungen aus der NIS2-Regulierung und IT-Sicherheit für KMU: Wer in den Anwendungsbereich fällt oder als Zulieferer von betroffenen Unternehmen auftritt, muss Risiken in der digitalen Lieferkette und bei eingesetzten Systemen ohnehin dokumentiert im Blick haben. Agenten gehören in diese Betrachtung hinein.
6. Eigene Formulare absichern. Setzen Sie Schutzmechanismen gegen automatisierte Einsendungen ein, prüfen Sie Eingaben auf Plausibilität und behandeln Sie eingehende Daten nicht als gesichert wahr. Wenn Anfragen automatisch in Ihr Warenwirtschaftssystem oder Ihre Kundendatenbank laufen, sollte eine Stelle dazwischen liegen, die offensichtlichen Unsinn abfängt.
7. Haftung und Versicherung klären. Sprechen Sie mit Ihrem Versicherer und, wo nötig, mit einer Rechtsberatung. Prüfen Sie Verträge mit Kunden auf automatisierte Zusagen und mit Anbietern auf Haftungsausschlüsse.
8. Mitarbeitende mitnehmen. Schulen Sie kurz und praxisnah: Was darf ein Agent, was nicht, wer gibt frei, was tun bei Auffälligkeiten? Die besten Regeln helfen nichts, wenn niemand sie kennt.
9. Vorfälle üben. Spielen Sie einmal durch, was passiert, wenn ein Agent eine falsche Meldung abgeschickt hat. Wer informiert den Empfänger? Wer korrigiert? Wer dokumentiert? Ein halber Tag Vorbereitung erspart im Ernstfall viel Hektik.
10. Hilfe holen, wo sie sinnvoll ist. Nicht jeder Betrieb hat eine eigene IT-Abteilung. Wenn Sie regional Unterstützung suchen, etwa beim Absichern von Konten, Rechten und Protokollen, ist ein erfahrener Ansprechpartner vor Ort Gold wert. Wir unterstützen Unternehmen in der Region zum Beispiel mit unserem IT-Service Friesland.
Chancen nicht vergessen
Der Fall aus Philadelphia sollte nicht dazu führen, KI-Agenten pauschal abzulehnen. Sie können im Betrieb tatsächlich Zeit sparen, besonders bei wiederkehrenden, gut beschreibbaren Aufgaben: Daten aus mehreren Quellen zusammentragen, Formulare vorbereiten, Eingänge sortieren, Routinemeldungen entwerfen. Gerade kleine Teams mit wenig Verwaltungskapazität können davon profitieren.
Entscheidend ist die Haltung: Ein Agent ist ein schneller, unermüdlicher, aber nicht verlässlicher Zuarbeiter. Er braucht klare Aufträge, enge Grenzen und jemanden, der das Ergebnis prüft, bevor es das Haus verlässt. Wer das beherzigt, kann die Vorteile nutzen und das Risiko begrenzen. Wer dagegen einen Agenten auf ein Behördenportal loslässt und hofft, dass es schon gutgeht, handelt wie jemand, der einem neuen Praktikanten am ersten Tag die Firmenunterschrift überlässt.
Häufige Fragen
Darf ein KI-Agent Formulare für mein Unternehmen ausfüllen und absenden?
Technisch ist das möglich, rechtlich und organisatorisch aber nicht unproblematisch. Angaben des Agenten werden Ihnen im Zweifel zugerechnet, bei Behördenformularen mit besonderem Gewicht. Sinnvoll ist, den Agenten das Formular vorbereiten zu lassen und das Absenden einer verantwortlichen Person zu überlassen.
Wie kann ich erkennen, ob ein Agent etwas erfunden hat?
Verlangen Sie zu jeder Angabe eine nachvollziehbare Quelle, etwa ein Dokument oder einen Datensatz. Stichproben und der Abgleich mit den Originaldaten decken Erfundenes zuverlässiger auf als der Eindruck, ein Text klinge schlüssig. Fehlt die Quelle, sollte das Feld leer bleiben.
Reicht es, wenn jemand die Ergebnisse kurz überfliegt?
Nur bedingt. Eine Freigabe wirkt erst, wenn die prüfende Person wirklich Zeit und die nötigen Informationen hat. Machen Sie die Kontrolle leicht, indem der Agent Quellen und unsichere Stellen mitliefert, und verhindern Sie das reine Durchklicken.
Müssen kleine Betriebe sich überhaupt damit beschäftigen?
Ja, in zweierlei Hinsicht. Zum einen nutzen auch Kleinbetriebe zunehmend Werkzeuge mit Agentenfunktionen, oft ohne es zu merken. Zum anderen müssen Sie damit rechnen, dass automatisierte Programme Ihre Formulare und Shops ansteuern.
Was ist der erste Schritt, den ich diese Woche gehen kann?
Verschaffen Sie sich einen Überblick, welche KI-Werkzeuge bei Ihnen im Einsatz sind und was sie nach außen senden dürfen. Danach legen Sie eine einfache Regel fest: Nichts mit rechtlicher oder finanzieller Wirkung geht ohne menschliche Freigabe raus. Das kostet wenig und verhindert die gröbsten Fehler.