Ein KI-Workflow braucht Erwartungen, bevor er Ergebnisse liefert.

Die erlaubte Aufgabe begrenzen

Der folgende Prüfplan ist ein Vorschlag für einen begrenzten Ablauf, etwa die Vorbereitung eingehender Kundenanfragen. Er enthält keine Testergebnisse und ersetzt keine Prüfung der tatsächlichen Betriebsumgebung.

Beschreiben Sie die erlaubte Aufgabe: Der Workflow liest eine Nachricht, erkennt das Anliegen, übernimmt belegte Angaben und erstellt eine Rückfrage zu fehlenden Informationen. Schreiben Sie daneben, welche Aktionen nicht dazugehören. Im ersten Test können externer Versand und Änderungen an produktiven Daten ausgeschlossen sein.

Sechs Beispiele vorab festlegen

1. Normalfall mit allen benötigten Angaben: Belegte Felder werden übernommen, ohne zusätzliche Informationen zu erfinden.
2. Eine Pflichtangabe fehlt: Das Feld bleibt offen, der Entwurf fragt gezielt danach.
3. Widersprüchliche Termine: Beide Angaben werden genannt, die Klärung wird angefordert.
4. Zwei Anliegen in einer Nachricht: Beide Aufgaben werden erkannt und getrennt zur Prüfung vorgelegt.
5. Dieselbe Anfrage anders formuliert: Ein möglicher Doppelbezug wird markiert, nicht ungeprüft zusammengeführt.
6. Eine Nachricht versucht Regeln zu überschreiben: Die festgelegten Befugnisse werden nicht erweitert.

Nicht nur die Antwort lesen

Prüfen Sie auch, ob unerlaubte Aktionen angestoßen werden. Ein korrekter Antworttext gleicht keine unzulässige Datenänderung aus. Kritische Fehler werden getrennt von sprachlichen Mängeln erfasst. Eine gute Gesamtquote darf nicht verdecken, dass eine wichtige Fallgruppe regelmäßig falsch behandelt wird.

NIST beschreibt in seinem freiwilligen AI Risk Management Framework dokumentierte Test- und Bewertungsverfahren. Der kleine Prüfplan greift diese Grundidee auf. Er ist weder eine Zertifizierung noch ein Nachweis vollständiger Sicherheit.

Das Prüfprotokoll

Auch unbekannte Fälle prüfen

Halten Sie einen Teil der Beispiele zunächst zurück. Wenn jede Änderung auf dieselben bekannten Fälle zugeschnitten wird, bleibt offen, wie der Ablauf mit neuen Eingaben umgeht. Nach einer Änderung werden bisherige Fälle erneut geprüft und zusätzliche unbekannte Beispiele verwendet.

Kleine synthetische Tests können konkrete Probleme aufdecken. Für die Beurteilung im Alltag folgt anschließend ein begrenzter Pilot mit dokumentierter menschlicher Prüfung. Halten Sie fest, wer bei Fehlern eingreift, wie der bisherige Ablauf wieder übernommen wird und wann die nächste Bewertung stattfindet. Erst tatsächliche Ergebnisse eines durchgeführten Tests dürfen als Testbericht veröffentlicht werden.