KI-Workflows brauchen Qualitätskontrolle statt nur Prompting

Qualitätskontrolle in KI-Workflows: ein Leitfaden

Viele Betriebe lassen inzwischen Bestellungen, Anfragen oder Texte von einer KI vorsortieren oder gleich ganz bearbeiten. Das spart Zeit, solange die Ergebnisse stimmen. Ein besserer Prompt allein sorgt aber nicht dafür. Ein Sprachmodell liefert auf dieselbe Frage nicht immer dieselbe Antwort, es erfindet gelegentlich Werte und merkt nicht, wenn seine Eingangsdaten falsch sind. Deshalb braucht jeder KI-Workflow, der etwas Wichtiges erledigt, eine Kontrolle. Wie die aussieht, steht hier.

Warum ein guter Prompt nicht reicht

Solange ein Mensch jede Antwort der KI liest, fallen Fehler auf. In einem automatisierten Ablauf liest niemand mehr mit. Eine falsch erkannte Artikelnummer landet dann direkt in der Bestellung, eine erfundene Angabe im Angebot. Und oft merkt es erst der Kunde.

Besser als ein längerer Prompt ist ein Ablauf mit Prüfpunkten: Die KI liefert ein Ergebnis in einem festen Format, ein Programm prüft es, und wo es um Geld oder Kunden geht, schaut ein Mensch drauf.

Review-Gates: Prüfpunkte im Ablauf

Ein Review-Gate ist ein Kontrollpunkt, an dem ein Ergebnis geprüft wird, bevor der nächste Schritt startet. So baust du eines ein:

• Such die Stellen im Workflow, an denen ein Fehler teuer wird, etwa vor dem Versand einer Mail an Kunden oder vor einer Buchung.
• Leg fest, was dort erfüllt sein muss: Pflichtfelder befüllt, Beträge im erwarteten Bereich, Kundennummer vorhanden.
• Lass die einfachen Prüfungen automatisch laufen. Wie das mit unseren KI-Lösungen aussieht, zeigen wir dir gern.
• An heiklen Stellen gibt ein Mensch frei. Er sieht nur die Fälle, die die automatische Prüfung nicht eindeutig bestanden haben.

Was so ein Prüfpunkt kostet, hängt vom Workflow ab. Ein einfacher Abgleich ist schnell gebaut, eine Freigabe mit Oberfläche für Mitarbeiter dauert länger.

Quellen prüfen, bevor die KI damit arbeitet

Eine KI arbeitet nur so gut wie die Daten, die sie bekommt. Veraltete Preislisten, doppelte Kundendatensätze oder eine Schnittstelle, die leere Felder liefert, führen zu falschen Ergebnissen, auch wenn das Modell alles richtig macht.

• Schreib auf, aus welchen Quellen dein Workflow Daten bezieht, und prüf diese Liste regelmäßig.
• Bereinige unvollständige oder doppelte Datensätze, bevor sie in den Workflow gehen.
• Protokolliere, welche Daten wann geändert wurden. Dann findest du einen Fehler auch Wochen später noch.

Die Leute, die mit dem Workflow arbeiten, sollten wissen, woher die Daten kommen und was passiert, wenn eine Quelle ausfällt.

Strukturierte Ausgaben: gleiche Form, jedes Mal

Freier Text ist schwer zu prüfen. Deshalb lässt du die KI in einem festen Format antworten, zum Beispiel JSON mit festgelegten Feldern. Die großen Modellanbieter unterstützen das direkt über ein JSON-Schema.

• Nutze feste Formate wie JSON mit einem JSON-Schema, das Feldnamen, Datentypen und Pflichtfelder vorgibt.
• Prüf jede Antwort automatisch gegen dieses Schema. Passt sie nicht, geht sie zurück oder an einen Menschen.
• Die nächsten Schritte im Workflow verarbeiten nur Antworten, die die Prüfung bestanden haben.

Der Nebeneffekt: Andere Programme wie Warenwirtschaft oder CRM können die Ergebnisse direkt übernehmen.

Retry-Logik: wann ein zweiter Versuch sinnvoll ist

Manche Fehler sind vorübergehend. Eine Schnittstelle antwortet nicht, das Modell ist überlastet, die Antwort kommt abgeschnitten an. Dann hilft es, den Schritt automatisch zu wiederholen, mit einer Obergrenze an Versuchen.

• Leg fest, bei welchen Fehlern ein neuer Versuch sinnvoll ist und ab wann ein Mensch übernehmen muss. Eine Antwort, die dreimal am Schema scheitert, wird beim vierten Mal selten besser.
• Werkzeuge wie n8n oder Apache Airflow haben Wiederholungen und Wartezeiten schon eingebaut.

Zu viele Wiederholungen kosten Zeit und bei bezahlten Modellen auch Geld. Setz die Grenze deshalb bewusst.

Wer im KI-Workflow wofür zuständig ist

Ein Workflow, für den niemand zuständig ist, läuft so lange, bis er Schaden anrichtet. Deshalb braucht jeder Schritt einen Namen.

• Ein RACI-Diagramm (Responsible, Accountable, Consulted, Informed) hält fest, wer umsetzt, wer verantwortet, wer gefragt und wer informiert wird.
• Kurze, regelmäßige Abstimmungen zeigen, wo der Workflow hakt.
• Für Fehler braucht es einen klaren Weg: Wer wird verständigt, wer entscheidet, ob der Workflow angehalten wird?

Wann sich der Aufwand nicht lohnt

Nicht jeder Ablauf braucht Prüfpunkte, Schema und Wiederholungslogik. Wenn die KI nur Entwürfe schreibt, die ohnehin jemand liest, reicht dieses Lesen als Kontrolle. Aufwendig wird es auch, wenn im Team niemand die Technik betreuen kann. Dann baut man etwas, das nach dem ersten Fehler keiner mehr versteht. Überleg dir vorher, was ein Fehler kosten würde, und miss den Aufwand daran.

Häufige Fragen

Was sind die häufigsten Fehler bei der Implementierung von Review-Gates?

Meist fehlen klare Kriterien für die Prüfpunkte. Ohne feste Regeln entscheidet jeder anders, und der Workflow stockt. Außerdem wird oft unterschätzt, wie viele Fälle am Ende doch ein Mensch ansehen muss.

Wie überprüfe ich die Datenqualität in einem KI-Workflow?

Mit regelmäßigen Kontrollen der Datenquellen, dem Bereinigen doppelter oder unvollständiger Datensätze und einem Protokoll aller Änderungen. Wichtig ist auch, dass die Mitarbeiter wissen, woher die Daten kommen.

Welche Formate eignen sich für strukturierte Ausgaben?

Am häufigsten JSON, zusammen mit einem JSON-Schema, das Felder und Datentypen festlegt. XML geht auch. Wichtig ist, dass jede Antwort automatisch gegen das Format geprüft wird.

Wann sollte man die Retry-Logik in einem KI-Workflow anwenden?

Bei vorübergehenden Fehlern, etwa wenn eine Schnittstelle nicht antwortet oder das Modell überlastet ist. Die Zahl der Versuche sollte begrenzt sein, danach übernimmt ein Mensch.

Wie definiert man Verantwortlichkeiten in einem KI-Team?

Ein RACI-Diagramm hält fest, wer für welchen Schritt zuständig ist. Dazu kommen kurze, regelmäßige Abstimmungen und ein klarer Ablauf, wer bei einem Fehler verständigt wird.

Fazit

Fang mit einem Prüfpunkt an der Stelle an, an der ein Fehler am meisten kosten würde. Lass die KI dort in einem festen Format antworten und prüf das Format automatisch. Wenn das läuft, kommen die Datenquellen dran, dann die Wiederholungslogik. Und schreib von Anfang an auf, wer für den Workflow zuständig ist.