Nicht-deterministisch heißt nicht untestbar.
AI-Antworten dürfen variieren. Die Erwartungen an ein Produkt brauchen trotzdem einen festen Maßstab: klare Regeln, gute Testfälle und eine bewusste Freigabe.
Bei Webwoven war für mich klar: Die Spielregeln müssen nachvollziehbar bleiben. AI konnte beim Bauen helfen, aber ob eine Route gültig ist, durfte nicht von der Tagesform eines Modells abhängen. In „Nicht das Modell. Der Workflow.“ habe ich diese Trennung beschrieben. Die nächste Frage liegt nahe: Wie prüfe ich die Teile eines Produkts, deren Antworten tatsächlich variieren dürfen?
Die Erwartung muss präziser sein als die Antwort
Eine Zusammenfassung kann auf mehrere Arten richtig sein. Ein Test, der nur einen exakten Wortlaut akzeptiert, würde brauchbare Antworten aussortieren. „Klingt gut“ reicht als Gegenstück aber auch nicht.
Ich würde zuerst festhalten, was die Zusammenfassung leisten soll. Welche Aussagen müssen erhalten bleiben? Welche Unsicherheit darf sie nicht glattbügeln? Was darf sie keinesfalls dazuerfinden? Damit bekommt eine offene Aufgabe einen überprüfbaren Rahmen. Die Formulierung bleibt beweglich, die Erwartung wird konkret.
Ein kleiner Bestand mit schwierigen Fällen
Für den Anfang würde ich ein überschaubares Golden Set anlegen: sorgfältig ausgewählte Eingaben mit fachlich geprüften Erwartungen. Neben normalen Fällen gehören für mich unvollständige Angaben und widersprüchliche Quellen hinein. Wenn eine Information fehlt, kann eine Rückfrage die richtige Antwort sein.
Ein Beispiel: Aus einer Übergabenotiz soll das System eine Aufgabe mit Termin und Verantwortlichem erstellen. Steht dort kein Termin, muss das Datumsfeld leer bleiben. Eine flüssige Formulierung macht ein erfundenes Datum nicht besser. Solche Fälle zwingen mich dazu, Qualität genauer zu beschreiben, bevor ich sie automatisiert bewerte.
Regeln und Urteil brauchen unterschiedliche Prüfungen
Pflichtfelder und zulässige Werte lassen sich direkt prüfen. Ob ein Text die entscheidende Einschränkung verständlich erklärt, braucht zusätzlich fachliches Urteil. Auch Anthropics Beitrag zu Agent-Evals unterscheidet Prüfungen durch Code, Modelle und Menschen. Modellbasierte Bewertungen brauchen dabei den Abgleich mit menschlichen Bewertungen.
Für mich folgt daraus eine praktische Arbeitsteilung: Eindeutige Regeln gehören in eindeutige Tests. Für sprachliche Qualität brauche ich einen beschriebenen Maßstab und regelmäßig jemanden, der die Bewertungen überprüft.
Freigabe ist eine Produktentscheidung
Vor einem Modell- oder Promptwechsel würde ich dieselben Fälle mehrfach durchlaufen lassen. Mich interessiert, ob wichtige Anforderungen verlässlich erfüllt werden und wo das Verhalten schwankt. Ein guter Durchschnitt kann einen Fehler verdecken, der für den konkreten Anwendungsfall nicht akzeptabel ist.
Das Golden Set bleibt dabei eine Stichprobe. Neue Fehler aus dem Betrieb müssen den Prüfbestand erweitern; einige Fälle sollten für eine unabhängige Prüfung zurückgehalten werden. Sonst optimiere ich irgendwann auf meine eigene Prüfung.
Nicht jede Antwort muss gleich aussehen. Aber ich möchte vor einer Veröffentlichung sagen können, woran ich erkenne, dass sie ihren Zweck erfüllt.