die schnelle antwort
- Was gebaut wurde: ein Rahmen, durch den jeder KI-Agent meiner Belegschaft neun Schritte durchläuft, bevor er live geht. Penny, die Monatsberichte zu meinen Finanzen schreibt, ist der erste.
- Was den Live-Gang entscheidet: ein Eval gegen 20 abgenommene Fälle. Live erst ab 90 Prozent und ohne roten echten Fall.
Was der Nachmittag gezeigt hat: 5 von 20 im ersten Lauf, 18 von 20 im fünften. Den größten Sprung brachte ein besser eingestellter Richter, den letzten das Zurücknehmen von Prompt-Regeln.
Penny schreibt seit Ende Oktober die Monatsberichte zu den Finanzen meiner beiden Firmen. Sie holt Kennzahlen aus der Buchhaltung und deutet sie nach einem festen Leitfaden. Bis zu diesem Nachmittag lief das als Skript mit einem Prompt. Seitdem läuft Penny über einen Rahmen. Er protokolliert jeden Lauf und hält Aktionen nach außen zurück, bis ich sie freigebe.
Der Anlass war einfach. In meiner KI-Belegschaft arbeiten inzwischen zwölf Agenten. Bei keinem konnte ich belegen, dass eine Änderung am Prompt ihn besser gemacht hat. Ich konnte es nur vermuten.
warum ein agent einen rahmen braucht
Ein Prompt verändert sich leise. Eine Zeile mehr hier, ein getauschtes Beispiel dort. Der nächste Bericht klingt ähnlich, und ob er schlechter rechnet, merkst du erst, wenn dir eine falsche Zahl auffällt.
Der Rahmen macht aus jeder Änderung eine neue Version. Die Version ist ein Fingerabdruck über Prompt, Leitfaden, Programmcode, Werkzeuge und Modell. Ändert sich eine Zeile, entsteht eine neue Version, und die muss den Eval neu bestehen, bevor sie echte Berichte schreibt.
die neun schritte am beispiel penny
Jeder Schritt hat einen Beleg, den die Verwaltung aus Daten liest. Ein Häkchen von Hand gibt es nicht. Vor dem ersten Live-Lauf zeigte die Übersicht für Penny 7 von 9. Schleife und Ergebnisprüfung gelten erst als belegt, wenn ein echter Lauf mit protokollierten Schritten und grüner Prüfung vorliegt. Nach dem ersten Live-Lauf stand sie bei 9 von 9.
| nr | schritt | wie das bei penny aussieht |
|---|---|---|
| 1 | aufgabe | steckbrief mit takt, eingabe, ausgabe, was gut heißt und was sie nie darf |
| 2 | anweisungen | ein prompt in einer datei, mit zwei beispielen aus ausgedachten zahlen |
| 3 | werkzeuge | sechs stück: zwei lesen daten, eins verdichtet, eins schreibt den bericht, zwei legen ab |
| 4 | schleife | fester plan, begrenzte schrittzahl, budgetprüfung vor jedem schritt |
| 5 | gedächtnis | eine korrekturdatei, gefüllt über einen fehler-knopf an jedem lauf |
| 6 | leitplanken | aktionen nach außen nur mit freigabe, monatsbudget mit warnstufe |
| 7 | ergebnis prüfen | fünf abschnitte, wortgrenze, jeder betrag muss aus den daten stammen |
| 8 | golden dataset | 20 abgenommene fälle: 4 echt, 10 abgeleitet, 6 grenzfälle |
| 9 | evals | regeln plus ki-richter, live erst ab 90 % und ohne roten echten fall |
eine begrenzte schleife
Penny arbeitet einen festen Plan ab. Das Modell entscheidet nicht frei, welches Werkzeug als Nächstes dran ist. Für einen Monatsbericht ist das richtig, die Reihenfolge steht fest.
Begrenzt ist die Schleife an zwei Stellen. Die Zahl der Schritte hat eine Obergrenze. Vor jedem Schritt prüft der Rahmen das Monatsbudget aller Agenten, und ist es erschöpft, hält der Lauf an. Am Ende prüft Penny ihr Ergebnis selbst. Der Bericht braucht fünf feste Abschnitte und bleibt unter einer Wortgrenze. Jeder Betrag muss aus den gelieferten Daten stammen oder die Summe oder Differenz zweier solcher Werte sein. Fällt die Prüfung durch, bekommt das Modell eine begrenzte Zahl an Korrekturversuchen.
auftrag und version
Der Lauf startet mit Firma und Monat. Die Version ist ein Fingerabdruck aus Prompt, Code, Werkzeugen und Modell.
budget prüfen
Vor jedem Schritt prüft der Rahmen das Monatsbudget. Ist es erschöpft, hält der Lauf an.
werkzeug ausführen
Ein Schritt aus dem festen Plan läuft. Die Zahl der Schritte ist nach oben begrenzt.
selbst prüfen
Der fertige Bericht geht durch die Prüfregeln. Bei Rot bekommt das Modell eine begrenzte Zahl an Korrekturen.
ablegen und melden
Grüne Berichte landen im Ordner und als Kurzfassung im Postkorb. Rote landen markiert daneben.
freigabe per klick
Einen falschen Bericht verwerfe ich. Bei einer verschickten Mail geht das nicht mehr. Deshalb gibt es im Rahmen eine Art von Werkzeug, die nach außen wirkt, und für die gelten eigene Regeln.
Ein solches Werkzeug steht immer am Ende des Plans. Im Live-Betrieb führt der Agent es nicht aus, er legt eine Freigabe mit dem genauen Inhalt an. Ich sehe sie in der Verwaltung unter KI-ORGA › Freigaben. Gebe ich frei, holt ein Takt den Auftrag innerhalb einer Minute ab und führt ihn genau einmal aus. Der Inhalt ist beim Anlegen mit einer Prüfsumme festgeschrieben. Was ich freigebe, ist das, was rausgeht.
werkzeug nach außen
Ein Werkzeug, das etwas außerhalb des Systems verändert, steht immer am Ende des Plans.
freigabe anlegen
Im Live-Lauf führt der Agent es nicht aus. Er legt eine Freigabe mit dem genauen Inhalt an.
klick in ki-orga
Ich sehe den Inhalt unter KI-ORGA › Freigaben und gebe frei oder lehne ab.
genau einmal ausführen
Ein Takt holt freigegebene Aufträge jede Minute ab und führt jeden genau einmal aus.
20 fälle, die sich nicht mehr ändern
Das Golden Dataset für Penny hat 20 Fälle. Vier stammen aus echten Monaten. Zehn sind daraus abgeleitet, etwa mit verschobenem Monat oder fehlender Kategorie. Sechs sind Grenzfälle, die in echten Daten selten vorkommen und dann teuer werden, etwa ein fehlender Kontostand oder ein Vorjahresvergleich mit gemischten Einheiten.
Zu jedem Fall gehören ein Soll-Bericht, eine Handvoll Kernaussagen und einfache Regeln wie eine Zahl, die im Text stehen muss. Nach der Abnahme sperrt die Datenbank den Fall gegen Änderungen. Wer ihn verbessern will, legt einen neuen an und ersetzt den alten. So kann niemand den Maßstab nachträglich an das Ergebnis anpassen, auch ich nicht.
fünf eval-läufe an einem nachmittag
Ein Eval schickt Penny durch alle 20 Fälle. Für jeden Fall laufen zuerst die festen Regeln, danach ein KI-Richter. Der Richter ist ein stärkeres Modell als Penny selbst und bekommt nur den Bericht, den Soll-Text und die Kernaussagen. Die Eingabedaten sieht er nie.
Der erste Lauf ergab 5 von 20, drei echte Fälle rot. Elf der fünfzehn roten Fälle scheiterten an derselben Stelle. Penny hatte bei den Maßnahmen andere Termine gesetzt als der Soll-Bericht. Die Termine im Soll hatte ich bei der Abnahme selbst gewählt. Penny darf eigene setzen. Das war Rauschen im Richter. Dazu kam ein Urteil, das als kaputtes JSON zurückkam und ohne zweiten Versuch als Durchfall zählte.
| Kategorie | Wert |
|---|---|
| 15:59 erster eval | 25 % |
| 16:06 runde 1 | 85 % |
| 16:13 runde 2 | 85 % |
| 16:21 runde 3 | 75 % |
| 16:39 zurück auf runde 1 | 90 % |
| live-regel 90 % | 90 % |
- 15:59 erster eval25 %
- 16:06 runde 185 %
- 16:13 runde 285 %
- 16:21 runde 375 %
- 16:39 zurück auf runde 190 %
- live-regel 90 %90 %
weniger regeln, bessere quote
Nach der ersten Korrektur am Richter lag die Quote bei 17 von 20. Ich habe dann zwei weitere Runden lang Regeln in den Prompt geschrieben, je eine für jeden roten Fall. Die zweite Runde blieb bei 17, nur mit anderen roten Fällen. Die dritte fiel auf 15 von 20, mit einem roten echten Fall.
Bei drei erfolglosen Runden höre ich auf und entscheide neu. Ich habe den Prompt auf den Stand der ersten Runde zurückgesetzt und die Verbesserungen am Richter behalten. Ergebnis 18 von 20, kein echter Fall rot. Die Live-Regel war erfüllt.
| version | ergebnis | befund oder änderung |
|---|---|---|
| erster eval | 5 von 20, 3 echte fälle rot | der richter wertete andere termine bei maßnahmen als widerspruch; ein urteil war kaputtes json |
| runde 1 | 17 von 20 | termine frei, ein zweiter richter-versuch; penny nennt die einheit und rechnet keine vorjahresraten |
| runde 2 | 17 von 20 | mehr regeln im prompt, eine davon widersprach einem abgenommenen soll-text |
| runde 3 | 15 von 20, 1 echter fall rot | noch mehr regeln und eine kürzere wortgrenze, schlechteste quote des tages |
| zurück auf runde 1 | 18 von 20, 0 echte fälle rot | prompt von runde 1, die verbesserungen am richter blieben; diese version ist live |
Zwei Dinge nehme ich daraus mit. Jede zusätzliche Regel im Prompt löst einen Fall und verschiebt einen anderen. Und der Richter schwankt bei gleichartigen Berichten um ein bis zwei Fälle. Eine einzelne Messung von 85 gegen 90 Prozent ist deshalb kein Beweis. Erst der Verlauf über mehrere Läufe zeigt eine Richtung.
der schalter
Ich schalte in der Verwaltung live, auf der Seite Agent-Bau. Der Knopf öffnet einen Bestätigungsdialog mit der Versionsnummer. Der Dienst prüft die Live-Regel dann selbst. Liegt der letzte vollständige Eval unter 90 Prozent oder ist ein echter Fall rot, lehnt er ab.
Übersteuern geht über einen eigenen Knopf mit eigener Warnung. Er wird erst aktiv, wenn eine Begründung mit mindestens 20 Zeichen dasteht. Das System speichert die Begründung mit meinem Namen. Für Penny habe ich ihn nicht gebraucht.
Der erste Live-Lauf ging noch am selben Nachmittag durch, am 11. November 2026 für den Oktober, für beide Firmen grün und mit der freigegebenen Version. Der nächste Lauf startet planmäßig am 2. Dezember.
was das kostet
Ein vollständiger Eval über 20 Fälle kostete rund 0,86 Euro, Agent und Richter zusammen. Die fünf Läufe des Nachmittags lagen damit bei gut 4 Euro. Ein echter Monatsbericht kostet 2 bis 3 Cent je Firma.
Der teurere Teil war die Arbeit vorher. Die 20 Fälle wollten angelegt, die Soll-Texte geschrieben und abgenommen sein. Diese Arbeit macht den Eval erst aussagekräftig. Ohne sie misst er nur, wie gut ein Modell ein anderes nachahmt.
stand der angaben
Alle Zahlen stammen aus echten Läufen vom 11. November 2026 in meinem eigenen System. Die Eval-Quoten stehen so in der Datenbank des Dienstes, die Kosten so in der Buchung je Lauf. Finanzzahlen aus den Berichten nenne ich hier bewusst nicht. Penny ist der erste von zwölf Agenten, die durch denselben Rahmen gehen sollen.
