ein agent ist so gut wie das system um das modellein agent ist so gut wie das system um das modell
zehn konzepte, die aus einem sprachmodell einen verlässlichen ki-agenten machen.
31 folien · stand oktober 2026
aller agentic-ai-projekte werden laut gartner bis ende 2027 abgebrochen.
gründe: steigende kosten, unklarer nutzen, unzureichende risikokontrollen.
die antwort liegt im system, nicht im modell.die antwort liegt im system, nicht im modell.
zehn ringe um eine schleife entscheiden, ob ein agent gut ausgeht.
ein agent verfolgt ein ziel in mehreren schritten selbst
- ein chatbot beantwortet eine frage einmal.
- ein agent plant, ruft werkzeuge auf, prüft das ergebnis und entscheidet über den nächsten schritt, bis eine grenze greift.
- 1
planen
ziel in schritte zerlegen
- 2
handeln
werkzeug aufrufen
- 3
prüfen
ergebnis gegen das ziel
ein agent ist ein uhrwerk aus vielen teilen.
zehn konzepte in vier gruppen tragen einen verlässlichen agenten.
verlässlicher agent
sicher, messbar, bezahlbar
ausführung
harness engineering, tool design, guardrails
steuerung
loop engineering, context engineering, orchestrierung
gedächtnis
memory architecture
kontrolle
evals, human in the loop, tracing
das sprachmodell
plant und entscheidet
agenten können mehr, und mehr unternehmen wollen sie.
01
das gerüst entscheidet, wie eine entscheidung ausgeführt wird.das gerüst entscheidet, wie eine entscheidung ausgeführt wird.
wiederholung, sandbox, budget und geordneter rückfall.
fällt ein werkzeug aus, liefert das harness ein teilergebnis mit hinweis.
der schlechteste fall ist ein stilles weiterlaufen ohne meldung.
- 1
budget prüfen
kosten je lauf, tag, werkzeug
erledigt - 2
sandbox
nur nötige ordner und adressen
erledigt - 3
werkzeug
zeitüberschreitung
erledigt - 4
wiederholung
zwei versuche mit pause
in Arbeit - 5
rückfall
ersatzquelle plus hinweis
geplant
02
jede schleife braucht einen ausgang, bevor sie startet.jede schleife braucht einen ausgang, bevor sie startet.
eine gute schleife kennt drei ausgänge und ein klares signal.
schleife ohne ausgang
- läuft, bis jemand sie stoppt
- kein signal, ob sie näher am ziel ist
- kosten wachsen mit jeder runde
schleife mit ausgang
- ziel erreicht und per test belegt
- runden-, zeit- oder kostenbudget verbraucht
- zwei runden ohne fortschritt: meldung
erfolgskriterium als prüfbefehl zuerst, dann die erste runde.
eine schleife ist nur so gut wie ihr ausgang.
03
der kontext ist eine endliche ressource.der kontext ist eine endliche ressource.
die kleinste menge an informationen mit hoher aussagekraft.
aufräumen schrumpft das kontextfenster auf ein sechstel.
beispielwerte: runde 40 eines langen laufs, fenster mit 200.000 tokens.
| Kategorie | Wert |
|---|---|
| ohne aufräumen | 178 |
| verdichtet und nachgeladen | 30 |
- ohne aufräumen178
- verdichtet und nachgeladen30
04
für das modell ist ein werkzeug nur name, beschreibung und schema.für das modell ist ein werkzeug nur name, beschreibung und schema.
ein klares werkzeug sagt dem agenten, was er als nächstes tun soll.
wenige, gut getrennte werkzeuge schlagen zwanzig ähnliche.
| merkmal | unklar | klar |
|---|---|---|
| name | suchen | crm_kontakt_suchen |
| beschreibung | sucht daten. | findet kontakte nach name oder firma |
| eingabe | query: string | name, firma, max 1 bis 20 |
| fehler | error 400 | kein treffer, meintest du „müller“? |
05
je länger etwas halten soll, desto strenger die schreibregel.je länger etwas halten soll, desto strenger die schreibregel.
drei ebenen trennen laufende arbeit von dauerhaftem wissen.
abgerufen wird gezielt: kurzer index im kontext, einträge erst bei bedarf.
arbeitsgedächtnis
eine sitzung · laufende aufgabe, letzte ergebnisse
notizen
mehrere läufe · fortschritt, offene punkte, nächster schritt
langzeitgedächtnis
wochen bis monate · regeln, entscheidungen, geprüfte fakten
06
mehr agenten bringen mehr leistung und ein vielfaches an tokens.mehr agenten bringen mehr leistung und ein vielfaches an tokens.
ein orchestrator mit unteragenten schlug den einzelagenten deutlich.
mehr agenten lohnen sich nur, wenn die aufgabe in unabhängige teile zerfällt.
07
rechte gehören ins zielsystem, nicht in den prompt.rechte gehören ins zielsystem, nicht in den prompt.
je größer der schadensradius, desto stärker die kontrolle.
eingaben von außen sind daten, nie anweisungen.
| radius | beispiel | kontrolle |
|---|---|---|
| lesen | dokument lesen | protokoll |
| entwurf schreiben | angebotsentwurf anlegen | stichprobe |
| live schreiben | datensatz im crm ändern | freigabe vorher |
| unumkehrbar | zahlung auslösen | mensch entscheidet |
leitplanken verhindern nicht das fahren. sie begrenzen den schaden.
08
teste, bevor du einem agenten vertraust.teste, bevor du einem agenten vertraust.
20 bis 50 aufgaben aus echten fehlern reichen für den start.
einmal klappt fast immer. achtmal hintereinander klappt selten.
rechenbeispiel mit 80 % je versuch: pass^k fällt bei acht versuchen auf 16,8 %.
| Kategorie | pass@k | pass^k |
|---|---|---|
| k=1 | 80 % | 80 % |
| k=2 | 96 % | 64 % |
| k=3 | 99,2 % | 51,2 % |
| k=4 | 99,8 % | 41 % |
| k=5 | 100 % | 32,8 % |
| k=6 | 100 % | 26,2 % |
| k=7 | 100 % | 21 % |
| k=8 | 100 % | 16,8 % |
- pass@k
- pass^k
der mensch kommt dort ins spiel, wo fehler groß und endgültig sind
- kleiner schaden, leicht umkehrbar: agent handelt allein, stichprobe.
- großer schaden, schwer umkehrbar: mensch entscheidet, agent bereitet vor.
die übergabe
eine zusammenfassung mit entscheidungsvorlage, kein verlauf mit 200 zeilen.
ab 02.12.2027 gilt die aufsichtspflicht für hochrisiko-systeme.ab 02.12.2027 gilt die aufsichtspflicht für hochrisiko-systeme.
ai omnibus, in kraft seit 27.07.2026. entscheidend ist der einsatzzweck, nicht die technik.
im trace ist ein fehler eine zeile, die du findest
- jeder modell- und werkzeugaufruf mit dauer, tokens und kosten.
- warnung, wenn eine zahl aus ihrem üblichen band läuft.
vier kennzahlen für den start
- erfolgsquote
- dauer je aufgabe
- kosten je aufgabe
- anteil korrigierter läufe
in 13 wochen zum ersten agenten: erst die tests, dann die freiheit.
- 1
fall und erfolgskriterium
woche 1 und 2
- 2
testsammlung
woche 3 und 4
- 3
werkzeuge und rechte
woche 5 und 6
- 4
schleife, budget, tracing
woche 7 und 8
- 5
pilot mit freigabe
woche 9 und 10
- 6
auswerten und ausbauen
woche 11 bis 13
die belege stammen von gartner, metr, bitkom, anthropic, chroma, owasp und der eu.
- gartner: over 40% of agentic ai projects will be canceled by end of 2027, pressemitteilung vom 25.06.2025
- metr: measuring ai ability to complete long tasks, arxiv 2503.14499, märz 2025
- bitkom: erstmals nutzt die mehrheit der unternehmen ki, 14.09.2026, 603 unternehmen ab 20 beschäftigten
- anthropic: building effective agents, 19.12.2024
- anthropic: effective harnesses for long-running agents, 26.11.2025
- anthropic: effective context engineering for ai agents, 29.09.2025
- chroma: context rot, how increasing input tokens impacts llm performance, 14.07.2025
- anthropic: writing effective tools for agents, 11.09.2025
- anthropic: how we built our multi-agent research system, 13.06.2025
- owasp gen ai security project: llm06:2025 excessive agency
- anthropic: demystifying evals for ai agents, 09.01.2026
- europäische kommission: ai omnibus enters into force, 27.07.2026; verordnung (eu) 2026/1744
- opentelemetry: semantic conventions for genai agent spans, status development
- eigene beispielwerte und rechenbeispiele zur veranschaulichung, keine messung
starte mit tests, engen rechten und aufzeichnung.
- ausgang vor der ersten runde festlegen
- rechte im zielsystem durchsetzen
- jede prüfung muss einmal rot werden
Folie 1 von 31: ein agent ist so gut wie das system um das modell