Agent Observability

Unsere Position. Unsere Coding-Agents wurden deutlich besser, als wir sehen konnten, was sie tatsächlich tun. Protokolliert pro Lauf jeden Prompt, jeden Tool Call und jede Dateiänderung. Verseht jeden Agenten-Commit mit Agent, Absicht und dem Prompt dahinter. Lest die Aufzeichnung pro Workflow, nicht pro Aufruf.

Die beiden Aufzeichnungen beantworten verschiedene Fragen. Das Laufprotokoll erklärt einen Fehler. Das Tag an jeder Änderung zeigt euch, welchen Agenten, welchen Prompt und welche Absicht ihr korrigieren müsst.

Was solltet ihr bei jedem Agentenlauf aufzeichnen?

Dieselbe Eingabe kann bei jedem Lauf anders scheitern, denn Agentenarbeit ist nicht deterministisch. Die Grundlage ist ein Protokoll jedes Prompts, jedes Tool Calls, jeder Dateiänderung, jeder Tokenzahl und jeder Schrittdauer. Dieses Protokoll speist die Retrospektiven und das Log Mining aus AgentOps und die Compound Factory. Ebenso speist es die Kostenkontrolle aus Inference-Kosten und Infrastruktur.

Ein Leitfaden zu Continuous Delivery legt für jeden Agentenaufruf eine Mindestaufzeichnung fest:

• Zeitstempel, Workflow-ID, Agent, Modell und Skill
• Input- und Output-Tokens sowie Lese- und Schreibzugriffe auf den Cache
• Dauer, getroffene Entscheidung und Anzahl der Findings

Ohne diese Aufzeichnung lässt sich ein nicht deterministischer Lauf nicht debuggen. Der Leitfaden aggregiert pro Workflow, nicht pro Aufruf. Ein einziger Review-Befehl kann sich auf vier Subagents verteilen, und erst ihre Summe zeigt, was der Befehl kostet. Die Token-Felder unterscheiden sich je nach Anbieter. Deshalb bildet die Orchestrierungsschicht sie auf ein gemeinsames Schema ab (MinimumCD.org and DojoConsortium.org - Agentic Architecture Patterns (öffnet in einem neuen Tab), Stand März 2026).

Eine Open-Source-Factory zeigt, wie günstig dieses Fundament sein kann, wenn der Datenpfad genau eine Form hat. Agents schreiben in SQLite, Leser pollen SQLite, und nichts anderes ist erlaubt. Der Harness liest die zeilenweise JSON-Ausgabe des Coding-Agents mit. Jedes Ereignis fügt er ein, solange die Phase noch offen ist. So sind Tool Calls schon während des Laufs sichtbar statt gebündelt am Ende. Die Ereignisse landen in sieben Tabellen: Sessions, Phasen, Events, Envelopes, Gate-Ergebnisse, Agent-Sessions und Prozess-IDs. Über die Prozess-IDs lässt sich ein hängender Lauf finden und beenden. Live-Ansicht und vollständige Historie sind dieselbe Cursor-Abfrage, nur in anderem Takt. Deshalb braucht das Design keinen Ingest-Endpunkt, keinen WebSocket, kein Backfill und keinen eigenen Replay-Pfad. Write-Ahead-Logging verhindert, dass Leser die laufenden Schreiber blockieren. Die Rohdateien bleiben die maßgebliche Aufzeichnung, die Datenbank ist nur ein Spiegel, den man neu aufbauen kann. Geht sie verloren, kostet das nichts (Super Simple Software Factory (öffnet in einem neuen Tab)).

Wie führt ihr eine Änderung auf ihren Agenten zurück?

Ein Team muss wissen, welcher Agent mit welchem Prompt und welcher Absicht eine Änderung erzeugt hat. Fehlt diese Aufzeichnung, kann es nicht aus Agentenfehlern lernen, das Verhalten der Agents nicht auditieren und ihre Constraints nicht verschärfen. Ein Leitfaden zu Continuous Delivery versieht jeden Agenten-Commit mit drei Angaben: Identität des Agenten, Beschreibung der Absicht und verwendeter Prompt oder Kontext. Dieselben Metadaten wandern in die Aufzeichnungen der Deployments, und Incident-Retrospektiven werten sie aus. Mit dem Tag werden auch die Agentenmetriken messbar. Der Deployment-Tracker vergleicht die Change Failure Rate zwischen Deployments von Agents und von Menschen (MinimumCD.org and DojoConsortium.org - Pitfalls and Metrics (öffnet in einem neuen Tab), Stand September 2026).

Verwandte Seiten

• Software Factories und Harness Engineering: der Harness, den ihr mit dieser Aufzeichnung debuggt und verschärft.
• Dark Factory Patterns: der Narrator und der Kodifizierungszyklus, die diese Aufzeichnung lesen.
• Das Enabling Environment: die Laufzeitumgebung, die das Laufprotokoll ausgeben muss.
• Qualitäts- und Produktivitätsmetriken: die Delivery-Kennzahlen, die das Herkunfts-Tag vergleichbar macht.
• Inference-Kosten und Infrastruktur: was die Token-Felder im Laufprotokoll zusammen ergeben.

Quellen

Dokumentation

• Agentic Architecture Patterns (öffnet in einem neuen Tab) - Kapitel des MinimumCD Practice Guide, das für jeden Agentenaufruf eine Mindestaufzeichnung festlegt und Token-Kosten pro Workflow statt pro Aufruf aggregiert.
• Pitfalls and Metrics (öffnet in einem neuen Tab) - Kapitel des MinimumCD Practice Guide, das Agenten-Commits mit Agent, Absicht und Prompt taggt, damit die Change Failure Rate Deployments von Agents und Menschen vergleicht.

Tools und Repositories

• Super Simple Software Factory (öffnet in einem neuen Tab) - Open-Source-Factory, die Agenten-Events als einzigen Datenpfad nach SQLite streamt, sodass Live-Ansicht und Historie eine Abfrage teilen; MIT.