Incident und Regel im selben Commit beheben

Meist endet die Incident-Behandlung mit dem Fix. In der Factory, die öffentlich auf software-factory.dev entsteht, geht eine Automation namens Incident Responder einen Schritt weiter, und genau diesen Schritt will ich durchgehen: Zeigt ein Bug, dass in den Regeln etwas fehlt, repariert sie die Regeln gleich mit. Die Definition der Automation findet ihr auf GitHub (öffnet in einem neuen Tab).

Ein stündlicher Durchlauf über neue Fehler

Fangen wir beim Auslöser an. Die Cron-Zeile 0 * * * * schickt die Automation einmal pro Stunde durch die Produktion. Anders kommt sie nicht ins Laufen, es gibt weder einen Webhook noch einen manuellen Start.

Aus dem Error-Tracker holt sie alle ungelösten Fehler, die in den letzten 24 Stunden neu aufgetaucht sind, mitsamt Stack Trace. Hat ein Fehler schon ein Tracking-Issue, lässt sie ihn aus. Dadurch triagiert sie keinen Fehler doppelt.

Jeden neuen Fehler ordnet sie ein:

• Ist er kritisch oder schwer, etwa ein Absturz, Datenverlust oder eine Umgehung der Authentifizierung, behebt sie ihn sofort.
• Ist er leicht, etwa ein Randfall oder ein kosmetisches Problem, legt sie ein Issue für später an.

Der volle Ablauf bei einem kritischen Fehler

Kritische Fehler durchlaufen die ganze Schleife. Erst sucht die Automation die Root Cause, dann öffnet sie einen Fix-Branch und schreibt den Fix. Dazu kommt ein Regressionstest, der genau diesen Fehler erwischt hätte. Danach laufen alle Checks, und am Ende steht ein Pull Request.

Das Regel-Update kommt in denselben Commit

Dieses Detail lohnt sich zum Übernehmen. In den Fix-Instruktionen besteht Schritt sechs aus einem einzigen Satz, und auf diesen Satz kommt es an.

Zeigt der Bug, dass eine Konvention fehlt, ein Fehlerpfad unbehandelt bleibt oder ein Muster für Null-Checks fehlt, passt die Automation das Konventionsdokument an. Und zwar im selben Commit wie den Fix. Ein Folge-Issue, das irgendwann jemand abarbeitet, reicht hier nicht.

Liest danach eine beliebige Automation das Konventionsdokument, bevor sie Code schreibt, findet sie dort schon die Regel, die diesen Bug verhindert hätte. Mit dem Fix ist der Incident erledigt. Mit der Änderung am Dokument ist es die ganze Fehlerklasse.

Ein Incident ist der billigste Moment, die Lektion aufzuschreiben

Ich glaube, diesen Teil unterschätzen Teams. Wer nur fixt und die Regel nicht anpasst, wartet auf den nächsten Bruch. Das Konventionsdokument ist das Gedächtnis der Factory. Nie ist es billiger, dort etwas einzutragen, als direkt nach einem Incident. Die Lektion habt ihr gerade in Produktion bezahlt, und die Ursache liegt offen vor euch.

Wo landet bei euch die Lektion, wenn in Produktion etwas kaputtgeht, und liest sie vor der nächsten Auslieferung überhaupt jemand oder etwas wieder?

Weiterlesen

Die Artikel der Wissensbasis sind auf Englisch.

• The disciplined compounding loop →
• Agentic Software Factory: Advanced Team Training →