Eine grüne CI ist kein Beweis, dass die Live-Site läuft

Die CI war grün, der Pull Request gemergt, und alle wandten sich der nächsten Aufgabe zu. Zwei Stunden lang war die Live-Site kaputt, bis endlich jemand draufklickte.

Für genau diese Lücke gibt es den Post-Merge Verifier. Er gehört zur Software Factory, die öffentlich auf software-factory.dev entsteht.

Der Merge löst ihn aus

Einen Zeitplan hat er nicht. Ihn startet ein einziges Event, ein gemergter Pull Request. Kaum landet etwas auf main, wird der Verifier wach.

Zuerst tut er gar nichts. Er liest den gemergten Pull Request, und weist der Titel ihn als Chore, Docs-Änderung oder Refactoring aus, lässt er die Verifikation ganz weg. Auf die laufende App können solche Änderungen nicht wirken. Bei einem Feature oder Fix geht es weiter.

Tests gegen die echte Site

Jetzt gibt er dem Deployment 90 Sekunden, um in Produktion anzukommen. Danach lässt er die End-to-End-Test-Suite gegen die echte Site laufen. Dazu kommen Smoke-Tests: Landingpage, Anmeldeseite, Health-Endpoint und ein Ablauf mit Login. Nach einem Feature-Merge klickt er zusätzlich echte Buttons, öffnet echte Dropdowns und achtet auf Fehler in der Browser-Konsole. Geht irgendetwas schief, meldet er einen Priority-1-Bug.

Zwei Zeilen, die Fehler echt halten

Diese Stelle lohnt das Abschauen, und sie besteht aus zwei Zeilen Skript. Jede Route bekommt vor dem Test erst einen HEAD-Request. Antwortet sie mit 404, lässt der Verifier die Prüfung aus und wertet sie nicht als Fehler.

Klingt nach Absicherung um jeden Preis. Erst dadurch kann die Automation aber gegen ein Produkt laufen, an dem noch gebaut wird. Eine Factory liefert Routen Stück für Stück aus: Das Dashboard, das es diese Woche gibt, gab es letzte Woche noch nicht. Ohne die Absicherung schlüge jeder Lauf an Seiten fehl, die noch gar nicht existieren, und irgendwann würde das Team die Berichte ignorieren. Mit ihr steht hinter jedem Fehler eine echte Regression.

CI und Produktion sind zwei Aussagen

Der eigentliche Gedanke steckt schon im Design der Automation. Die CI zeigt, dass der Code kompiliert und die Tests durchlaufen. Ob die deployte Site funktioniert, zeigt sie nicht. Das sind zwei verschiedene Aussagen. Eine Factory braucht deshalb einen Teil, der nur eine Aufgabe hat: die zweite Aussage an der Realität zu prüfen.

Die komplette Automation steht in der Definition des Post-Merge Verifiers auf GitHub (öffnet in einem neuen Tab).

Wenn eure Pipeline grün ist: Was bestätigt euch dann wirklich, dass die Live-Site noch läuft? Und wie lange würde ein Ausfall unbemerkt bleiben?

Weiterlesen

Die Artikel der Wissensbasis sind auf Englisch.

• The surrounding quality system →
• Agentic Software Factory: Advanced Team Training →