Evidenz für Software Factories und ihre Grenzen

Was öffentliche Umsetzungen belegen

Öffentliche Factory-ähnliche Umsetzungen belegen Machbarkeit. Agenten können parallel arbeiten, Pull Requests öffnen, Prüfungen ausführen, auf Fehler reagieren, Änderungen ausrollen und nach dem Merge weiterarbeiten.

Sie zeigen auch, wohin sich menschliche Arbeit verschiebt. Engineers investieren mehr Zeit in Absicht, Umgebungen, Feedback und die Entscheidung, welcher Output Aufmerksamkeit verdient.

Sie belegen keinen übertragbaren Produktivitätsfaktor. Die meisten Berichte stammen von Modell- oder Plattformanbietern, neuen Produkten und Teams, die eigene Infrastruktur um die Agenten bauen können.

OpenAIs internes Produkt

OpenAI berichtet von einer internen Beta, die aus einem leeren Repository ohne manuell geschriebenen Code entstand. Nach fünf Monaten enthielt das Repository ungefähr eine Million Zeilen und rund 1.500 gemergte Pull Requests. Der Bericht nennt durchschnittlich 3,5 Pull Requests pro Engineer und Tag sowie Hunderte interne Nutzerinnen und Nutzer.

Die wertvollste Evidenz ist operativ. Das Team musste Anwendung, Logs, Metriken und Entwicklungsumgebung für Agenten lesbar machen. Menschliche QA-Kapazität wurde zum Engpass. Engineers arbeiteten an Gerüsten und Feedback statt direkt am Code.

Der Bericht enthält keinen kontrollierten Vergleich von Qualität oder Geschäftswert. OpenAI hat direkten Modellzugang und ein für dieses Experiment ausgewähltes Team. Die Zahlen zeigen, was dieses System produziert hat, nicht was eine andere Organisation prognostizieren sollte.

Onas zehntägige Factory

Ona berichtet von 375 gemergten Pull Requests, mehr als 67.000 Zeilen, 1.067 Tests und 87 Prozent autonomer Ausführung über zehn Tage. Sechzehn begrenzte Automatisierungen deckten Planung, Implementierung, Review, Deployment, Monitoring und Incident-Behandlung ab.

Die Architektur ist wichtiger als die Codezahl. Ona betrieb keinen allgemeinen Agenten, sondern verband begrenzte Automatisierungen über klare Trigger und Übergaben.

Das Experiment war kurz und startete auf der grünen Wiese. Repository-Aktivität belegt weder nützliche Produktadoption noch langfristige Änderbarkeit oder Ergebnisse in einem regulierten Unternehmen. Ona verkauft die für die Arbeit eingesetzte Plattform.

Delivery-Forschung liefert den fehlenden Kontext

DORA und CircleCI betrachten breitere Populationen statt einer einzelnen Factory. DORA verbindet bessere Ergebnisse mit dem umgebenden Organisationssystem. CircleCIs Telemetrie zeigt, dass höhere Entwicklungsaktivität beim Median-Team mit schwächerem Main-Branch-Fluss und geringerer Stabilität einhergehen kann.

Deshalb brauchen Umsetzungsberichte Delivery-Messgrößen neben Output-Messgrößen. Eine Factory kann viele akzeptierte Änderungen erzeugen und den Engpass dennoch in Review, Integration, Recovery oder Produktentscheidungen verschieben.

Wie h&w diese Evidenz verwendet

h&w behandelt externe Berichte als Evidenz für die Kategorie und ihre Mechanismen. Sie sind keine Evidenz für ein Kundenergebnis von h&w.

Unsere öffentlichen Kundenstimmen stammen aus Training, Pilot und Rollout. Jede Stimme trägt den passenden Produkt-Tag. Der interne Datensatz hält die engere Aussage und ihre Grenzen fest. Für das Assessment gibt es aktuell keine passende Kundenstimme. Das interne Factory-Dashboard ist eine operative Momentaufnahme, kein Kundenergebnis und kein Live-Feed.

Ein Kundenprojekt braucht eine eigene Ausgangslage, eine benannte Datenquelle und ein geschäftliches Ergebnis. Externe Benchmarks können die Fragen informieren. Sie können sie nicht für den Kunden beantworten.

Wie stärkere Evidenz aussehen würde

Stärkere Factory-Evidenz würde einen definierten Wertstrom über Zeit mit Delivery- und Geschäftsmessgrößen verbinden. Sie würde die Ausgangslage erhalten, die Intervention zeigen, Review- und Fehlerverhalten erfassen und benennen, was sich im selben Zeitraum sonst verändert hat.

Sie würde auch negative oder neutrale Ergebnisse veröffentlichen. Eine glaubwürdige Evidenzbasis muss zeigen, wo eine Factory den Fluss nicht verbessert, wo Kosten den Nutzen übersteigen und wo menschliche Koordination der bindende Engpass bleibt.