Warum schnelleres Coding nicht automatisch schnellere Delivery bedeutet
Studien messen Aufgabenzeit, wahrgenommene Ersparnis, Pull Requests und Produktionsfluss jeweils anders. Nebeneinander gelesen zeigen die Messgrößen, wohin der Engpass wandert.
Verfasst von
-
Benedikt Stemmildt Gründer & Co-CEO
Veröffentlicht: 17. Juli 2026 Aktualisiert: 4 Min. Lesezeit
Die Studien messen verschiedene Dinge
Studien zur Entwicklerproduktivität scheinen sich oft zu widersprechen. Der Grund: Die Zahlen in den Schlagzeilen beantworten unterschiedliche Fragen.
Die Aufgabenzeit gibt an, wie lange eine Person für eine abgegrenzte Aufgabe braucht. Selbst berichtete Zeitersparnis erfasst, was die Leute wahrnehmen. Der PR-Durchsatz zählt akzeptierte Änderungen, die CI-Aktivität zählt Versuche, Arbeit zu integrieren, und der Main-Branch-Erfolg zeigt, ob diese Versuche durchgehen. Ob Kundinnen und Kunden früher Wert bekommen haben, verrät einer Organisation keine dieser Größen für sich allein.
Vergleichbar wird eine Zahl erst, wenn Population, Aufgabe, Messfenster und Qualitätsgrenze danebenstehen.
Was METR herausfand und was sich seitdem geändert hat
In METRs randomisierter Studie von Anfang 2025 brauchten 16 erfahrene Open-Source-Entwickler:innen 19 Prozent länger, wenn sie die damals verfügbaren Produkte nutzen konnten. Sie hatten mit einem Tempogewinn gerechnet und glaubten auch nach getaner Arbeit noch, schneller gewesen zu sein.
Das Umfeld spielt eine Rolle. Die Entwickler:innen arbeiteten in gewachsenen Repositories, die sie gut kannten, und die Aufgaben verlangten genau den Kontext, den kleine Coding-Benchmarks meist herausnehmen.
Danach setzte METR eine größere Folgestudie mit neueren Produkten auf. Im Februar 2026 berichtete METR, dass das neue Design keine verlässliche Schätzung der aktuellen Geschwindigkeit mehr hergab. Immer öfter lehnten Entwickler:innen Aufgaben ab, die keine Agenten zuließen, und parallel arbeitende Agenten machten die Zeitmessung schwieriger. Die Rohdaten deuteten auf eine Verbesserung, deren Größe METR aber für schwach belegt hielt.
Ehrlich gelesen gehören beide Ergebnisse dazu. Frühe Produkte haben diese Gruppe von Spezialist:innen in einem realistischen Umfeld gebremst. Neuere Produkte wirken nützlicher, doch wie groß der Effekt heute ist, lässt sich mit derselben Methode nur schwer bestimmen.
Das Delivery-System kann lokale Gewinne schlucken
Für DORAs Forschung von 2025 ist KI-gestützte Entwicklung ein Verstärker des Systems, in dem sie läuft. Teams brauchen nach wie vor eine gesunde Plattform, klare Regeln, den Blick auf die Nutzer und verlässliches Feedback. Schneller geschriebener Code bringt wenig, wenn die Arbeit danach auf Review, Integration, eine Produktentscheidung oder ein Release-Fenster wartet.
CircleCIs Telemetrie von 2026 zeigt, wo sich die Arbeit weiter hinten im Prozess staut. In mehr als 28 Millionen Workflows lag die durchschnittliche Aktivität 59 Prozent über dem Vorjahr. Beim Median-Team wuchs die Aktivität auf Feature-Branches, während der Durchsatz auf dem Main-Branch zurückging. Die Erfolgsrate auf dem Main-Branch lag bei 70,8 Prozent, so niedrig wie seit fünf Jahren nicht in diesem Datensatz.
Bei der Spitzengruppe sah es anders aus: Änderungsvolumen und Main-Branch-Durchsatz wuchsen gemeinsam. Der Bericht verbindet das mit Validierungs- und Wiederherstellungskapazität, die mit der Generierung mithielt.
Adoption ist noch kein Ergebnis
In seiner Unternehmensstichprobe aus dem ersten Quartal 2026 meldet DX eine Branchen-Adoption von 93 Prozent. Bei dieser Quote sagt der Vergleich von Nutzer:innen und Nichtnutzer:innen wenig. Aufschlussreicher ist, was sich in einem Team verändert, je tiefer die Nutzung geht.
DX fand einen ungleichmäßigen Durchsatz und eine schwankende Qualität. Einige Teams legten zu, andere hatten mehr Fehler oder schlechter wartbaren Code. Die selbst berichtete Zeitersparnis war größer als die Veränderung, die sich über die Zeit im PR-Durchsatz zeigte.
An einem Adoptionsziel lässt sich ablesen, dass ein Produkt im Haus ist. Ob die Organisation schneller oder mit mehr Vertrauen liefert, belegt es nicht.
Ein Messset, das einer Prüfung standhält
Fangt beim Wertstrom an, nicht bei der Produktlizenz, und haltet eine Ausgangslage fest, bevor ihr am System etwas ändert.
Stellt die Durchlaufzeit von der Idee bis zu den ersten Nutzer:innen neben Review-Zeit, Nacharbeit, Fehlerrate und Wiederherstellungszeit. Nehmt das Vertrauen der Entwickler:innen hinzu: Ein System kann gesund aussehen, während die Menschen darin Verständnis verlieren. Das geschäftliche Ergebnis benennt ihr getrennt.
Die Messgrößen sollen zeigen, wo Arbeit wartet und ob der Engpass weitergezogen ist. Damit kommt ihr weiter als mit der Suche nach dem einen universellen Produktivitätsmultiplikator.
Zwei Frühindikatoren aus einem Praxisinterview
In einem Praxisinterview (öffnet in einem neuen Tab) schlägt Patrick Debois zwei Frühindikatoren für Teams vor, die Coding-Agenten einsetzen. Der erste ist die Zahl der menschlichen Eingriffe, die ein Team noch braucht, bis der Agent das Richtige tut. Je besser Harness, Kontext und Leitlinien werden, desto kleiner sollte sie werden. Schlüsselt sie nach Risiko oder Art der Änderung auf, denn eine risikoreiche Migration und eine kleine Textkorrektur brauchen unterschiedlich viele Eingriffe, und ein Durchschnitt über alles verdeckt das Muster. Der zweite ist, wie weit geteilter Kontext, Skills und Harness-Komponenten übernommen und wiederverwendet werden. Breitet sich das Setup eines Teams aus und nutzen andere es weiter, verzinst sich die Investition. Fängt jedes Team bei null an, bleibt dieser Effekt aus.
Keiner der beiden ist ein Ergebnis, und keiner eignet sich allein als Zielgröße. Macht man Eingriffe zur Zielgröße, kann ein Team ungeprüftes Risiko ausliefern. Erzwingt man Wiederverwendung, können sich Teams auf das falsche Muster festlegen. Lest beide zusammen mit den Größen von oben: Fluss, Review, Nacharbeit, Fehlerrate, Wiederherstellung, Vertrauen, Kosten und Geschäftsergebnis. Debois’ Bericht zeigt, wohin man schauen sollte. Es ist die Sicht eines einzelnen Praktikers und kein unabhängiger Beleg dafür, dass diese Signale Delivery vorhersagen.
Quellen und Grenzen
-
Methode und Grenzen
- Methode
- Randomisierte kontrollierte Studie mit 16 erfahrenen Open-Source-Entwickler:innen und 246 Aufgaben in vertrauten Repositories.
- Grenzen
- Produkte von Anfang 2025, eine kleine Spezialistengruppe und Issue-Abschluss statt organisationsweiter Delivery.
2025-07-10 | Geprüft: 2026-07-17
-
We are changing our developer productivity experiment design (öffnet in einem neuen Tab)
Methode und Grenzen
- Methode
- METRs Folgeexperiment und methodische Prüfung von Daten zu Produkten von Ende 2025.
- Grenzen
- Selektionseffekte und parallele Agenten machten die neue Geschwindigkeitsschätzung unzuverlässig. METR bezeichnet die Evidenz als schwach.
2026-02-24 | Geprüft: 2026-07-17
-
State of AI-assisted Software Development 2025 (öffnet in einem neuen Tab)
Methode und Grenzen
- Methode
- Google DORAs organisationsübergreifende Forschung zu KI-Nutzung und Software-Delivery-Systemen.
- Grenzen
- Zusammenhänge aus Umfragen weisen keine einzelne Maßnahme als Ursache nach und können von Repository-Telemetrie abweichen.
2025 | Geprüft: 2026-07-17
-
The 2026 State of Software Delivery (öffnet in einem neuen Tab)
Methode und Grenzen
- Methode
- Analyse von mehr als 28 Millionen CircleCI-Workflows aus Tausenden Teams.
- Grenzen
- Die Daten decken CircleCI-Nutzer:innen und CI-Aktivität ab, nicht den Produktwert oder den gesamten Delivery-Prozess.
2026-02-18 | Geprüft: 2026-07-17
-
AI-assisted engineering: Q1 impact report (öffnet in einem neuen Tab)
Methode und Grenzen
- Methode
- DX-Synthese aus Umfrage- und Systemdaten von mehr als 400 Unternehmen.
- Grenzen
- DX verkauft Developer-Intelligence-Produkte, die Kohorten unterscheiden sich und mehrere Messgrößen sind Selbstauskünfte.
2026-Q1 | Geprüft: 2026-07-17
-
The DevOps Godfather on AI's Dark Factory Problem (öffnet in einem neuen Tab)
Methode und Grenzen
- Methode
- 22-minütiges Praxisinterview mit Patrick Debois zu Teamroutinen, Plattformverantwortung, organisatorischer Eigentümerschaft, Einstellung, Messung und risikobasierter Autonomie.
- Grenzen
- Ein Modell aus der Sicht eines erfahrenen Praktikers, keine kontrollierte Studie und kein Beleg, dass derselbe Organisationszuschnitt überall funktioniert.
2026-07-13 | Geprüft: 2026-10-30
Verfasst von
-
Benedikt Stemmildt · Gründer & Co-CEO
Weiterlesen
- Verifikation in einer Software Factory Wird es billig, Code zu generieren, hängt der Durchsatz einer Factory davon ab, ob das System belegen kann, dass eine Änderung akzeptabel und sicher ist und sich das Ausliefern lohnt.
- Coding-Agents sind ein Problem der Organisationsgestaltung Wird lokale Generierung billiger, wandert der Engpass bei Coding-Agents in die Teampraxis, die gemeinsame Plattform, die Governance und das Lernen. Das Vier-Ebenen-Modell eines Praktikers, geprüft an dem, was DORA stützt und was nicht.
- KI-Wirkung im Engineering messen: was zählt und was ihr ignorieren könnt KI treibt jede Zahl nach oben, die leicht zu zählen ist: Codemenge, Pull Requests, Nutzung. Ein Stanford-Vortrag und DX-Daten beziffern den gemessenen Gewinn auf etwa 10 Prozent, mit großen Unterschieden zwischen Unternehmen. Was ihr stattdessen messt, woher die Erträge kommen und warum es erst schlechter wird.
Wissen, welche Zahlen den Fortschritt eurer Teams zeigen
Agentic Engineering for Engineering and Product Leaders: zwei Tage dazu, was sich ändert, wenn Agenten den Code schreiben, und wie ihr lest, was eure Teams berichten.
Erst ein Team prüfen? Der Selbstcheck: zwölf Ja-Nein-Fragen, drei Minuten, Ergebnis sofort, ohne Konto. Zum Selbstcheck