Evidenz
Die Forschung zu KI-gestütztem Engineering zeigt: KI verstärkt die Praktiken, die ein Team schon hat. Starke Delivery-Systeme werden schneller, schwache liefern mehr Fehler aus. Die Zeitgewinne einzelner Entwickler:innen sind echt, aber ungleich verteilt. Im Unternehmen kommen sie nur an, wo sich Review, Testing und Operating Model mit ändern.
Verfasst von
-
Benedikt Stemmildt Gründer & Co-CEO
Aktualisiert:
Belege 7
Unsere Position. Eine KI-Studie, die die Weiterentwicklung der Modelle nicht berücksichtigt, hält Wochen, nicht Jahre (warum diese Ergebnisse nicht halten (öffnet in einem neuen Tab)).
Lest eine Studie daraufhin, was sie gemessen hat und an wem. Die Schlagzeilenzahlen unterscheiden sich danach, was jede zählt: gesparte Zeit pro Entwickler:in, Pull-Request-Durchsatz, Fehlerraten oder Cost to Serve.
Was messen die Studien und Benchmarks?
- KI-Produktivitätsstudien: METR, Stanford, DORA, Multitudes - öffentliche, zitierte Ergebnisse von METR, Stanford, DORA und Multitudes, mit Hinweisen, wie ihr ungleiche Messungen vergleicht.
- DX AI Impact Report: KI-gestützte Entwicklung im Benchmark - der Quartals-Benchmark von DX über 400+ Unternehmen: Adoption, Zeitersparnis, PR-Durchsatz und das Core-4-Messframework.
- Amazon Cost to Serve Software (CTS-SW) - Amazons Framework, das eine Kostensenkung von 15,9 % gegenüber dem Vorjahr durch bessere Developer Experience beziffert.
- Der DORA-Report zu KI-gestützter Entwicklung - der Befund, dass KI die vorhandenen Engineering-Praktiken verstärkt, und die Telemetrie, die ihm widerspricht.
- State of AI-Native Engineering Report - 219 Engineering-Leader:innen: KI generiert die Hälfte des Codes, Verständnis ist die größte Sorge, und die Organisation hat sich nicht darauf eingestellt.
Wohin gehen die Trends?
- Abschied von Agile: McKinseys Studie zum KI-Operating-Model - McKinsey über die Veränderungen im Operating Model, die KI-Top-Performer vom Rest trennen.
Welche Signale kommen aus dem Markt?
- Vouch in Ghostty: Trust-Gating für Open-Source-Beiträge - das Vouch-Modell als erste Antwort im Produktiveinsatz auf die Flut KI-generierter Beiträge.
Verwandte Seiten
- AEMM: Evidenz aus der Industrie: wie sich dieselben Studien für ein Assessment auf Reifegrade abbilden.
- KI-Produktivität: Evidenz und Qualität: was die Belege für die Codequalität im Arbeitsalltag bedeuten.
- Impact messen: wie ihr euer eigenes Team messt, statt die Zahl eines anderen Unternehmens zu übernehmen.
- Coding-Benchmarks: was Modell-Benchmarks messen und warum sie sich von Feldstudien unterscheiden.
- Leadership: die Entscheidungen, die aus diesen Befunden ein verändertes Operating Model machen.
Quellen
Posts
- Warum diese Ergebnisse nicht halten (öffnet in einem neuen Tab) - LinkedIn-Post mit dem Argument, dass eine Studie zu KI-gestütztem Engineering, die die Weiterentwicklung der Modelle ignoriert, Wochen hält, nicht Jahre.
In diesem Bereich
- KI-Produktivitätsstudien: METR, Stanford, DORA, Multitudes
Keine einzelne Zahl zur KI-Produktivität hält. METR maß erfahrene Entwickler:innen in vertrauten Repositories 19% langsamer. Stanford fand einen Median-Gewinn nahe 10%, der mit wachsenden Aufgaben und Codebasen schrumpft. DORA sieht KI als Verstärker des bestehenden Systems, und Multitudes knüpft Gewinne an Lernzeit.
- Amazon Cost to Serve Software (CTS-SW)
Amazons Zahlen zur Developer Experience: was Amazon gemessen hat, wie die Einsparungen einen Business Case ergeben, was die Kosten senkt und welche Kennzahlen Amazon ablehnt.
- Der DORA-Report zu KI-gestützter Entwicklung
Der DORA-Report 2025 zeigt: KI verstärkt das Engineering-System, in dem sie landet. Starkes Review, starke Pipelines und kleine Batches gewinnen Tempo, schwache gewinnen Instabilität. Telemetrie von Faros AI bestreitet, dass ein starkes Fundament ein Team vor nachgelagerter Verschlechterung schützt.
- DX AI Impact Report: KI-gestützte Entwicklung im Benchmark
Der DX-Benchmark für Q1 2026 über 400+ Unternehmen fand 92,7% KI-Adoption und 3,9 Stunden Ersparnis pro Entwickler:in und Woche. Die Qualität schwankte in beide Richtungen, und CI-Wartezeiten und Meetings kosten weiter mehr Zeit, als KI spart. Enablement und Messung entschieden über das Ergebnis, nicht die Toolwahl.
- Abschied von Agile: McKinseys Studie zum KI-Operating-Model
McKinseys Umfrage unter etwa 300 Großunternehmen zeigt: KI hebt die Produktivität auf Unternehmensebene nur um 5 bis 15 Prozent, weil Teams Größen, Sprints und Rollen aus der Agile-Ära behalten. Bei Top-Performern waren KI-native Workflows 7-mal wahrscheinlicher und KI-native Rollen in kleineren Pods 6-mal wahrscheinlicher.
- Vouch in Ghostty: Trust-Gating für Open-Source-Beiträge
Ghostty hat das Vouch-Modell im Februar 2026 gemergt: Nur Contributor:innen, für die jemand aus dem Maintainer-Team ausdrücklich gebürgt hat, dürfen Pull Requests öffnen, per denounce markierte Nutzer:innen werden gesperrt. Gegen Fluten KI-generierter Beiträge setzt das Modell auf ausdrückliches soziales Vertrauen statt auf einen angesammelten Reputationswert.
- State of AI-Native Engineering Report
Augment Code hat 219 Engineering-Führungskräfte befragt: Rund die Hälfte ihres Codes generiert KI, doch nur 57 haben ihr Code-Review geändert, noch weniger Rollen, Onboarding oder Messung. 55% sorgen sich um das gemeinsame Verständnis der Codebase. Das ist die größte Sorge und die, gegen die am wenigsten passiert.