Zum Inhalt springen

Wissensbasis

Qualität und Verifikation

Verifikation ist der Engpass agentischer Delivery: Schreiben Agenten den Großteil des Codes, wird Generieren billig und Prüfen knapp. Ein Team liefert so schnell, wie es die Korrektheit des Outputs belegen kann, mit Tests, deterministischen Gates, Abnahmenachweisen und Evals, nicht so schnell, wie es Code erzeugt.

Verfasst von

Aktualisiert:

Agentic Engineering 5

Unsere Position. Wann eine Arbeit fertig ist, entscheidet bei uns nie das Modell. Ein Guardrail (öffnet in einem neuen Tab) ist ein Gate im Code, um das der Agent nicht herumkommt, etwa ein Hook, der die Tests ausführt. Eine freundliche Bitte im Prompt ist kein Guardrail. Wie viele Agenten parallel arbeiten, begrenzen wir auf das, was das Team gut prüfen kann (öffnet in einem neuen Tab). Die Grenze steigt erst, wenn das Prüfen besser wird.

Wir prüfen in Schichten.

  • Schwache Änderungen fallen schon beim Schreiben auf.
  • Deterministische Gates laufen vom Language Server bis in die CI.
  • Abnahmenachweise zeigen, dass ein Feature funktioniert.
  • Ergebnismetriken zeigen, ob mehr erzeugter Code auch mehr ausgelieferte Änderungen gebracht hat.

KI verstärkt die Qualitätspraxis, die ein Team schon hat. Deshalb bestimmen diese Schichten das Ergebnis stärker als das Modell.

Einstieg

Verwandte Seiten

Ressourcen

Code Review und QA

Testing und Evals

Benchmarks

Produktivitätsmetriken

Lernplattformen

  • Exercism (öffnet in einem neuen Tab) - Kostenlose Seite für Übung und Mentoring in 79 Programmiersprachen mit mindestens 7.948 Übungen, automatischer Codeanalyse und menschlichen Mentor:innen.
  • tests4geeks (öffnet in einem neuen Tab) - Service für Coding-Tests in Einstellungsverfahren für Java, PHP, C#, JavaScript, C++, Python und SQL. Er erlaubt Tests mit unbegrenzt vielen Kandidat:innen und bietet eigenes Branding und teilbare Testlinks.

In diesem Bereich

  • Agentic Continuous Delivery

    Die Delivery-Regeln für Änderungen von Agenten und was jede Pipeline-Stufe prüft, für Teams, die Agenten in eine produktive Codebasis committen lassen.

  • Coding-Benchmarks

    Coding-Benchmarks messen, ob ein Agent eine kleine Menge Unit-Tests bestehen lässt, meist in Python und oft für eine einzige Funktion. Die Teile der Arbeit mit dem größten Hebel lassen sie weg: aus einem unscharfen Problem eine gute Spec machen und eine Codebasis über viele Änderungen leicht änderbar halten.

  • Deterministische Quality Gates

    Wie Feedback-Schleifen vom Language Server bis zur CI das Verhalten von Coding-Agents begrenzen.

  • Nicht-deterministische Systeme evaluieren

    Wie ihr Output testet, der von Lauf zu Lauf schwankt, von Unit-Tests bis zu Baselines für Erfolgsquoten, und was ein öffentliches Eval-Leaderboard beweist und was nicht.

  • Qualitäts- und Produktivitätsmetriken

    Mit Agentic Coding schaden Volumenmetriken wie Codezeilen oder Pull Requests, weil, wer Volumen belohnt, das Review mit ungeprüftem Output flutet. Tragfähig bleiben First-Pass-Akzeptanz, Rework-Rate und die DORA-Delivery-Metriken, für Agent-Änderungen gegen die menschliche Baseline gelesen.

  • Das Qualitätssystem rund um den Coding-Agenten

    KI verstärkt die Engineering-Praktiken, die ein Team schon hat. Solide Versionskontrolle, Observability und kleine Batches werden zu Tempo. Ein Review-Bottleneck oder eine fragile Pipeline führen zu längeren Verzögerungen und mehr Ausfällen. Regeln, Reviews und harte Checks rund um den Agenten steuern, was er produziert.

  • Die Velocity-Falle

    Warum Generierung die Verifikation überholen und den echten Delivery-Durchsatz senken kann.