Zum Inhalt springen

Wissensbasis

Evaluation und Wirtschaftlichkeit

Die Berichte darüber, was Claude Code leisten kann, eilen der Realität in Produktion voraus, und Evals auf euren eigenen historischen Aufgaben korrigieren das. Token-Kosten erklären viel vom Tool-Markt drumherum: Tracker, Routing-Proxys und Kompressoren gibt es, weil agentisches Coding anfragebasierte Preise gesprengt hat.

Verfasst von

Aktualisiert:

Tools 4

Unsere Position. Wir messen Token- und Kontextverbrauch pro Operation, bevor wir etwas dauerhaft hinzufügen (öffnet in einem neuen Tab). Ein Token-Budget ist eine Investitionsentscheidung. Es gehört zu den Menschen, die entscheiden, was gebaut wird, und sein Maßstab ist, was dabei herauskommt.

Eine Spielzeugversion aus einer Stunde ist ein Ausgangspunkt. Das Produktivsystem, das sie nachahmt, hat trotzdem ein Jahr gebraucht (The Decoder – Google engineer says Claude Code built in one hour what her team spent a year on (öffnet in einem neuen Tab)). Zuverlässigkeit multipliziert sich über die Schritte. Ein mehrstufiger Workflow braucht deshalb einen konstruierten Harness und gemessene Evals statt eines besseren Prompts (Harness engineering for reliable agent workflows (öffnet in einem neuen Tab)).

Wie belastbar sind die Berichte darüber, was Claude Code leisten kann?

Das Marketing des Ökosystems eilt seinem Engineering voraus, und die Korrekturen sind lehrreich. Eine Principal Engineer bei Google berichtete, Claude Code habe aus drei Absätzen in etwa einer Stunde eine Spielzeugversion eines verteilten Agent-Orchestrators gebaut. Ihr Team hatte ein Jahr daran entwickelt. Danach stellte sie klar: Das Ergebnis sei ein nützlicher Ausgangspunkt, nicht das Produktivsystem. Davon hat Google im Lauf des Jahres mehrere gebaut, ohne klaren Gewinner. Google erlaubt Claude Code nur in Open-Source-Projekten (The Decoder – Google engineer says Claude Code built in one hour what her team spent a year on (öffnet in einem neuen Tab), Januar 2026).

Der Reality Check von Thoughtworks zu Anthropics Aussagen über COBOL-Modernisierung zeigt in dieselbe Richtung. Ein Legacy-System kartiert man nicht einfach per Prompt an Claude Code. Dafür braucht es eine geschichtete Pipeline aus Chunking, lokaler Zusammenfassung, Entity-Extraktion, Ableitung von Beziehungen und Synthese. Modelle und Agents können zig Millionen Zeilen nicht aufnehmen, egal wie groß der Kontext ist. KI arbeitet mit den vorhandenen Tools für statische und dynamische Analyse, nicht an ihrer Stelle (Thoughtworks – Claude Code and COBOL modernization: What’s the reality? (öffnet in einem neuen Tab), März 2026).

Den saubersten dokumentierten Bericht über Fähigkeiten liefert der Weg des Erfinders von Claude Code selbst. Er beschreibt Coding als Petrischale für KI-Sicherheit (“it either compiles or doesn’t compile”) und datiert die Sprünge auf Modell-Releases. Das frühe Claude Code schrieb 10-20% des Codes seines Erfinders. Die Sprünge kamen mit zwei späteren Modellgenerationen. Nach der zweiten war die IDE deinstalliert, und fünf bis zehn Claudes liefen parallel: “I don’t prompt Claude anymore. I have loops that are running… My job is to write loops” (The origin story of Claude Code (öffnet in einem neuen Tab), 2. Juni 2026).

Das Team hängt Zahlen daran. Die Einarbeitung neuer Leute sank von Wochen auf etwa zwei Tage, der Code pro Engineer wuchs ungefähr auf das 3-Fache. Die Rollen wachsen zusammen: Jede:r Engineer schneidet Scope zu und spricht täglich mit Nutzer:innen. Die Trennung zwischen Engineer, PM und Designer:in soll sich nach dieser Erwartung auflösen. Der Rat an Gründer:innen lautet, Budget von Menschen zu Token zu verschieben. Ein Projekt für vier Engineers bekommt dann zwei Engineers plus ein großes Token-Budget. Selbst der Geschmack gibt nach. Die Codebase-Regel gegen Klassen fiel, als das Modell, das inzwischen den gesamten Code schrieb, immer wieder Klassen schrieb: “okay well maybe the model’s right” (The origin story of Claude Code (öffnet in einem neuen Tab), 2. Juni 2026).

Der Bericht über Fähigkeiten jenseits des Codings kommt aus Anthropics eigenem Growth-Team. Dessen Leitung musste zum Launch von Claude Code googeln, wie man ein Terminal öffnet. Heute liefert dieselbe Person ein Figma-Plugin für Anzeigenvarianten, gebaut in etwa einer Stunde. Es verkürzt eine manuelle Aufgabe von 30 Minuten auf 30 Sekunden. Dazu kommt ein Google-Ads-Skill, der Performance-Daten in Anzeigenvarianten in Markenstimme verwandelt. Der interne Harness des Teams findet Wachstumschancen, baut das Experiment, testet es und wertet die Ergebnisse aus. Als Arbeitsheuristik gilt: “If you build a skill that sounds hyper-specific and a little boring when you describe it out loud, you probably built the right skill” (Anthropic’s growth team on Claude Code (öffnet in einem neuen Tab), April 2026).

Dieselbe Form trägt auch Nicht-Engineers außerhalb von Anthropic. Ein Betriebssystem aus drei Ordnern teilt die Rollen auf: Skills erledigen die Arbeit, Wissen macht die Skills besser, Projekte halten das Ergebnis. Obsidian dient Menschen als Ansicht auf das Markdown von Claude Code. Die gesamte Wissensbasis liegt wie eine Codebase versioniert in git (A Claude Code operating system for non-coders (öffnet in einem neuen Tab), April 2026).

Ein Bericht eines Anbieters über Fähigkeiten dehnt das Skill-Format über das Coding hinaus auf ML Operations. Der Skill hf-llm-trainer von Hugging Face bündelt die Entscheidungen hinter dem Fine-Tuning: welche GPU zu einer Modellgröße passt, wann LoRA und wann volles Fine-Tuning, wie man die Hub-Authentifizierung konfiguriert. Eine schlichte Instruktion wie “fine-tune Qwen3-0.6B on this dataset” reicht dann aus. Claude Code validiert die Daten, wählt Hardware, schickt den Job an die Cloud-GPUs von Hugging Face, überwacht ihn und pusht das fertige Modell in den Hub. Ein Review-Schritt zeigt die geschätzten Kosten, bevor ein bezahlter Job startet (Hugging Face – We Got Claude to Fine-Tune an Open Source LLM (öffnet in einem neuen Tab), Dezember 2025, Anbieter).

Dasselbe Skills-Repository funktioniert in mehreren Harnesses. Claude Code installiert es über den Plugin-Marketplace, Codex findet es über AGENTS.md, Gemini CLI lädt es als Extension. Damit wird ein Skill zum Artefakt für viele Agents statt nur für Claude Code (Hugging Face – We Got Claude to Fine-Tune an Open Source LLM (öffnet in einem neuen Tab), Dezember 2025, Anbieter).

Eine systematische Evaluationspraxis entwickelt sich erst. Agents auf den eigenen historischen Aufgaben zurückzutesten schlägt öffentliche Benchmarks. Eine Stimme aus der Praxis tut diese als Marketing ab. Günstige Oberflächenmetriken ergeben einen brauchbaren Check auf “agent smell”: wie viele Tool Calls, wie viele Retries, wie lange ein Lauf dauert (How Claude Code works (öffnet in einem neuen Tab), 26. Dezember 2025).

Das Bewertungsraster von Thoughtworks ergänzt die üblichen Kriterien um Drift. Es beurteilt Agents nach Zeit und Aufwand, Kosten, Korrektheit (Halluzination und Faithfulness) und der Varianz, wenn dasselbe Tool zweimal dasselbe tut. Nach diesem Raster ist Claude Code bei Zeit und Kosten herausragend, bei Korrektheit und Drift schwächer, Stand März 2026. Open-Source-Alternativen wie OpenCode halten die Autor:innen für vergleichbar, wenn sie mit State-of-the-Art-Modellen laufen (Thoughtworks – Claude Code and COBOL modernization: What’s the reality? (öffnet in einem neuen Tab), März 2026).

Für Prompts, Slash Commands, Skills und Orchestrierungs-Agents, die ein Team selbst baut, hat die Continuous-Delivery-Community einen Test. Würdet ihr eine Regression bemerken, braucht es ein Eval. Modell-Upgrades und Änderungen an System-Prompt oder Temperature fallen unter denselben Test. Einmalige Abfragen, dünne Wrapper und Anzeigeeinstellungen fallen nicht darunter.

  • Die Eval-Suite liegt im Repository neben dem Plugin, aber außerhalb dessen, was ausgeliefert wird.
  • Sie hat eigene Suites, Grader, Fixtures und Referenzlösungen.
  • Ein Eval-Runner wie Promptfoo führt sie bei Temperature 0 aus.

Der Leitfaden sieht die Suite eher als tägliche Entwicklungsschleife denn als Release Gate. Ihr führt sie aus, lest die fehlschlagenden Transkripte, korrigiert den Prompt und führt sie wieder aus (MinimumCD.org and DojoConsortium.org - Team AI Evals for Coding Tools (öffnet in einem neuen Tab), Stand März 2026).

Der CEO eines Anbieters für Context-Tooling beschreibt einen Einstieg, der bei Daten beginnt, die ein Team schon hat. Ein Agent liest vergangene Pull Requests und zieht Review-Kommentare und Kurskorrekturen heraus. Daraus baut er einen Review-Skill und bindet ihn in die CI ein. Ein täglicher Job liest, wie Entwickler:innen dem Reviewer an diesem Tag geantwortet haben, und ergänzt den Skill. Damit diese Ergänzungen früheres Verhalten nicht brechen, liefern dieselben Pull Requests Eval-Szenarien. Jedes besteht aus einer Aufgabe zum Wiederholen und Kriterien zum Bewerten. Die Szenarien laufen vor jeder Skill-Änderung wie eine Testsuite. Steht die Suite, kann das Team auch prüfen, ob ein viel günstigeres Modell dieselben Ergebnisse hält (Modern Software Engineering - How to Actually Succeed with AI Development (And the Lesson Most Teams Miss) (öffnet in einem neuen Tab), September 2026, Anbieter).

Ein Sammel-Guide ergänzt eine zitierte Warnung zur Korrektheit. Laut einer ACM-Studie von 2025 kann Claude Code 1,75x mehr Logikfehler erzeugen als von Menschen geschriebener Code. Diese Behauptung stammt aus dem Guide, wir haben sie nicht geprüft (Claude Code Ultimate Guide (öffnet in einem neuen Tab), Juli 2026).

Die Flotten-Statistiken beziffern die Lücke aus Sicht der Praxis. Die berichtete Vollständigkeit agentischer Recherche lag bei etwa 20%, der Context Recall bestenfalls bei 70%. Erst bis Mai 2026 hoben neuere Frontier-Modelle den Recall über 70%. Die Präsentation schließt daraus, die Arbeit zu Planung und vor allem zu Validierung zu verschieben. Alles, was geht, soll vom Agent in Code wandern, und dieser Code kann selbst generiert sein. Harnesses für Legacy-Modernisierung bestehen dann aus Sprachparsern (Tree-sitter, Joern, CodeQL) plus Tausenden generierten Validierungstests (Agentic Fleets für Software Development (öffnet in einem neuen Tab), Mai 2026).

Die Rechnung mit der Zuverlässigkeit erklärt, warum Harnesses bei mehrstufiger Arbeit Prompts schlagen. Der Talk rechnet den “march of nines” vor. Ein Workflow mit zehn Schritten und 90% Zuverlässigkeit pro Schritt läuft zehnmal am Tag und scheitert dabei mehr als sechsmal. Jede weitere Neun muss konstruiert werden. Eine Evaluation von 84 populären Skills ergab höhere Pass Rates, aber weit weniger, als unbeaufsichtigter Geschäftsbetrieb braucht (Harness engineering for reliable agent workflows (öffnet in einem neuen Tab), März 2026).

Was funktioniert, legt ein deterministisches Scaffolding um den Agent. Die “minions” von Stripe validieren jede Änderung von Claude Code gegen einen Teil ihrer drei Millionen Tests. So mergen sie 1.300 Pull Requests pro Woche. Die Betriebsregel: Was jedes einzelne Mal passieren muss, kodifiziert ihr im Harness. Skills bleiben dafür, im Co-Pilot-Einsatz die Fähigkeiten zu erweitern (Harness engineering for reliable agent workflows (öffnet in einem neuen Tab), März 2026).

Der günstigste Hebel für Zuverlässigkeit bleibt Verifikation. Der Erfinder von Claude Code empfiehlt, Claude einen Weg zu geben, die eigene Arbeit zu prüfen. Diese Feedbackschleife soll Berichten zufolge die Qualität des Outputs verdoppeln bis verdreifachen. Zwei konkrete Schritte gehören dazu: Gebt Claude ein Tool, mit dem es das Ergebnis seiner Arbeit sieht, und erzählt Claude dann von diesem Tool (The Decoder – Google engineer says Claude Code built in one hour what her team spent a year on (öffnet in einem neuen Tab), Januar 2026; Plan mode and CLAUDE.md interview (öffnet in einem neuen Tab), 1. April 2026).

Anthropics Leitfaden für Organisationen passt zur Harness-These (Anthropic – How Claude Code works in large codebases (öffnet in einem neuen Tab), Mai 2026).

  • Die schnellsten Rollouts zogen die Infrastruktur vor. Manchmal verdrahtete eine Person das Tooling, bevor jemand anderes es anfasste.
  • In mehreren Organisationen entsteht die Rolle “agent manager”. Diese hybride Funktion aus PM und Engineer verantwortet das Claude-Code-Ökosystem.
  • Konfiguration veraltet, während die Modelle besser werden, und verdient alle drei bis sechs Monate ein gründliches Review. Ein Hook erzwang etwa p4 edit bei Schreibzugriffen auf Dateien. Mit dem nativen Perforce-Modus wurde er überflüssig.

Warum gibt es Tracker, Router und Kompressoren?

Ein großer Teil des Katalogs zum Claude-Code-Ökosystem existiert, weil agentisches Coding die Preismodelle der vorigen Ära gesprengt hat. Das betrifft Statuszeilen, Usage-Monitore, Routing-Proxys und Token-Optimierer. Power-User verketten mehrstufige Agents mit riesigen Kontextfenstern. Damit wurden pauschale, anfragebasierte Abos unhaltbar, was Cursor im Juni 2025 zur abrupten Preisänderung zwang. Claude Code selbst verkauft gestaffelte Abos mit Prompt-Kontingenten pro 5-Stunden-Fenster. Das trägt vor allem, weil Anthropic die zugrunde liegenden Modelle besitzt (Tokenomics #1: The Pricing Evolution (öffnet in einem neuen Tab)).

Misst ein Anbieter Nutzung in intransparenten Fenstern, brauchen Teams im Betrieb Sicht auf die Burn Rate. Daher kommen die vielen Monitore und Menüleisten-Tracker im Katalog. Einen Teil dieses Feedbacks erzeugt Claude Code inzwischen selbst. Der undokumentierte Befehl /insights erstellt einen Nutzungsbericht, der sich wie Feedback einer Führungskraft liest. Er profiliert Arbeitsmuster und markiert Gewohnheiten, etwa Gespräche abzubrechen, bevor ein konkretes Ergebnis steht. Dazu liefert er Vorschläge für Skills, Agents und Hooks zum Kopieren. Der Bericht ist nicht deterministisch und scheint jüngste Arbeit stark zu gewichten (Claude Code’s /insights (öffnet in einem neuen Tab), Februar 2026).

Verschwendung ist auch strukturell, und genau dort setzen die Optimierungstools an. Ungenutzte MCP-Tools belegten gemessen etwa 12% des Kontextfensters, bevor die Arbeit beginnt (Claude Code feature roundup (öffnet in einem neuen Tab), 15. August 2025). Eine überwucherte, immer geladene CLAUDE.md belastet jede Session. Gegen diese Verschwendung gibt es die Techniken zum Reduzieren und Delegieren aus Context Engineering (Claude Code).

Proxys und Router übertragen dieselbe Ökonomie auf die Modellwahl: Sie tauschen Backends oder wählen pro Anfrage günstigere Modelle. Praktiker:innen richten ANTHROPIC_BASE_URL für Coding in der Masse auf Backends wie Kimi K2 von Moonshot. Das soll etwa 80% günstiger sein als das native Modell (AI Builder Club – Spec-driven Claude Code workflow (öffnet in einem neuen Tab), 24. Juli 2025).

Claudish ist ein konkretes Beispiel. Es sitzt zwischen Claude Code und der Modell-API und übersetzt Anthropics Tool-Schema in die Formate von OpenAI und Gemini und zurück. Eine Session kann so Anbieter pro Rolle mischen. Ein natives Anthropic-Modell plant, ein günstigeres oder kostenloses OpenRouter-Modell übernimmt das Coding in der Masse. Teams nutzen so bestehende Abos über 15+ Anbieter und 580+ Modelle, statt für mehrere zu zahlen (Claudish (öffnet in einem neuen Tab)).

Für Teams heißt das: Behandelt Kontext und Token als budgetierte Ressource, mit derselben Disziplin wie Cloud-Ausgaben. Messt, bevor ihr optimiert. Lest Prozentzahlen zur Reduktion in Schlagzeilen skeptisch, denn Anbieter behaupten sie, und sie hängen von der Workload ab.

Ein Referenz-Setup für mehrere Agents aus der Continuous-Delivery-Community übersetzt dieses Budget in Session-Mechanik.

  • Jeder Kontext beginnt mit den stabilen Systemregeln und endet mit dem Material zum aktuellen Szenario. So trifft der Prompt-Cache weiter.
  • Jedes Element muss vor dem Kontext eines Agents eine Frage bestehen: Würde Weglassen ändern, was der Agent tut?
  • Agents tauschen JSON statt Prosa.
  • Eine Session endet mit einer Zusammenfassung unter 150 Wörtern. Sie ersetzt für die nächste Session den Gesprächsverlauf.
  • Das Setup verfolgt Token pro Session, Block Rate im Review und Token pro Retry-Zyklus.

Steigen die Kosten pro Session bei gleicher Block Rate, wächst der Kontext ohne Grund (MinimumCD.org and DojoConsortium.org - Coding & Review Setup (öffnet in einem neuen Tab), Stand März 2026).

Zwei Messungen stützen diese Skepsis. Der Cross-Repo-Benchmark von CodeGraph meldet 58% weniger Tool Calls, 22% schnellere Läufe und Datei-Lesezugriffe nahe null. Der Autor sagt aber klar, dass die Token-Ersparnis von der Größe abhängt. Auf einer überschaubaren Codebase ist sie klein und verrauscht, ins Gewicht fällt sie erst bei großen Monorepos. Auf Opus 4.8 schrumpften die Abstände, und zwar ohne Regression. Das neuere Modell greppt und liest von sich aus effizient (CodeGraph (öffnet in einem neuen Tab), Juli 2026). Ein Praxistest von Code-Graph-Tools meldet ebenfalls echte Geschwindigkeitsgewinne, aber nichts in der Nähe der beworbenen 49x weniger Token (Seven tools to stop burning tokens in Claude Code (öffnet in einem neuen Tab), Mai 2026).

Anthropic argumentiert mit veralteten Daten gegen vorgebaute Indizes. Wenn jemand einen Embedding-Index abfragt, zeigt der Index die Codebase, wie sie vor Stunden, Tagen oder Wochen war. Er liefert dann Funktionen, die das Team inzwischen umbenannt hat. Deshalb setzt Claude Code auf agentische Live-Suche (Anthropic – How Claude Code works in large codebases (öffnet in einem neuen Tab), Mai 2026). Auf der Abo-Seite derselben Ökonomie berichtet ein Plugin-Roundup, dass ein Max-Abo für $200 eher $1.800 an rohen Token-Kosten verbraucht (Nine Claude Code plugins roundup (öffnet in einem neuen Tab), Mai 2026).

Verwandte Seiten

Quellen

Evals