Zum Inhalt springen

Wissensbasis

Modellauswahl

Wählt ein Modell nach einem Test auf eurem eigenen Stack und euren Aufgaben, nicht nach seinem Leaderboard-Score. Coding-Benchmarks messen enge, Python-lastige, gut spezifizierte Issues, und die Fähigkeiten schwanken stark nach Sprache und Aufgabe. Mehr Hebel als die Jagd nach dem Top-Modell bringen Routing jeder Rolle an ein passendes Modell und Investitionen in Kontext und Validierung.

Verfasst von

Aktualisiert:

Tools 4

Unsere Position. Wir wählen das Modell pro Station, nicht pro Projekt. Die Planung läuft auf dem stärksten Modell, das wir haben. Die Implementierung übernimmt ein günstigeres, schnelleres Modell, das einen bereits reviewten Plan ausführt.

Was messen Coding-Benchmarks wirklich?

Veröffentlichte Coding-Benchmarks messen weniger, als ihre Namen versprechen. Die meisten Labs berichten ihre Zahl auf SWE-bench Verified. Der Benchmark umfasst 500 Probleme, alle in Python und über 40 % davon aus dem Django-Repository. Die Lösungen haben im Median 4 Codezeilen. Alle Issues stammen aus 2023 oder früher, die Daten lagen also fast sicher in Trainingsdatensätzen (Nilenso - What are popular AI coding benchmarks actually measuring? (öffnet in einem neuen Tab)).

Ein hoher Score heißt: Der Agent löst klar definierte Issues mit präzisen Anforderungen so, dass die Unit-Tests durchlaufen. Ob der Code wartbar, sicher oder handwerklich gut ist, verrät der Score nicht. Ebenso wenig sagt er über die Arbeit mit großem Hebel, ein unscharfes Geschäftsproblem in eine Spec zu übersetzen. Deshalb löst ein Modell mit 80 % auf SWE-bench nicht 80 % echter Aufgaben im ersten Anlauf (Nilenso - What are popular AI coding benchmarks actually measuring? (öffnet in einem neuen Tab)).

Je näher die Scores an ihre Obergrenze rücken, desto mehr zählt diese Enge. Auf SWE-bench Verified stieg die Leistung in einem einzigen Jahr von rund 60 % auf fast 100 %. Der Abstand zwischen US-amerikanischen und chinesischen Modellen hat sich praktisch geschlossen. Im März 2026 lag das beste US-Modell nur noch 2,7 % vorn (Stanford HAI - 2026 AI Index Report (öffnet in einem neuen Tab)).

Die Fähigkeiten der Spitzenmodelle sind ungleichmäßig verteilt. Ein Gemini-Modell holte Gold bei der Internationalen Mathematik-Olympiade. Gleichzeitig lesen die besten Modelle eine analoge Uhr nur in 50,1 % der Fälle richtig (Stanford HAI - 2026 AI Index Report (öffnet in einem neuen Tab), April 2026). Ein einzelner “intelligence”-Score verdeckt also starke Unterschiede je Aufgabe. Das Interview warnt zudem, dass Benchmark-getriebene Aussagen die echte Fähigkeit überzeichnen. Bei wirklich neuartigem Code produzieren Agenten weiterhin “slop” (Interview zu KI-Fähigkeiten (öffnet in einem neuen Tab), Oktober 2025).

Auch innerhalb desselben Modells schwankt die Fähigkeit stark je Programmiersprache. Ein Vergleich von 17 Modellen über vier typisierte Sprachen ergab für Sonnet 3.5 eine Erfolgsquote von 81 % in Python und TypeScript. In Swift waren es nur 71 %, in Rust 62 % (LLM-Powered Programming: A Language Matrix Revealed (öffnet in einem neuen Tab)).

Vergleiche aus der Praxis bestätigen das auch auf Ebene der Modelle. Codex ist “phenomenal at Rust”, aber schwach in Swift. Opus dagegen “relies more on its training data”. Es kommt mit schnelllebigen Frameworks wie Convex, Svelte und Tailwind v4 besser zurecht und gewinnt bei Greenfield-Arbeit. Codex gewinnt in großen bestehenden Codebasen (Opus 4.6 vs Codex 5.3 (öffnet in einem neuen Tab), Februar 2026).

Teams außerhalb des Python- und TypeScript-Mainstreams sollten Kandidaten auf ihrem eigenen Stack evaluieren, statt aggregierten Leaderboards zu vertrauen. Das Benchmark-Ökosystem selbst bleibt von Python dominiert. Sogar verbesserte Suites wie SWE-bench Pro decken nur Python, Go, JS und TS ab (Nilenso - What are popular AI coding benchmarks actually measuring? (öffnet in einem neuen Tab)).

Wie routet ihr Arbeit über mehrere Modelle?

Routing pro Rolle erscheint allmählich als Konfiguration statt als handgebaute Pipeline. Der Setup-Befehl des pstack-Plugins erkennt, welche Modelle den Nutzer:innen zur Verfügung stehen. Dann schreibt er eine Regel, die immer greift und jeder Rolle ein Modell zuordnet. Die Regel deckt das Schreiben von Code, Urteile und die Review-Panels mit mehreren Modellen ab. Jeder Skill der Bibliothek liest diese Regel und fällt ohne sie auf Defaults zurück. Der mitgelieferte Default teilt die Arbeit nach den Stärken der Modelle auf. Präzise spezifizierter Code geht an ein Modell, schnelle mechanische Edits gehen an ein zweites. Prosa und Urteil übernimmt ein drittes (cursor - pstack (öffnet in einem neuen Tab), Stand August 2026).

Den günstigsten Platz in einer solchen Routing-Tabelle besetzt inzwischen ein Modell, das keinen Text erzeugt. Jev startete am 15. September 2026 als erstes Modell einer Klasse, die sein Anbieter System One models nennt. Es nimmt einen Zustand und eine Reihe typisierter Fragen entgegen. Zurück kommt eine Auswahl aus einer Liste, ein Score auf einer Skala oder die Wahrscheinlichkeit, dass eine Aussage stimmt. Jev akzeptiert nur Text, bis zu 64.000 Token pro Request, und Englisch ist seine primäre Trainingssprache (TypeSafe - Models (öffnet in einem neuen Tab), Stand Oktober 2026).

Eine Produktreview vom September 2026 hat den Preis auf dem eigenen Account der Reviewer:in gemessen. Einen Entwurf mit 2.000 Wörtern anhand von vier Fragen eines Bewertungsrasters zu beurteilen, kostete 2.994 Input-Token und 0,000126 $. Der Listenpreis liegt bei 0,042 $ pro Million Input-Token, Output-Token sind kostenlos (Product with Attitude - What Is Jev? I Measured the Cost of a Judgment (öffnet in einem neuen Tab), September 2026).

Die Multiplikatoren aus den Schlagzeilen sind Selbstangaben des Anbieters mit benannten Grenzen. Der Launch-Post nennt 193,6-mal schneller und 444,6-mal günstiger. Gemessen hat das Team des Anbieters auf vier Workflow-Evaluationen, die es selbst geschrieben hat. Als Referenzantwort diente der Durchschnitt zweier Frontier-LLMs. Diese LLMs liefen über einen Wrapper für strukturierten Output, der sie laut Post langsamer und teurer macht. Der Post räumt ein, dass der Preis subventioniert sein könnte. Eigene Zahlen zu Accuracy oder Kalibrierung enthält er nicht, er verweist auf eine separate Ergebnisseite (TypeSafe - Introducing System One Models & Jev (öffnet in einem neuen Tab)).

Vercel meldet, dass fast 13 % der zahlenden Teams auf seinem AI Gateway das Modell innerhalb von 24 Stunden nach dem Launch nutzten. Das ist etwa doppelt so viel wie der Anteil der GPT-5.6-Familie. Der nächste Test ist laut Vercel, ob diese Adoption anhält (Vercel - Jev is the fastest-adopted model in AI Gateway history (öffnet in einem neuen Tab), September 2026).

Was ihr dorthin routen solltet, zeigt die Liste bekannter Fehlermodi des Anbieters besser. Das Modell liest eine Frage wörtlich. Zählen, Rechnen und Datumsvergleiche gelingen ihm nicht zuverlässig. Seine Accuracy sinkt, wenn themenfremdes Material den Zustand füllt. In manchen Fällen neigt es zur ersten Option einer Liste. Der Anbieter empfiehlt, Arithmetik und Filter im Code zu lassen und ein zusammengesetztes Urteil in einzelne wörtliche Fragen zu teilen. Außerdem rät er, die Optionen umzusortieren und so zu prüfen, ob die Antwort gleich bleibt (TypeSafe - Jev 1.13 jaggedness (öffnet in einem neuen Tab), geprüft am 2. Oktober 2026).

Auswahl- und Skalenantworten liefern einen Konfidenzwert mit, abgeleitet aus der Streuung ihrer Wahrscheinlichkeiten. Eine Wahr-oder-falsch-Antwort hat nur ihre Wahrscheinlichkeit. Der Anbieter empfiehlt, oberhalb einer Schwelle automatisch zu handeln, die mit den Kosten einer falschen Aktion steigt. Fälle mit niedrigem Konfidenzwert gehen an einen Menschen oder ein anderes System (TypeSafe - Confidence (öffnet in einem neuen Tab)). Kalibrierung wird über Gruppen von Vorhersagen gemessen und garantiert nicht, dass eine einzelne Antwort stimmt (TypeSafe - System One (öffnet in einem neuen Tab)). Wie ein solches Modell als Harness-Tool arbeitet, beschreiben die Harness-Grundlagen.

Kein einzelnes Modell gewinnt, und die Unterschiede im Verhalten bleiben. Deshalb wird modellagnostische Infrastruktur zur Absicherung. Ein Vergleich von 14 Agentic-Engineering-Plattformen vom Februar 2026 fand bei 10 davon Support für mehrere KI-Anbieter. Modellflexibilität ist damit Standard und kein Unterscheidungsmerkmal mehr. Die zentrale Prämisse des Reports lautet: Der Markt fragmentiert, und Teams brauchen Plattformen, die über Anbieter hinweg funktionieren (Model-Agnostic Agentic Engineering Platforms Compared (öffnet in einem neuen Tab)).

Das deckt sich mit den Befunden der verlinkten Forschungsübersicht. Die Qualität der Frontier-Modelle konvergiert, und die Infrastruktur um das Modell bestimmt die Ergebnisse. Teams gewinnen daher mehr Hebel, wenn sie in Kontext, Tooling und Validierung investieren, als wenn sie dem aktuellen Leaderboard-Sieger nachjagen (KI-Produktivitätsstudien).

Zwei Anordnungen kombinieren ein starkes und ein günstiges Modell in derselben Aufgabe. Die erste ist die Aufteilung pro Station. Das starke Modell plant und schreibt einen Plan, dem der Executor ohne weiteren Kontext folgen kann. Ein günstigeres Modell implementiert ihn dann Schritt für Schritt. Muss sich der Plan selbst ändern, geht die Arbeit zurück an das starke Modell (Augmented Coding Patterns - Smart Plan, Cheap Execution (öffnet in einem neuen Tab)).

Die zweite Anordnung dreht die Rollen um und relativiert die Aufteilung. Das günstige Modell erledigt die ganze Aufgabe und fragt das starke nur, wenn es feststeckt. Anthropic hat das im April 2026 als Beta-Tool in seiner API veröffentlicht. Laut Selbstangabe des Anbieters gewann Sonnet mit Opus als Advisor 2,7 Punkte auf SWE-bench Multilingual gegenüber Sonnet allein. Die Kosten pro Aufgabe sanken dabei um 11,9 %. Haiku mit demselben Advisor erreichte auf BrowseComp 41,2 %, allein waren es 19,7 %. Das liegt unter dem Score von Sonnet, kostet pro Aufgabe aber 85 % weniger als Sonnet. Der Advisor ruft keine Tools auf und liefert typischerweise einen Plan von 400 bis 700 Token. Deshalb bleibt sein Anteil an der Rechnung klein (Anthropic - The advisor strategy (öffnet in einem neuen Tab), April 2026).

Wer die zweite Anordnung von Hand fährt, findet in einem Katalog aus der Praxis drei Auslöser für die Eskalation:

Verwandte Seiten

Quellen

Modellklassen

Modelle kombinieren