Zum Inhalt springen

Wissensbasis

Inference-Kosten und Infrastruktur

Agentische Workloads machen Inference-Kosten nutzungsabhängig: Parallele Agents und wachsender Kontext treiben den Token-Verbrauch. Die Rechnung hängt deshalb mehr an den Tokens pro abgeschlossenem Workflow als am Listenpreis pro Token. Einfache Aufgaben gehen an kleine Modelle, Frontier-Modelle bleiben der Arbeit vorbehalten, die sie braucht. So bleiben die Kosten im Rahmen.

Verfasst von

Aktualisiert:

Tools 4

Unsere Position. Wir wählen das Modell pro Station, nicht pro Projekt. Das stärkste Modell plant, ein günstigeres und schnelleres Modell setzt den geprüften Plan um.

Subventionierte Abos verdecken den echten Preis pro Token. Dauerhaft wirken drei Hebel: welches Modell eine Aufgabe bekommt, wie viel Kontext sie mitträgt und wo und auf welcher Hardware die Inference läuft.

Was kostet agentische Inference wirklich?

Die Preise für Developer-Tools haben fünf Phasen durchlaufen (Tokenomics #1: The Pricing Evolution of AI Coding Agents (öffnet in einem neuen Tab)):

  • pro Repository (GitHub 2008),
  • pro Seat im Enterprise-Vertrag,
  • KI-Erweiterung zum Pauschalpreis (Copilot für $10/Monat),
  • Flatrate mit Nutzungsgrenze (Cursors 500 Requests),
  • zuletzt abstrahierte Nutzungseinheiten, die auf die zugrunde liegende Rechenleistung abbilden.

Den Bruch brachte agentische Nutzung, an der Flatrates scheiterten. Spätestens im Juni 2025 verketteten Power-User bei Cursor bereits mehrstufige Agents über riesige Kontextfenster. Cursor stellte über Nacht auf Token-Abrechnung um, es folgten überraschende Rechnungen über $1.000 und öffentlicher Protest (Tokenomics #1 (öffnet in einem neuen Tab)). Die Tools landeten bei unterschiedlichen Abstraktionen: Devin rechnet in Compute Units ab, Lovable und Replit in aufwandsbasierten Credits, Bolt mit Token-Obergrenzen. Die Lehre ist überall dieselbe. Preise müssen heute die echten Rechenkosten abbilden, und hybride Modelle aus Grundpreis plus Credits machen Kosten planbar, ohne unbegrenztes Risiko (Tokenomics #1 (öffnet in einem neuen Tab)).

Derselbe Druck trifft Teams von der Verbrauchsseite. Wer früher ein paar Mal am Tag ein Modell aufrief, betreibt mit Agent-Schwärmen 5-10 Agents mit parallelen Kontextfenstern über 1.000+ Dokumente. Der Token-Verbrauch lässt sich damit nicht mehr vorhersagen und hat keine Obergrenze, und kein Mensch prüft mehr dazwischen (Tokenomics #1 (öffnet in einem neuen Tab)).

Anthropic hat claude -p und das Agent SDK auf nutzungsbasierte Abrechnung umgestellt. Praktiker:innen lesen das als Signal, dass Pläne ohne Nutzungsmessung nicht bleiben. Für sie ist es ein Grund, die Kosten pro Token im ganzen Stack zu senken, bevor der Rest folgt. Bei einem Praktiker passte die Nutzung von Claude Code in ein Abo für $200/Monat, nutzungsbasiert abgerechnet hätte sie etwa $10.000/Monat gekostet. Seine Worker auf offenen Modellen laufen für $25-35/Tag, mit interaktivem Coding für etwa $47. Auch das findet er noch zu viel (Open Models Are Ready (öffnet in einem neuen Tab)).

Die Preise der Frontier-Modelle markieren das obere Ende des Markts. Claude Opus 5.5 kostet laut Liste $4 pro Million Input-Tokens und $20 pro Million Output-Tokens. Cache-Reads kosten $0,20 pro Million, und Inference ausschließlich in den USA kostet das 1,1-Fache (Anthropic – Claude Opus (öffnet in einem neuen Tab), Anbieterangabe, Oktober 2026).

Konkurrierende Coding-Modelle sind günstiger, doch die Gesamtkosten hängen davon ab, wie viele Tokens ein Modell verbraucht. Ein Review vergleicht Opus 4.6 mit OpenAIs Codex und nennt für Codex ungefähr den halben Preis pro Token. Trotzdem kostete ein Benchmark-Lauf auf Opus 4.6 etwa $2.500, auf Codex bei voller Effort-Stufe $3.300. Bei mittlerer Effort-Stufe sank Codex auf $700, fiel im Score aber hinter Gemini 3 Pro zurück (Opus 4.6 vs Codex 5.3 (öffnet in einem neuen Tab), Februar 2026).

Die Preise, die Nutzer:innen tatsächlich zahlen, sind stark subventioniert. Ein Developer schickte geschätzt 1,3 Milliarden Tokens durch ein Abo und erreichte dabei keine 60% seines Kontingents. Das Interview schließt daraus, die Anbieter “are subsidizing so much inference on these platforms right now” (Opus 4.6 vs Codex 5.3 (öffnet in einem neuen Tab)).

In Teams, die Tokens zentral finanzieren, kehrt sich die Empfehlung um. Statt zu rationieren, beschreibt das Interview Shopify als “effectively fund[ing] unlimited tokens for everybody”. Shopify lenkt Engineers zudem weg von schwächeren Modellen: “please don’t use anything less than Opus 4.6”. Eine falsche Modellwahl verschwendet mehr Engineering-Zeit als Tokens (AI infrastructure (öffnet in einem neuen Tab), April 2026).

Code Review ist die teure Ausnahme. Dafür braucht es die größten Frontier-Modelle, die sich abwechseln, statt vieler günstiger Agents, die parallel laufen. Dieses Muster erzeugt wenige Tokens, läuft aber langsam und teuer (AI infrastructure (öffnet in einem neuen Tab)). Das spricht bei Engineering-Teams für Kostentransparenz pro Workload und eine Routing-Strategie, die Frontier-Modelle den Aufgaben vorbehält, die sie brauchen. Genau das leistet die Aufteilung pro Station.

Die Continuous-Delivery-Community beziffert diese Routing-Entscheidung mit Faktoren. Output-Tokens kosten zwei- bis fünfmal so viel wie Input-Tokens. Ein Frontier-Modell kostet pro Token zehn- bis zwanzigmal so viel wie ein kleines. Ihre Routing-Leiter schickt Klassifikation und Extraktion an ein kleines Modell zum Faktor 1. Zusammenfassen und Formatieren gehen an eine kleine oder mittlere Stufe zu 2 bis 5x. Code-Generierung landet auf einer mittleren oder Frontier-Stufe zu 10 bis 20x, Architektur-Review auf einem Frontier-Modell zu 15 bis 30x.

Agentische Workflows vervielfachen die Rechnung. Der Kontext wächst mit jedem Schritt des Orchestrators. Eine Änderung mit drei Wiederholungen kostet viermal so viel wie ein sauberer Erfolg. Eine gescheiterte Korrekturschleife verbrennt etwa dreimal so viele Tokens wie ein Durchlauf, der beim ersten Mal gelingt. Der Guide misst deshalb Tokens pro vollständigem Workflow statt pro Aufruf. Einen Lauf, der zehnmal so viel kostet wie der Durchschnitt, behandelt er als Designproblem. Auch die Codequalität treibt die Kosten: Generische Namen, übergroße Funktionen und duplizierte Logik lassen den Agent mehr Kontext laden und öfter neu ansetzen (MinimumCD.org and DojoConsortium.org - Tokenomics: Optimizing Token Usage in Agent Architecture (öffnet in einem neuen Tab), Stand März 2026).

Budgets für agentische Workloads setzen voraus, dass die heutigen Preise pro Token halten. Praktiker:innen, die mit der Kostenkurve planen, setzen das nicht voraus. Ein Essay erwartet innerhalb von zwei bis drei Jahren breiten Zugang zu Systemen, die Tokens 10x bis 100x schneller erzeugen, zu einem Bruchteil der Kosten. Bis Ende 2027 soll Intelligenz auf Frontier-Niveau so günstig sein, dass die meisten Developer:innen in Vollzeit damit arbeiten können. Die Prognose stützt sich auf kommende Beschleuniger- und Inference-Hardware, nicht allein auf effizientere Modelle (The End of Programming (öffnet in einem neuen Tab), August 2026).

Das ist eine Prognose, keine Messung, und die Richtung wiegt mehr als der Faktor. Rechnet sich ein Workload zu heutigen Frontier-Preisen nicht, stellt sich die Frage, wann er sich rechnet. Eine dauerhafte Grenze ist das nicht.

Wo läuft Inference, und auf welcher Hardware?

Wo Inference läuft, wird so folgenreich wie die Wahl des Modells. Neben den Hyperscalern sitzt heute ein ganzes Ökosystem zwischen Anwendung und Modell: Aggregatoren (OpenRouter), Gateways (LiteLLM, Portkey) und souveräne regionale Clouds. Europäische Anbieter wie Infercom hosten Open-Weight-Frontier-Modelle in EU-Rechenzentren. Laut Anbieter dient das Hosting der Compliance mit DSGVO und AI Act, ohne dem US CLOUD Act ausgesetzt zu sein (Infercom (öffnet in einem neuen Tab), Anbieterangabe).

Manche Anbieter setzen auf Chips jenseits der GPU. SambaNova beansprucht für seine rekonfigurierbare Dataflow-Architektur bis zu 10x schnellere Inference und 5x bessere Energieeffizienz als GPUs. Ein heterogener Blueprint teilt die Arbeit auf: GPUs übernehmen den Prefill, SambaNova-RDUs den Decode und CPUs die Tool-Calls der Agents (SambaNova (öffnet in einem neuen Tab); Infercom (öffnet in einem neuen Tab), Anbieterangaben).

Unter alldem liegt ein systemisches Risiko, die Konzentration der Lieferkette. Mit TSMC fertigt eine einzige Foundry in Taiwan fast jeden führenden KI-Chip (Stanford HAI – 2026 AI Index Report (öffnet in einem neuen Tab), April 2026). Eine Speicherknappheit trieb 2025 die DRAM-Preise um 19-24x nach oben (WTF Happened in 2025 (öffnet in einem neuen Tab)).

Nicht jeder Inference-Workload läuft auf einem Transformer. Laut dem Interview betreibt Shopify für die Suche ein Liquid-Modell (State-Space) mit 300 Millionen Parametern, end-to-end in 30 Millisekunden. Außerdem destilliert Shopify große Modelle in aufgabenspezifische Versionen mit 7-8B Parametern. Diese schlagen vergleichbare offene Modelle wie Qwen sehr oft. Das Interview räumt ein, dass solche Modelle einem Frontier-Modell im direkten Vergleich nicht gewachsen sind. Es empfiehlt, sie als “a phenomenal target for distillation” zu behandeln (AI infrastructure (öffnet in einem neuen Tab), April 2026).

Für klassisches autoregressives Serving optimieren Spezialisten wie Together, Fireworks und CentML den Durchsatz auf ein bestimmtes Nutzungsprofil (AI infrastructure (öffnet in einem neuen Tab)). Das passt zum Destillationstrend, den ein Interview zur Leistungsfähigkeit von KI im Oktober 2025 beschreibt. Wenn der Token-Verbrauch explodiert, wird das Destillieren eines großen Modells in ein kleines, spezialisiertes Modell zunehmend zum Standardweg zu günstiger Inference (Interview zur Leistungsfähigkeit von KI (öffnet in einem neuen Tab), Oktober 2025).

Verwandte Seiten

Quellen

Delivery-Praxis