Zum Inhalt springen

Wissensbasis

KI-Modelle und Inferenz

Welches Modell einen Agenten antreibt, wo es läuft und was jedes Token kostet, entscheidet, ob sich ein agentischer Workflow lohnt. Das Ergebnis hängt stärker am Harness um das Modell, an Context Management, Tool-Auswahl und Validierung, als daran, welches Frontier-Modell darunter sitzt.

Verfasst von

Aktualisiert:

Tools 4

Unsere Position. Wir wählen das Modell pro Station statt pro Projekt. Wir planen mit dem stärksten Modell, das wir haben. Wir implementieren mit einem günstigeren, schnelleren Modell, das einen bereits reviewten Plan ausführt.

Die Modellschicht umfasst Frontier- und Open-Weight-Modelle, Cloud-Provider für Inferenz und lokale Inferenz auf Consumer-Hardware. Jede dieser Optionen hat ihren eigenen Preis pro Token. Coding-Benchmarks helfen, Kandidaten zu ranken. Schema-Bibliotheken sorgen dafür, dass Code den Modell-Output verlässlich weiterverarbeiten kann.

Einstieg

  • Inference-Kosten und Infrastruktur: Wie Preise, Provider, Beschleuniger und Serving-Architekturen den Betrieb von Modellen prägen.
  • Modellauswahl: Wie ihr Benchmarks lest und ein Modell passend zu Aufgabe, Rahmenbedingungen und verfügbarer Verifikation wählt.
  • Structured Output: Wie Schemas und Constrained Generation Modellantworten leichter validierbar und integrierbar machen.

Verwandte Seiten

Quellen

Cloud-Modelle und Provider

Gateways und Routing

  • LiteLLM (öffnet in einem neuen Tab) - Open-Source-KI-Gateway und SDK mit einheitlichem Zugriff im OpenAI-Format auf Azure, Bedrock, Gemini, OpenAI und Anthropic, mit Routing und Kosten-Tracking.
  • OpenRouter (öffnet in einem neuen Tab) - Einheitliches API-Gateway, das Requests über Hunderte Modelle vieler Provider routet, mit nutzungsbasierter Abrechnung und Fallbacks.
  • Portkey (öffnet in einem neuen Tab) - Produktions-Gateway für GenAI-Apps mit Routing, Caching, Guardrails und Observability über Provider hinweg. Palo Alto Networks ist dabei, Portkey zu übernehmen.
  • Weave Router (öffnet in einem neuen Tab) - Prompt-Router, der jeden Request in Codex, Claude und Cursor an das Modell mit der besten Qualität pro Token schickt. So reichen Token-Budgets länger.

Lokale Inferenz

Modellsammlungen

Rankings und Reports

Structured Output

  • BoundaryML (öffnet in einem neuen Tab) - BAML, eine Open-Source-Programmiersprache für Agenten mit Runtime-Typen und nativen LLM-Funktionen, Tests und Evaluations; noch vor 1.0.
  • Instructor (öffnet in einem neuen Tab) - Bibliothek für mehrere Sprachen (Python, TypeScript, Go, Ruby, Elixir, Rust), die validierten Structured Output aus 15+ LLM-Providern holt, darunter Claude und OpenAI. Sie arbeitet mit Pydantic-Schemas, Retries und Streaming.

In diesem Bereich

  • Inference-Kosten und Infrastruktur

    Agentische Workloads machen Inference-Kosten nutzungsabhängig: Parallele Agents und wachsender Kontext treiben den Token-Verbrauch. Die Rechnung hängt deshalb mehr an den Tokens pro abgeschlossenem Workflow als am Listenpreis pro Token. Einfache Aufgaben gehen an kleine Modelle, Frontier-Modelle bleiben der Arbeit vorbehalten, die sie braucht. So bleiben die Kosten im Rahmen.

  • Modellauswahl

    Wählt ein Modell nach einem Test auf eurem eigenen Stack und euren Aufgaben, nicht nach seinem Leaderboard-Score. Coding-Benchmarks messen enge, Python-lastige, gut spezifizierte Issues, und die Fähigkeiten schwanken stark nach Sprache und Aufgabe. Mehr Hebel als die Jagd nach dem Top-Modell bringen Routing jeder Rolle an ein passendes Modell und Investitionen in Kontext und Validierung.

  • Structured Output

    Structured Output heißt: Ein Modell antwortet in einer typisierten Form, die Code validieren kann, statt in Freitext, den Code parsen muss. Eine Schema-first-Schicht deklariert die Form als typisiertes Modell, prüft jede Antwort dagegen und fragt das Modell erneut, wenn die Validierung scheitert.