Software Factories und Harness Engineering

Unsere Position. Für uns zählt der Harness mehr als das Modell. Das Modell ist ein Parameter, der Harness ist das System, in dem es läuft (The harness matters more than the model (öffnet in einem neuen Tab)). Ein Harness listet auf, was das Modell allein noch nicht zuverlässig kann. Ein guter Harness sagt deshalb ehrlich, wo er dem Modell nicht traut, nicht mehr und nicht weniger (What a harness is (öffnet in einem neuen Tab)).

Gates und Validierung müssen schneller skalieren als die Generierung. Agenten optimieren darauf, die Gates zu passieren, und schwache Gates machen aus hohem Volumen unbrauchbaren Output (Dark Factory Patterns). Mit dieser Investition verschiebt sich auch eure Arbeit als Engineers: Ihr baut die Factory, die das Produkt baut.

Eine Software Factory ist das stehende System, das daraus entsteht. Sie nimmt Arbeit an, verteilt sie an Agenten und prüft deren Output über Gates. Was besteht, gibt sie frei, und aus jedem Lauf lernt sie. Die Modelle reichen von Ticket-to-PR-Pipelines über Dark Factories bis zu Agent Companies, die als autonome Geschäftseinheiten laufen. Einen einzelnen Agenten zu bauen gehört zu Methoden und Frameworks, viele Agenten zu koordinieren zu Multi-Agent-Orchestrierung. Die Factory ist die Schicht über beiden.

Einstieg

• Harness-Grundlagen - Die Komponenten und Kontrollschichten, die aus einem Modell einen verlässlichen Engineering-Agenten machen.
• Harness-Pflege - Wie ihr Konfigurationsverfall verhindert, veraltete Mechanik entfernt und Anti-Patterns im Harness erkennt.
• Das Enabling Environment - Repository, Tooling, Feedback und Laufzeitbedingungen, von denen eine Software Factory abhängt.
• Das Software-Factory-Pattern - Wie ein Delivery-System aus einer Absicht ausgelieferte Software macht und wie ihr es messt.
• Factory-Rollen und Pipeline - Wie Orchestratoren, Worker und Validatoren Arbeit durch eine gestufte Produktionspipeline bewegen.
• Agent Observability - Was ihr über jeden Agentenlauf und jede Änderung an einem Agenten festhaltet, damit ihr eine Factory debuggen, auditieren und verbessern könnt.

Verwandte Seiten

• Dark Factory Patterns: die Patterns einer Factory, die läuft, ohne dass ein Mensch jeden Schritt freigibt.
• Das Software-Factory-Pattern: wie ihr das stehende System messt und was laufende Factories berichten.
• Das Enabling Environment: Laufzeit und Repository, von denen ein Harness abhängt.
• Agent Observability: die Aufzeichnung, mit der ihr einen Harness debuggt und nachschärft.
• Sicherheit und Runtime-Isolation: die Grenzen unterhalb des Agenten, die kein Harness ersetzen kann.
• Thin Harness: warum ein schlanker Harness Scaffolding abwirft, wenn jedes Modell-Release besser wird.

Quellen

Agent-Harnesses und Software Factories

• 8090 (öffnet in einem neuen Tab) - Software Factory für den gesamten SDLC, die vor dem Code ansetzt: bei Anforderungen, Architektur und Kontext. Sie füttert Agenten mit einem strukturierten Knowledge Graph und bringt Reverse-Engineering-Agenten für Legacy-Systeme mit.
• Agent Flywheel (öffnet in einem neuen Tab) - Installer, der mit einem Befehl einen frischen Cloud-Server in eine agentische Coding-Umgebung verwandelt, mit vorkonfiguriertem Claude Code, Codex und Gemini. Dazu kommt ein Leitfaden zur Methodik auf Basis von beads.
• Amazon Bedrock AgentCore (öffnet in einem neuen Tab) - Framework- und modellunabhängige AWS-Beispiele für Amazon Bedrock AgentCore. Das ist eine Reihe von Diensten, um KI-Agenten sicher und in großem Maßstab zu deployen und zu betreiben.
• Archon (öffnet in einem neuen Tab) - Open-Source-Harness-Builder, der KI-Coding-Workflows in YAML über Phasen definiert und sie über git worktrees parallel ausführt. Er bringt 17 eingebaute Workflows mit.
• Atomic (öffnet in einem neuen Tab) - MIT-lizenzierte, verifizierbare Coding-Agent-Runtime und CLI auf Basis von Pis CLI. Sie führt strukturierte Workflows durch explizite Stufen, Review-Gates und fortsetzbare Checkpoints und ist modellunabhängig.
• AutoForge (öffnet in einem neuen Tab) - Lang laufender autonomer Coding-Agent auf dem Claude Agent SDK. Er baut ganze Anwendungen über mehrere Sessions in einem Zwei-Agenten-Pattern und zeigt den Fortschritt in einer React-Oberfläche.
• AutoMaker (öffnet in einem neuen Tab) - Open-Source-Dev-Studio mit Kanban-Board, das Features an Agenten mit Claude übergibt. Diese implementieren, testen und committen in isolierten git worktrees.
• Awesome Harness Engineering (ai-boost) (öffnet in einem neuen Tab) - Kuratierte Liste zu Harness Engineering: Tools, Patterns, Evals, Memory, MCP, Berechtigungen, Observability und Orchestrierung.
• Awesome Harness Engineering (walkinglabs) (öffnet in einem neuen Tab) - Kuratierte Ressourcen zu Harness Engineering, gegliedert in Grundlagen, Kontext und Memory, Guardrails, Agent-Dateien, Evals, Benchmarks und Referenz-Runtimes.
• Background Agents (öffnet in einem neuen Tab) - Visueller Leitfaden und White Paper von Ona. Die These: Background Agents brauchen Cloud-Primitive, Sandboxing, Governance, Trigger und Flottenkoordination, die ein Laptop nicht bieten kann.
• Charlie Labs (öffnet in einem neuen Tab) - Gehostete Plattform mit Free Tier und bezahlten Plänen für ständig laufende KI-Daemons, die in Markdown definiert sind. Sie machen aus wiederkehrender Engineering-Wartung verifizierte, reviewbare Änderungen.
• Blitzy (öffnet in einem neuen Tab) - Autonomer Coding-Service für Enterprises, der Reasoning-Zyklen von 8-12 Stunden über viele Agenten fährt. Pro Lauf liefert er bis zu 3 Millionen Zeilen und zielt auf Legacy-Modernisierung.
• Clipboard: Tickets to Pull Requests While You Sleep (öffnet in einem neuen Tab) - Ein Engineer von Clipboard Health beschreibt eine Pipeline, die Backlog-Tickets über Nacht in reviewte Pull Requests verwandelt, während das Team schläft.
• Evo (öffnet in einem neuen Tab) - Apache-2.0-lizenzierter Autoresearch-Orchestrator, der eine Codebasis zur Optimierungsschleife macht. Er fährt eine Baumsuche mit parallelen Subagents in isolierten git worktrees und teilt Fehler-Traces.
• Factory (öffnet in einem neuen Tab) - Agent-native Entwicklungsplattform, deren Droid-Agenten aus einer CLI Missionen über den ganzen Software-Lebenszyklus ausführen. Sie positioniert sich als “your software factory”.
• Gas City (öffnet in einem neuen Tab) - MIT-lizenziertes SDK in der Linie von Gas Town. Damit baut, deployt und überwacht ihr eigene Dark Factories als kombinierbare Agent-Packs, gestützt auf den git-versionierten Dolt-Store.
• Harness (öffnet in einem neuen Tab) - Meta-Skill für Claude Code, der aus einer Domänenbeschreibung ein spezialisiertes Agententeam samt passenden Skills macht. Er nutzt dafür sechs Architektur-Patterns.
• Human (öffnet in einem neuen Tab) - KI-Software-Factory-Pipeline: Tickets, Docs, Designs und Analytics gehen hinein, reviewter Code kommt heraus. Claude macht die Arbeit, Menschen geben frei.
• Jig (öffnet in einem neuen Tab) - Framework für KI-Engineering-Workflows, gedacht für Teams statt für einzelne Entwickler:innen.
• Mercury Agent (öffnet in einem neuen Tab) - KI-Agent mit Tools unter gehärteten Berechtigungen, Token-Budgets und Zugang über zwei Kanäle (CLI und Telegram). Dazu kommen ein Daemon-Modus mit Crash-Recovery und LLM-Fallback über mehrere Provider.
• Meta-Harness (Stanford IRIS Lab) (öffnet in einem neuen Tab) - Referenz-Framework zum Paper des Stanford IRIS Lab. Es sucht automatisch nach aufgabenspezifischen Harnesses um ein festes Basismodell und nutzt Claude Code als Proposer.
• Metaharness (öffnet in einem neuen Tab) - Python-Bibliothek und CLI, die agentische Coding-Harnesses in iterativen Verbesserungsschleifen optimiert. Läufe liegen im Dateisystem, die Backends sind providerneutral.
• Omnigent (öffnet in einem neuen Tab) - Apache-2.0-lizenzierter Meta-Harness im Alpha-Stadium, der mehrere Agent-Frameworks hinter einer Orchestrierungsschicht vereint. So tauscht oder kombiniert ihr Harnesses ohne Umschreiben, mit Multi-Agent-Supervision.
• Ona (öffnet in einem neuen Tab) - Neuer Name von Gitpod (September 2025). Ona betreibt parallele Software-Engineering-Agenten in kurzlebigen, auf OS-Ebene isolierten Workspaces (Managed Cloud oder eure VPC), mit SSO/OIDC, RBAC und Audit Trails.
• Agent Factory (öffnet in einem neuen Tab) - GitHubs öffentlicher Showcase mit 100+ agentischen Workflows auf gh-aw. In Markdown definierte Agenten kompilieren zu eng begrenzten GitHub Actions, die Issues triagieren und CI-Fehler diagnostizieren.
• SWE-CI (öffnet in einem neuen Tab) - Benchmark aus 100 Aufgaben über Commit-Paare, der die langfristige Wartung einer Codebasis misst. Er läuft als CI-Schleife zwischen Architekt- und Programmierer-Agenten.
• Software Factory (Memo) (öffnet in einem neuen Tab) - Onas öffentliches Memo-Experiment baut ein Produkt komplett über verkettete Automationen wie Feature Planner, Builder, Verifiers und Incident Responder. Menschen steuern die Absicht.
• Super Simple Software Factory (öffnet in einem neuen Tab) - MIT-lizenzierter Skill, der Workflows aus Agenten und Code in jedes Repo stempelt. Python steuert Reihenfolge und Gates, Agenten laufen als begrenzte Phasen und arbeiten mit typisierten Envelopes.
• SwarmForge (öffnet in einem neuen Tab) - Plattform zur Agenten-Orchestrierung auf tmux-Basis, in Shell geschrieben. Sie koordiniert Schwärme von Coding-Agenten mit Isolation über git worktrees und unterstützt Claude, Copilot, Codex und Grok als Backends.
• Symphony (öffnet in einem neuen Tab) - Experimentelles Elixir-Framework von OpenAI, das Arbeitspakete aus Projektboards (z. B. Linear) in Implementierungsläufe autonomer Coding-Agenten verwandelt. Verifiziert wird über CI und PR-Reviews.
• claw-code (öffnet in einem neuen Tab) - Cleanroom-Neuimplementierung eines Coding-Agent-Harness in Rust und Python. Sie bringt MCP-Integration, Plugin-System, Hook-Pipelines, eine interaktive REPL und einen OAuth-API-Client mit.
• pi versus Claude Code (öffnet in einem neuen Tab) - Showcase mit 6+ angepassten Instanzen des Pi Coding Agent (öffnet in einem neuen Tab), die Agententeams, Ketten und Safety-Audits zeigen. Das Projekt versteht sich als Open-Source-Absicherung, um nicht allein von Claude Code abzuhängen.
• sgai (öffnet in einem neuen Tab) - Zielgetriebene KI-Software-Factory von Sandgarden in Go, die Multi-Agent-Workflows lokal in eurem Repository ausführt. Sie plant die Arbeit als visuelle Diagramme, die ihr vor der Ausführung freigebt.

Automationen der Memo-Factory

Alle Automationen aus Onas öffentlicher Memo-Software-Factory, eine YAML-Datei pro dauerhaft eingerichtetem Agenten.

• Memo-Automation Auditor (öffnet in einem neuen Tab) - Wöchentlicher Cron-Agent, der Performance und Label-Hygiene der übrigen Automationen prüft. Er aktualisiert Qualitätsnoten und schlägt bessere Prompts vor.
• Memo-Automation Bug Fixer (öffnet in einem neuen Tab) - Cron-Agent im Zwei-Stunden-Takt, der nach einem Health-Check der Umgebung das nächste offene Bug-Issue nimmt und autonom behebt.
• Memo-Automation Daily Metrics (öffnet in einem neuen Tab) - Cron-Automation aus Onas Memo-Software-Factory, die tägliche Projektstatistiken in einem JSON-Snapshot sammelt und einen Chore-Pull-Request öffnet.
• Memo-Automation Feature Builder (öffnet in einem neuen Tab) - Agent auf Cron und Merge-Webhook, der das nächste Feature aus dem Backlog autonom umsetzt und einen Pull Request öffnet.
• Memo-Automation Feature Planner (öffnet in einem neuen Tab) - Stündlicher Agent, der Issues ohne Label triagiert und die Produkt-Spec in gelabelte, nicht blockierende Backlog-Einträge zerlegt.
• Memo-Automation Feedback Digest (öffnet in einem neuen Tab) - Stündlicher Agent, der neues Feedback von Nutzer:innen und neue Nutzungsereignisse aus Supabase liest und einen kategorisierten Digest in Slack postet.
• Memo-Automation Incident Responder (öffnet in einem neuen Tab) - Stündlicher Sentry-Monitor, der neue Produktionsfehler nach Schwere triagiert, entweder zu Bug-Issues oder zu sofortigen Fixes.
• Memo-Automation Needs-Human Requeue (öffnet in einem neuen Tab) - Agent im Zwei-Stunden-Takt, der menschliche Antworten auf needs-human-Issues erkennt und das Label entfernt, damit der Planner neu triagiert.
• Memo-Automation PR Reviewer (öffnet in einem neuen Tab) - Agent auf Webhook und im Halbstunden-Takt, der Code reviewt, CI-Fehler behebt, Review-Threads auflöst und fertige Pull Requests merged.
• Memo-Automation PR Shepherd (öffnet in einem neuen Tab) - Agent im Zwei-Stunden-Takt, der festhängende, konfliktbehaftete oder doppelte offene Pull Requests findet und gegensteuert.
• Memo-Automation Performance Monitor (öffnet in einem neuen Tab) - Wöchentlicher Health-Check der Produktion für Endpoint-Latenz, Sentry-Fehlertrends und Build-Größe. Bei Regressionen legt er Issues an.
• Memo-Automation Post-Merge Verifier (öffnet in einem neuen Tab) - Agent auf Merge-Webhook, der nach Feature- und Fix-PRs das Produktions-Deploy abwartet und die Live-App per Smoke-Test prüft.
• Memo-Automation Product Improver (öffnet in einem neuen Tab) - Agent, der zweimal pro Woche Live-Produkt und Codebasis prüft und Verbesserungen als Issues anlegt. Verbesserungsvorschläge mit hohem Risiko warten auf menschliche Freigabe.
• Memo-Automation Stale Issue Reviewer (öffnet in einem neuen Tab) - Agent im Vier-Stunden-Takt, der Issues erkennt, die ohne Aktivität in progress feststecken. Er setzt sie ins Backlog zurück oder eskaliert.
• Memo-Automation Tweet Drafter (öffnet in einem neuen Tab) - Geplante Automation aus Onas Memo-Factory, die dreimal täglich Build-in-Public-Updates aus Repo-Metriken entwirft und auf X postet.
• Memo-Automation UI Verifier (öffnet in einem neuen Tab) - Agent auf Merge-Webhook, der geänderte UI-Dateien gegen die Design-Spec prüft, statisch und in der Live-App.
• Memo-Automation Weekly Recap (öffnet in einem neuen Tab) - Montags-Agent, der die gemergten PRs und Metriken der Woche für das Build-in-Public-Publikum zusammenfasst.

Agent Companies und Business OS

• Augment Code (öffnet in einem neuen Tab) - Software-Agent-Firma, deren Cosmos Menschen, Agenten, Code, Tools, Policies und Memory auf Organisationsebene koordiniert. Die Basis ist eine Context Engine mit sich aufbauendem Memory.
• Companies.sh (öffnet in einem neuen Tab) - CLI-Installer für den offenen Standard Agent Companies. Er importiert portable KI-Firmenpakete aus GitHub, URLs oder lokalen Ordnern in Orchestratoren wie Paperclip (paperclipai - Quellcode (öffnet in einem neuen Tab)).
• Multi-Agent Generator (öffnet in einem neuen Tab) - Low-Code-Tool in Python, das Beschreibungen in natürlicher Sprache in Multi-Agent-Teams für CrewAI, LangGraph, Agno und ReAct übersetzt. Es bringt fünf Orchestrierungs-Patterns und automatisch erzeugte Test-Suites mit.
• Multica (öffnet in einem neuen Tab) - Open-Source-Plattform, die Aufgaben an Coding-Agenten vergibt wie an menschliche Teammitglieder. Squads unter einem Leader sorgen für stabiles Routing, Autopilots planen wiederkehrende Arbeit.
• Paperclip (öffnet in einem neuen Tab) - Open-Source-Orchestrierung für KI-Agententeams als autonome Geschäftseinheiten. Sie bietet Organigramme, Budgets, Governance-Gates und Audit-Logs für jeden Agententyp.
• Polsia (öffnet in einem neuen Tab) - Autonomes KI-System, das eine Firma über koordinierte Agenten plant, programmiert und vermarktet. Die Agenten decken Planung, Entwicklung, Marketing und Betrieb ab.
• The Agentic Startup (öffnet in einem neuen Tab) - Commands, Skills und Agenten für Claude Code, gerahmt als virtuelles Engineering-Team.