Sicherheit und Runtime-Isolation

Unsere Position. Eine Regel in einem Skill behandeln wir als höfliche Bitte. Ein Hook filtert nur die Aufrufe, für die er geschrieben wurde. Keins von beiden ist also eine Grenze. Für das, was nie passieren darf, nehmt eine Sandbox, die schon begrenzt, was der Agent überhaupt erreicht (A hook is not a boundary (öffnet in einem neuen Tab)). Jede Automation braucht außerdem einen geschriebenen Satz zum schlimmsten Schaden, den sie anrichten kann. Wenn ihr diesen Satz nicht schreiben könnt, lasst sie nicht unbeaufsichtigt laufen (Sandbox and blast radius (öffnet in einem neuen Tab)).

Entscheidend ist der Unterschied zwischen Guardrails und Garantien. Guardrails bitten den Agenten, sie einzuhalten. Garantien wirken auf einer Ebene, die der Agent nicht erreicht, etwa als Durchsetzung im Kernel (Das Enabling Environment).

Neben dem Vertrauen in das, was Code tut, verschiebt sich das Vertrauen in die Leute, die ihn beitragen. KI-Tools machen plausible Beiträge von geringer Qualität billig. Open-Source-Projekte gehen deshalb von Vertrauen als Standard zu ausdrücklichem Vouching über. Mit denselben Modellen kann jede:r Engineer ein Security-Review fahren. Dieselben Modelle finden und nutzen Zero-Days aber auch schneller aus, als Patches nachkommen (Contributor Trust und Dual Use).

Einstieg

• Contributor Trust und Dual Use - Wie KI das Vertrauen in Beiträge verändert und dabei Angreifer:innen wie Verteidiger:innen stärkt.

Verwandte Seiten

• Contributor Trust und Dual Use: wie KI verändert, wessen Code ihr annehmt und wer Exploits zuerst findet.
• Das Enabling Environment: die Runtime, die für diese Kontrollen zuständig sein muss.
• Sicherheit autonomer Coding-Agents: wie ein einzelner Coding-Agent gegen seine Nutzer:innen gewendet wird.
• Architektur agentischer Systeme: eine Zero-Trust-Haltung gegenüber jedem Agenten im Design.
• Federated Factory im Enterprise-Maßstab: die Kontrollen für Gateway, Identität und Audit im Enterprise-Maßstab.

Quellen

Security & Compliance

• AgentShield (öffnet in einem neuen Tab) - Security-Scanner für KI-Agenten, der Schwachstellen in Agent-Konfigurationen, MCP-Servern und Tool-Berechtigungen findet. Er kommt als CLI, GitHub Action, ECC-Plugin und GitHub App.
• Aikido (öffnet in einem neuen Tab) - Suite für Anwendungssicherheit mit SAST, SCA, Secret-Erkennung, Cloud- und Runtime-Schutz. KI-Auto-Fix-PRs und Triage senken das Alarmrauschen.
• Assessing Claude Mythos Preview’s cybersecurity capabilities (öffnet in einem neuen Tab) - Anthropics eigener Bericht über das Frontier-Modell, das es nicht allgemein veröffentlichte. Das Modell hatte autonom Zero-Days in großen Betriebssystemen und Browsern gefunden und ausgenutzt.
• Betterleaks (öffnet in einem neuen Tab) - Secret-Scanner in Go von den Gitleaks-Autor:innen. Er kombiniert Regex-Regeln mit BPE-Token-Effizienzfilterung und prüft Zugangsdaten live per HTTP. Er deckt Git-Historie, Verzeichnisse und stdin ab, dazu GitHub, GitLab, Hugging Face und S3. Er läuft direkt auf einer bestehenden .gitleaks.toml.
• ChatGPT Security Prompts (öffnet in einem neuen Tab) - Kuratierte ChatGPT-Prompts für Offensive Security, darunter ein “Absolute Mode” für direkte, knappe Antworten.
• Claude Code Security Review (öffnet in einem neuen Tab) - GitHub Action, die Claude auf Diffs ansetzt. Sie markiert Injection-, Auth- und andere Schwachstellen mit sprachübergreifender Kontextanalyse.
• ClawPatrol (öffnet in einem neuen Tab) - MIT-lizenzierte Security-Firewall von Deno, die den Verkehr zwischen KI-Agenten und Produktionssystemen vermittelt. HCL-basierte Regeln auf Wire-Ebene blockieren destruktive Befehle.
• ComplyDo (öffnet in einem neuen Tab) - Compliance-Plattform, die Regulierungen (DORA, NIS2, DSGVO) auf interne Kontrollen, Richtlinien und Nachweise abbildet. Ein Compliance-Graph zeigt Lücken und hält die Audit-Bereitschaft.
• Defending Code Reference Harness (öffnet in einem neuen Tab) - MIT-lizenzierte Referenzimplementierung von Anthropic für autonomes Finden und Beheben von Schwachstellen in C/C++-Bibliotheken über eine siebenstufige Pipeline. Sie ist ungewartet veröffentlicht, Claude Security ist die gemanagte Alternative.
• Fence (öffnet in einem neuen Tab) - GitHub Action in Rust unter MIT, die CI-Jobs mit Egress-Filterung nach Deny-by-default und einem Audit-Modus härtet. Ein Runner-Lockdown schaltet passwortloses sudo und Docker ab. Frühe Entwicklung.
• Ghostty Vouch integration (PR #10559) (öffnet in einem neuen Tab) - Erster Produktionseinsatz des Vouch/Denouncement-Modells in einem OSS-Projekt (gemergt am 2026-02-15). Er fügt .github/vouch/, AGENTS.md und AI_POLICY.md hinzu, nachdem KI-generierte Beiträge geringer Qualität das Standardvertrauen in OSS gebrochen hatten.
• Guardrails AI (öffnet in einem neuen Tab) - Open-Source-Framework in Python, das LLM-Anwendungen Validierung von Ein- und Ausgaben und Sicherheits-Guardrails gibt.
• Hey Jude (öffnet in einem neuen Tab) - Privacy-Gateway für juristische LLM-Workflows. Es entfernt personenbezogene Daten, bevor Prompts eure Umgebung verlassen, und setzt sie in den Antworten wieder ein. Standardmäßig läuft es vollständig lokal über Ollama.
• LaneKeep (öffnet in einem neuen Tab) - Governance-Schicht für Coding-Agents, die jeden Tool Call durch eine 9-stufige Pipeline schleust. Regeln und Budgets setzt sie über einen PreToolUse-Hook von Claude Code durch.
• MALUS (öffnet in einem neuen Tab) - “Clean Room as a Service”, der npm-Pakete aus öffentlicher Doku unter der Lizenz MalusCorp-0 neu implementiert. So entfallen AGPL- und Attributionspflichten. Abgerechnet wird pro KB.
• Mobb (öffnet in einem neuen Tab) - Plattform für automatisierte Behebung von Schwachstellen. Sie nimmt SAST- und SCA-Befunde auf und erzeugt geprüfte Code-Fixes als PRs, ohne Quellcode hochzuladen. Ein kostenloser Open-Source-Fixer ist dabei.
• NeMo Guardrails (öffnet in einem neuen Tab) - Open-Source-Toolkit von NVIDIA, das LLM-Konversations-Apps programmierbare Sicherheits- und Themen-Rails gibt.
• Onyx Security (öffnet in einem neuen Tab) - Enterprise-Control-Plane für KI-Agenten mit Discovery, Durchsetzung von Richtlinien, Sicht auf Schatten-KI und ROI-Tracking über SaaS, Cloud und Endgeräte.
• OpenAI Guardrails (öffnet in einem neuen Tab) - Python-Bibliothek von OpenAI, die Agent-Workflows konfigurierbare Sicherheits- und Validierungs-Guardrails gibt.
• Protum (öffnet in einem neuen Tab) - Selbst hostbares Governance-OS für KI, das Compliance mit euren Agenten ausliefert. Es automatisiert Richtlinien, Assessments und Trust Records gegen Frameworks aus Singapur (MAS, IMDA, PDPA).
• Rubrik (öffnet in einem neuen Tab) - Suite für Cyber-Resilienz von Daten, Identitäten und Workloads. Dazu kommen Rubrik Agent Cloud für die Governance von KI-Agenten und Agent Rewind, das destruktive Agent-Aktionen rückgängig macht.
• Security Scanning Skills (öffnet in einem neuen Tab) - Skill-Paket für Claude Code für Security-Arbeit. Es deckt Angriffsbäume, SAST-Konfiguration, STRIDE-Analyse, Zuordnung von Gegenmaßnahmen zu Bedrohungen und das Ableiten von Security-Anforderungen ab.
• SynthAPT (öffnet in einem neuen Tab) - Framework für Adversary Simulation, das Angriffspfade aus JSON-Playbooks nachspielt. Dazu gehören ein TUI-Editor und ein Claude-Agent, der natürliche Sprache in Playbooks übersetzt.
• Mobb (öffnet in einem neuen Tab) - Observability-Plattform für KI-Code. Sie verfolgt, welcher Code KI-generiert ist, von welchem Agenten oder Modell und mit welchen Prompts. Führungskräfte bekommen so Audit Trails.
• Vouch (öffnet in einem neuen Tab) - Forge-unabhängiges Vertrauens-Gate für OSS-Beiträge. Maintainer:innen bürgen per “lgtm”-Kommentar für Nutzer:innen, schlechte Akteur:innen werden “denounced”. Durchgesetzt wird das über eine Nushell-CLI.
• Walled AI (öffnet in einem neuen Tab) - Enterprise-Governance-Schicht, die sensible Daten maskiert, Prompt Injections blockiert und Ausgaben validiert. Sie arbeitet mit jedem LLM unter 30 ms Latenz und lässt sich on-premises betreiben.
• Zero Trust for AI Agents (öffnet in einem neuen Tab) - Security-Framework von Anthropic für autonome Agenten: Least Agency, der Designtest, ob etwas unmöglich oder mühsam ist, drei Fähigkeitsstufen und ein Workflow für die Umsetzung.
• Zero Trust Architecture (NIST SP 800-207) (öffnet in einem neuen Tab) - Der Standard, auf dem die Agent-Frameworks aufbauen. Von hier stammt die Prämisse, nichts zu vertrauen, alles zu prüfen und von einem Einbruch auszugehen.
• deepsec (öffnet in einem neuen Tab) - Agentengestützter Schwachstellenscanner von Vercel Labs für große Codebasen. Er verteilt die Arbeit auf parallele Worker und setzt unterbrochene Läufe fort. Verteilte Scans laufen auf microVMs von Vercel Sandbox.
• nono (öffnet in einem neuen Tab) - Im Kernel durchgesetzte Sandbox für Coding-Agents, geschrieben in Rust. Sie schränkt mit Isolation auf OS-Ebene (macOS Seatbelt, Linux Landlock) Dateisystem, Netzwerk und gefährliche Befehle ein.

Cloud Native

• K8sGPT (öffnet in einem neuen Tab) - KI-Assistent, der Probleme in Kubernetes-Clustern von innen diagnostiziert und Fixes vorschlägt.
• Metoro (öffnet in einem neuen Tab) - SRE-Produkt für Kubernetes, das Incidents erkennt und Ursachen aus Live-Traffic findet. Es prüft Deployments und schlägt Fixes vor, neben APM, Logs und Infrastruktur-Monitoring.
• Render (öffnet in einem neuen Tab) - Cloud-Hosting für Webservices, statische Sites, Cron Jobs, Background Worker und gemanagte Datenbanken, mit Git-getriebenen Deploys und Autoscaling.
• kagent.dev (öffnet in einem neuen Tab) - Open-Source-Framework, mit dem DevOps- und Plattformteams KI-Agenten für Betrieb und Fehlersuche in Kubernetes laufen lassen.

Dateninfrastruktur

• Anythink CLI (öffnet in einem neuen Tab) - Open-Source-CLI in .NET für das Headless-Backend Anythink. Sie verwaltet Entitäten, Daten, Workflows, Nutzer:innen, Dateien und Stripe-Zahlungen. Dazu kommen Multi-Projekt-Support, OAuth und ein MCP-Server.
• CocoIndex (öffnet in einem neuen Tab) - (cocoindex.io (öffnet in einem neuen Tab)) Inkrementelles Daten-Framework (Python-API, Rust-Kern), das Kontext für Agenten mit langem Horizont und für RAG baut. Es nutzt Change Data Capture, Indexierung in Echtzeit und semantische Suche.
• Convex (öffnet in einem neuen Tab) - Reaktives Backend-as-a-Service mit Echtzeit-Sync, ACID-Transaktionen, Server-Funktionen, geplanten Jobs, Dateispeicher und Volltextsuche in einem TypeScript-nativen Stack.
• Dolt (öffnet in einem neuen Tab) - SQL-Datenbank mit Branching, Merging, Diffing und Cloning von Daten wie in Git, voll MySQL-kompatibel.
• DuckLake (öffnet in einem neuen Tab) - Offenes Tabellenformat, das Metadaten und Daten in einer DuckDB-Datenbank hält, mit ACID-Transaktionen und Time Travel. Ein separater Katalog entfällt.
• Kreuzberg (öffnet in einem neuen Tab) - (kreuzberg.dev (öffnet in einem neuen Tab)) Framework für Document Intelligence mit Rust-Kern. Es extrahiert Text, Metadaten, Bilder, Tabellen und Struktur aus PDFs, Office-Dokumenten und 97+ Formaten.
• MinerU (öffnet in einem neuen Tab) - Dokumentparser, der PDFs, Office-Dateien und Bilder über ein VLM plus OCR-Engine in LLM-taugliches Markdown und JSON umwandelt. Eigene, auf Apache 2.0 basierende Lizenz (früher AGPLv3).
• PostHog (öffnet in einem neuen Tab) - Open-Source-Plattform für Product Analytics mit Event- und Web-Analytics, Session Replay, Feature Flags, Experimenten und einem per SQL abfragbaren Data Warehouse. Selbst gehostet oder gemanagt, mit nutzungsbasierter Abrechnung.

Sandboxes und Dev-Umgebungen

• Agent Flywheel (öffnet in einem neuen Tab) - Open-Source-Skript, das einen frischen Cloud-Server in einen Host für Coding-Agents verwandelt. Claude Code, Codex, Gemini und 30+ Entwickler-Tools sind vorinstalliert.
• AgentBox (öffnet in einem neuen Tab) - Erzeugt einen meinungsstarken Devcontainer, der für Claude Code vorkonfiguriert ist.
• Agents CLI Sandbox (öffnet in einem neuen Tab) - Containerisierte Umgebung, in der die Claude-Code-CLI isoliert läuft.
• CachyOS (öffnet in einem neuen Tab) - Auf Performance getrimmte Arch-Linux-Distribution mit CPU-spezifischen Paket-Builds und Anpassungen am Kernel-Scheduling.
• Claude Docker (öffnet in einem neuen Tab) - Docker-Container, der Claude Code mit vollen Berechtigungen, vorverdrahteten MCP-Servern und Twilio-Benachrichtigungen ausführt.
• ClaudeBox (öffnet in einem neuen Tab) - Docker-Image und Profile, mit denen Claude Code in einem reproduzierbaren Container mit vorgefertigten Entwicklungs-Stacks läuft.
• Coder (öffnet in einem neuen Tab) - Selbst gehostete Cloud-Entwicklungsumgebungen mit Kontrollen für Coding-Agents im großen Maßstab: Agent-Berechtigungen, Audit-Logging und Compliance.
• Daytona (öffnet in einem neuen Tab) - Open-Source-Infrastruktur für KI-generierten Code. SDKs für Python und TypeScript starten isolierte Linux-Sandboxes in Millisekunden. Selbst gehostet oder gemanagt.
• Dev Containers Spec (öffnet in einem neuen Tab) - Offene Spec, um einen Container als vollständige Entwicklungsumgebung zu nutzen. Sie steht hinter VS Code Dev Containers und GitHub Codespaces.
• E2B (öffnet in einem neuen Tab) - Cloud-Sandboxes auf Firecracker-microVMs für KI-Agenten, mit Start unter 200 ms, 24-Stunden-Sessions und Runtimes für mehrere Sprachen. Perplexity und Hugging Face nutzen es.
• Hyperlight (öffnet in einem neuen Tab) - Schlanker Virtual Machine Manager in Rust unter Apache-2.0. Er führt nicht vertrauenswürdigen Code in Micro-VMs mit Start im Millisekundenbereich aus und bettet sich direkt in Host-Anwendungen ein. CNCF-Sandbox-Projekt, vor 1.0.
• LLM Sandbox (öffnet in einem neuen Tab) - Python-Bibliothek, die LLM-generierten Code in Docker, Kubernetes oder Podman ausführt. Sie bietet mehrere Sprachen, Ressourcenlimits, Artefakt-Extraktion, Container-Pooling und einen MCP-Server.
• LiteLLM Agent Platform (öffnet in einem neuen Tab) - Selbst gehostete Infrastruktur von BerriAI, die Coding-Agents in isolierten Kubernetes-Sandboxes ausführt. Ein Credential Vault gibt Agenten Stub-Zugangsdaten und verbirgt die echten API-Keys.
• Modal Sandboxes (öffnet in einem neuen Tab) - Proprietärer, kostenpflichtiger Cloud-Dienst für isolierte Container, die Agent- und RL-Code im großen Maßstab ausführen. Er bietet Scheduling unter einer Sekunde, 100k+ parallele Sandboxes und sekundengenaue Abrechnung.
• Mole (öffnet in einem neuen Tab) - Wartungs-CLI für macOS in Shell und Go unter GPL-3.0. Sie bündelt Aufräumen, Deinstallieren von Apps, Festplattenanalyse und Live-Performance-Monitoring und ersetzt mehrere kostenpflichtige Apps.
• Omarchy (öffnet in einem neuen Tab) - Meinungsstarkes Setup aus Arch Linux und Hyprland für Entwickler:innen.
• OpenSandbox (öffnet in einem neuen Tab) - Allgemeine Sandbox-Plattform für KI-Anwendungen mit SDKs für mehrere Sprachen. Isoliert wird über gVisor, Kata Containers oder Firecracker. Apache 2.0, gelistet in der CNCF Landscape.
• Projects.dev (öffnet in einem neuen Tab) - CLI von Stripe, die Hosting, Datenbanken, Auth, KI und Analytics an einer Stelle bereitstellt. Zentrale Zugangsdaten und Konfigurationen lassen sich zwischen Rechnern, Teams und Agenten mitnehmen.
• Sandcastle (öffnet in einem neuen Tab) - TypeScript-Bibliothek unter MIT, die Coding-Agents über sandcastle.run() in isolierten Sandboxes von Docker, Podman oder Vercel orchestriert. Branch-Strategien mergen die Agent-Commits zurück.
• Sprites (öffnet in einem neuen Tab) - Hardware-isolierte Firecracker-VMs für KI-Agenten und nicht vertrauenswürdigen Code, mit persistenten Dateisystemen, Checkpoint/Restore und Abrechnung nach Nutzung.
• cplt (öffnet in einem neuen Tab) - Sandbox-Wrapper in Rust unter MIT, der Coding-Agents (Copilot, OpenCode, Gemini, Pi) unter Durchsetzung im Kernel ausführt (macOS Seatbelt, Linux Landlock). So können sie keine Secrets lesen und nichts über Egress abfließen lassen.
• exe.dev (öffnet in einem neuen Tab) - Persistente Linux-VMs in der Cloud zum Pauschalpreis von $20/Monat, für Entwickler:innen und KI-Agenten, die eine deploybare Runtime brauchen. Shelley, der eigene Coding-Agent, ist dabei.
• just (öffnet in einem neuen Tab) - Command Runner im Stil von Make, gebaut für Projektbefehle. Er bietet Rezeptparameter, dotenv-Laden und plattformübergreifende Shell-Completion.