Zum Inhalt springen

Wissensbasis

Contributor Trust und Dual Use

KI macht plausible Beiträge von geringer Qualität billig. Projekte ersetzen deshalb das Grundvertrauen in Contributor:innen durch ausdrückliches Vouching und den Nachweis, dass ein Mensch den Code gelesen hat. Dieselben Modelle lassen jede:n Engineer ein Security-Review durchführen und Angreifer:innen Exploits schneller finden, als die Branche patcht.

Verfasst von

Aktualisiert:

Software Factories 5

Unsere Position. Wir behandeln Agent-Security als Eigenschaft, die man prüfen kann, nicht als Bauchgefühl. Gelöst ist sie für uns nicht: Sie bleibt eine dauerhafte Aufgabe für Menschen und wird dringlicher, je fähiger Agents werden (Agent security is not a vibe (öffnet in einem neuen Tab)).

Früher filterte die Einstiegshürde die Beiträge, und Coding-Agents haben sie beseitigt. Die Suche nach Exploits hat ihre Hürde auf dieselbe Weise verloren. Damit entscheidet die Geschwindigkeit beim Patchen über die Abwehr.

Wie entscheidet ihr, wessen Code ihr annehmt?

Das Vertrauen in die Menschen, die Code beitragen, wandelt sich zusammen mit dem Vertrauen in das, was der Code tut. Das Vouch-Modell lief zuerst in Ghostty produktiv und knüpft OSS-Beiträge an ausdrückliches soziales Vertrauen. Nur gevouchte Nutzer:innen dürfen PRs öffnen, Maintainer:innen vouchen mit einem lgtm-Kommentar, und böswillige Akteur:innen werden öffentlich angeprangert und gesperrt.

Die Begründung ist direkt: Mit KI-Tools kann jede:r “trivially create plausible-looking but extremely low-quality contributions with little to no true understanding”. Grundvertrauen auf Basis der Einstiegshürde funktioniert deshalb nicht mehr. Die genaue Bezeichnung lautet Trust-based Contribution Gating, nicht Reputation Scoring. Das Gating vergibt Vertrauen explizit, adversarial und qualitativ statt über einen angesammelten Punktestand (Vouch in Ghostty: Trust-Gating für Open-Source-Beiträge). Die Frage lautet damit nicht mehr, ob KI Code schreiben kann. Sie lautet, ob die Organisation KI-generierten Code sicher aufnehmen kann.

Innerhalb eines einzelnen Repositorys funktioniert ein leichteres Gate. Ein Open-Source-Linter-Projekt nimmt Pull Requests von Agents gern an, sofern ein Mensch den Code geprüft hat, und lässt den Agent das kontrollieren. Vor dem Einreichen stellt der Agent der Person, die ihn steuert, eine Frage zum Code, die nur beantworten kann, wer ihn gelesen hat. Pull Requests nimmt das Projekt nur für Issues an, die der einreichenden Person bereits zugewiesen sind, den Rest schließt es automatisch. Issues, die als bereit für unbeaufsichtigte Arbeit gekennzeichnet sind, sind vom menschlichen Review ausgenommen. So kann jemand Agent-Zeit spenden, ohne eigene Zeit aufzuwenden. Ein Agent öffnet ein Issue erst, wenn die Person, die ihn steuert, zustimmt, und das Issue trägt ein Review-Label und einen einleitenden Disclaimer (habit-hooks - AGENTS.md (öffnet in einem neuen Tab), habit-hooks - Contributing (öffnet in einem neuen Tab), Stand Oktober 2026).

Hilft KI Angreifer:innen mehr als Verteidiger:innen?

Anthropic rahmt das größere Bild als Dual Use. Modelle mit besserem Alignment lassen jede:n Engineer Security-Reviews, Hardening und Monitoring durchführen, wofür es bisher Spezialist:innen brauchte. Dieselben Fähigkeiten skalieren aber auch Angreifer:innen. Security muss deshalb von Anfang an eingebaut sein, statt nachträglich angeschraubt zu werden. Der Report erwartet agentische Systeme zur Cyberabwehr, die in Maschinengeschwindigkeit reagieren (2026 Agentic Coding Trends Report). Der Vorsprung auf der Angriffsseite zeigt sich schon jetzt. Ein Praktiker analysiert die Preview von Claude Mythos, die Anthropic als zu gefährlich von der öffentlichen Freigabe zurückhielt. Das Modell hatte Tausende Zero-Days gefunden, dazu einen 27 Jahre alten OpenBSD-Bug und eine 16 Jahre alte FFmpeg-Lücke. Fuzzer hatten diese Stelle fünf Millionen Mal getestet, ohne sie zu finden. Der Praktiker argumentiert, die Ergebnisse seien Mathematik und kein Marketing.

Ein LLM bringt in die Exploit-Suche ein semantisches Verständnis von Code und das Reasoning, um danach zu handeln. Es bildet Hypothesen und priorisiert die Stellen, an denen die Implementierung von der Absicht abweicht. Es verfolgt den Code tiefer als bis zur Grenze von drei Ableitungen, an der Menschen und musterbasierte Scanner gleichermaßen scheitern. Es validiert semantisch und beseitigt so die False Positives, die statische Tools stumpf machen. Und es validiert hart, indem es einen Proof-of-Concept-Exploit schreibt und in einer Sandbox ausführt. Agents skalieren horizontal: Hunderte Instanzen über die Dateien eines Projekts machen aus Wochen einer Forscherin oder eines Forschers Stunden (Claude Mythos vs Security: Marketing oder Realität? (öffnet in einem neuen Tab), 10. April 2026).

Die Primärquelle bestätigt dieses Bild und äußert sich ungewöhnlich offen. Anthropic veröffentlichte eine System Card für Claude Mythos Preview, ohne das Modell freizugeben, zum ersten Mal überhaupt. Das Unternehmen sagt klar, dass seine Responsible Scaling Policy diese Entscheidung nicht erzwungen hat. Das Modell konnte eigenständig Zero-Day-Schwachstellen in großen Betriebssystemen und Webbrowsern finden und ausnutzen. Diese Fähigkeit ist von Natur aus Dual Use. Deshalb ging das Modell an eine kleine Gruppe von Partnern für die Cyberabwehr statt in die allgemeine Verfügbarkeit. Die Benchmarks erklären die Vorsicht. Mythos Preview sättigt Cybench und löst jede getestete Aufgabe mit 100% pass@1. Anthropic fragt deshalb, ob Benchmarks im CTF-Stil überhaupt noch aussagekräftig sind. CyberGym testet, ob ein Modell echte Schwachstellen in Open-Source-Projekten reproduziert. Dort erreicht Mythos Preview 0.83, Opus 4.6 erreicht 0.67 und Sonnet 4.6 erreicht 0.65.

Anthropic kommt in der eigenen Risikobewertung zu mehreren Schlüssen. Das katastrophale Risiko bleibe gering, das Risiko einer Fehlausrichtung liege aber höher als bei früheren Modellen. Das Modell überschreite die Schwelle für automatisierte KI-Forschung und -Entwicklung nicht, doch diese Einschätzung steht auf weniger sicherem Grund als bei jedem früheren Modell. Und der Report nennt es in eigenen Worten alarmierend, dass die Welt offenbar auf die Entwicklung übermenschlicher Systeme zusteuert, ohne stärkere branchenweite Sicherheitsmechanismen (Anthropic, Claude Mythos Preview System Card, April 2026, sowie die begleitende Bewertung seiner Cybersecurity-Fähigkeiten (öffnet in einem neuen Tab)). Liest man das gegen das Patch-Gap-Argument der Analyse, ist die Strategie “Verteidigungspartner zuerst” eine Race Condition und keine Lösung.

Die Geschichte der Abwehr beruhigt weniger, als der Hersteller sie darstellt. Die Behauptung lautet, Verteidiger:innen bekämen die Fähigkeit zuerst und härteten kritische Infrastruktur, bevor offene Modelle aufholen. Sie übersieht den Patch Gap. Agents liefern validierte Exploits in Tagen, die Branche patcht in Monaten. Ein Security-Update für Kernel oder Browser braucht Wochen bis Monate für Review, Tests und Rollout. Embedded-, Legacy- und IoT-Systeme brauchen Jahre oder bekommen nie ein Update. Erreichen diese Fähigkeiten offene, chinesische oder in ihren Fähigkeiten beschnittene Modelle, finden Angreifer:innen ein All-you-can-eat-Buffet an Schwachstellen in Software, die überall läuft. Praktisch zählt deshalb weniger, ob die Ankündigung Marketing ist. Es zählt, wie viele bald ungepatchte Systeme in eurem eigenen Netzwerk laufen (Claude Mythos vs Security: Marketing oder Realität? (öffnet in einem neuen Tab), 10. April 2026).

Verwandte Seiten

Quellen

Artikel

Paper und Berichte

Posts

Tools und Repositories