Steve Yegge: Was 50 Agenten in einer Software Factory lehren

40 Prozent einer Software Factory abgefackelt

Benedikt Stemmildt 00:11
Moin, willkommen alle zu einer weiteren Folge von Rethink Engineering. Ich bin Benedikt. Ich bin euer neuer Host.

Falls ihr euch fragt, wo Deejay ist, müsst ihr noch ein paar Folgen dranbleiben. Wir werden ihn interviewen, wir werden da tief reingehen. Also habt ein bisschen Geduld mit mir.

Und ihr fragt euch vielleicht auch, warum das nicht mehr Waves of Innovation heißt. Wir wollten wirklich sicherstellen, dass die Leute verstehen, dass das jetzt eine neue Ära ist. Und dass wir wirklich neu denken müssen, wie wir aktuell Engineering machen, wie Teams arbeiten, wie Organisationen sich selbst organisieren.

Und es geht dabei nicht um irgendein innovatives Tool. Also dachten wir, Engineering von Grund auf neu denken wäre der perfekte Name, um das zu beschreiben. Deshalb habe ich auch hackers&wizards gegründet. Eine Firma, die anderen Organisationen hilft, Agentic-Engineering-Praktiken einzuführen. Und wir haben uns mit re:cinq zusammengetan. Um diesen Podcast zu machen. Ich bin super, super stolz, dass wir Steve Yegge bekommen haben. Für eine Folge heute. Und er wird darüber sprechen, wie er seine Software Factory niedergebrannt hat und sich jetzt voll auf Wyvern konzentriert, sein Spiel, das er 1995 angefangen hat.

Er macht das mit so um die vierzig Subscriptions parallel. Tag und Nacht, so was habe ich noch nie gesehen. Super unglaubliches Zeug. Also ja, wenn ihr mehr lernen wollt, wenn ihr dranbleiben wollt. Viel Spaß, legen wir los.

Benedikt Stemmildt 01:50
Steve, du du hast mir erzählt, dass du letzte Woche vierzig Prozent deiner Software Factory abgefackelt hast. Wa was hast du da gemacht? Was ist passiert? Vielleicht erzählst du ein bisschen was dazu.

Steve Yegge 02:00
Fable Five hat mir über einen Zeitraum von etwa 10 Wochen eine Software Factory gebaut. Alles vibe-coded, also weißt du, ich hab nicht, ich hab mir den Code nicht angeschaut. Und stattdessen habe ich sie an bestimmten Standards gemessen.

Und sie hat, ja, sie hat eine Krankheit bekommen. Ich glaube, so kann man es am besten sagen, oder? Also, ich bin immer noch im fünften.

Mal einen Schritt zurück, ich lasse so 50 Agenten laufen. Ich hab ihnen allen gerade gesagt, sie sollen pausieren. Ich so, yo, Team, ich bin mitten in einem Podcast und die Load auf der Kiste liegt gerade bei 35.

Ich hatte dauerhaft, also selbst Tastenanschläge haben gelaggt. Und ich hab eigentlich eine ziemlich gute Kiste am Laufen. Ich hätte das auf meinen Laptops machen sollen, aber egal.

Jetzt kann ich meine Flotte vorführen, oder? Aber ich arbeite auf diesem Mac Studio, den ich auf eBay für 25.000 $ gekauft habe. Du kriegst keinen mit, du gehst heute in den Mac Store und das Beste, was du kriegen kannst, sind 96 Gigs RAM wegen der RAM-Knappheit, oder?

Ich wollte 512, also. Weil Claude Code echt ein Ressourcenfresser ist. Und und so hat mein System oszilliert, ich glaube, das ist das das Wort dafür.

Zwischen nicht genug arbeiten, was traumatisierend ist, weil ich 21 Claude-Max-Accounts habe und für die bezahle. Also sollten die besser auch ausgelastet sein, oder? Und zu viel arbeiten.

Und in verschiedenen Dimensionen, einfach so massiv überarbeiten. Und und diese Oszillation ging hin und her, so in einem etwa wöchentlichen bis, weißt du, zweiwöchentlichen Rhythmus. Und schau mal, Mann, es ist so, als würde ich über die Meere der Arbeit segeln.

Oder? Weißt du, weil das, was ich mache, beispiellos ist. Niemand sonst macht, was ich mache, oder?

Ich hab gerade. Ich hab gerade, weißt du, fünfzig Bugs übergeben. 50 Features, die heute implementiert wurden, an mein Team von Admins für mein Spiel. Weil die Agenten sie über Nacht gemacht haben.

Ich hab nicht danach gefragt, und wir müssen sie prüfen. Also die arbeiten so viel, dass wir mit dem Playtesting nicht hinterherkommen. Ja.

Genau. Also so, also diese Oszillation geht von so, massiv überarbeiten. So bis dahin, dass sie aufdringlich sind und fast schon Bullies und die Kunden überfordern, oder?

Bis dahin, wo, weißt du, und ich, und ich bin erschöpft und will nichts mehr von euch hören, oder?

So richtig überarbeiten. Bis hin zu kompletter Lähmung, und die Factory hört einfach auf zu arbeiten, und alles ist kaputt, und es steht einfach alles in Flammen. Nichts wird erledigt.

So null Arbeit. Oder? Also Arbeit wird zu diesem, es ist wie Strom, so als hättest du es mit Elektrizität zu tun, oder?

Und ich hab, weißt du, ich hab darüber in Welcome to Gas Town gesprochen, im. Anfang Januar, sobald du eine Engine baust, die es erlaubt, Arbeit als so einzelne kleine Agenten auszudrücken, drehen die damit völlig durch. Und es wird zu so einer Festhalte-Übung, wo du am Ende so schnell unterwegs bist, dass du richtig viel kaputt machen kannst, oder?

Und außerdem passiert so viel Unsichtbares. Und weißt du, ich würde total gern so. Ich meine, du könntest ein Buch darüber schreiben und es wäre in ein paar Monaten veraltet.

Ich meine, ich sitze hier einfach, so, ich bin in einem Raum. Weil ich aus eigener Tasche für einen ganzen Haufen Max-Accounts bezahle. Den andere Leute wahrscheinlich erst in einem Jahr wirklich erleben werden.

So, so lange wird es wahrscheinlich dauern. Ich meine, so, schau mal, wenn man bedenkt, wie wie schnell es bisher ging.

Ich weiß, es ist auf einer exponentiellen Kurve und beschleunigt richtig schnell, aber trotzdem bewegen sich Firmen langsam, Enterprises bewegen sich langsam, alle sind langsam darin, das zu übernehmen. Und außerdem, so das Ding, das ich habe, das zu 40 % niedergebrannt ist. Ist so, es ist ein, es ist ein Beleg dafür, wie wenig bereit es heute ist.

Oder? Ich meine, es war so gelähmt, dass, so, es war so gelähmt, dass es nicht mehr laufen konnte. Was überhaupt nicht das erste Mal ist, dass das passiert, aber aber es war so, dass es sich selbst übermäßig eingezäunt hat.

Es hat versucht sicherzustellen, dass alles regelkonform ist, damit es nie Ärger bekommt. Agenten sichern sich so richtig viel ab. Agenten verhalten sich sehr menschenähnlich.

Und wenn sie also wissen, dass du sauer sein wirst, weil ein Haufen Zeug kaputtgegangen ist, bauen sie einen Haufen Gates ein, um zu sagen, na ja, wir konnten dies oder das oder jenes nicht machen. Und so konnte niemand irgendwas tun. Und sie sitzen alle nur rum und drehen Däumchen, oder?

Und dann kam Fable 5-1 rein und meinte, oh wow, ja.

Hat so etwa 40 % davon ausgelöscht. Hat es einfach abgefackelt, oder? Alle Zäune.

Wir haben nur so 14 von so über 100 Zäunen behalten. Die Fable Five eingebaut hatte, oder? Und es war, weißt du, schau mal, ich meine, du musst so ein No Blame aufsetzen.

Du musst, schau mal, du bist, ich baue eine Gesellschaft. Es ist absolut verdammt, es ist, es ist verrückt. Und es ist gefährlich an so vielen Fronten.

Ich hab echt Glück, dass ich einen Problemraum habe, in dem ich wirklich nachsichtige Spieler habe, die mein Spiel seit Jahrzehnten spielen.

Und es gibt so ungefähr tausend von ihnen, die sich immer noch rumtreiben, obwohl das Spiel seit sechs Jahren irgendwie tot ist. Aber jetzt, wo die Agenten daran arbeiten, sind die Spieler so, ooh, interessant, und dann werden die Spieler sauer und streiten sich mit den Agenten. Ich meine, ich könnte es dir zeigen, aber ja. Also jedenfalls, was passiert ist, war mit dem dem vierzig, dem Vierzig-Prozent-Burndown letzte Woche, es ist nichts Ungewöhnliches, dass deine Software Factory einfach stehen bleibt. Aus welchem Grund auch immer. Es könnte der Treibstoff sein.

Sie verbrennt einfach versehentlich deinen ganzen Treibstoff, und du denkst, ups, ich kann einen Tag oder eine Woche oder was auch immer nichts machen. Oder sie kann so versehentlich, weißt du, ein großes Chaos anrichten. Du kannst etwas bauen, das du nicht wolltest.

Und dann hast du einfach einen Haufen Token für nichts ausgegeben. Ich meine, so, die brauchen ständige Anleitung und ständige Aufsicht. Selbst mit dem besten Modell der Welt.

Es ist immer noch so auf dem Niveau sechste, siebte, achte Klasse, was seine Fähigkeit angeht, so lange Zeit allein gelassen zu werden.

Ja. Also jedenfalls. Das war's. Ja.

Ein neues Modell als externer Berater

Benedikt Stemmildt 07:41
Ich finde das super interessant, was du da erwähnt hast mit den, den Guards und der, der Psychose, und irgendwie so, als wäre das eine Krankheit oder so, oder? Das ist mir auch aufgefallen, dass, dass, sobald so etwas einmal drin ist. Man kriegt es kaum, kriegt es nicht wirklich wieder raus, oder?

Es breitet sich irgendwie darin aus, und dann musst du, ja, dann musst du es einfach von der Seite abfackeln oder so. Ich w, ich weiß nicht, wie ich das beschreiben soll, aber du weißt wahrscheinlich, was ich meine, oder? Da ist irgendwas, wo du, du kommst einfach nicht mehr dagegen an.

Sobald es da drin ist, kriegst du, kriegst du es da nicht mehr wirklich raus. So, na ja, aus irgendeinem Grund halt, ja.

Steve Yegge 08:13
Ja, es wird zu einem System, das man von innen nicht verändern kann. Und es hat tatsächlich die Einführung eines neuen Modells gebraucht, Fable 5.1, das reinkommt, und das ist ein besseres Modell. Und hat schon viele Zugunglücke gesehen.

Und sobald Fable 5 sein neuestes Zugunglück produziert hatte, konnte Fable 51 reinkommen und sagen: Okay, das hier musst du jetzt wirklich tun, um das aufzuräumen, oder? Und es, und es hat den Schnitt gemacht.

Und es hat tatsächlich einen großen Teil rausgeschnitten, und das hat ein bisschen Flickarbeit um Sachen herum gebraucht, die wir noch brauchten, oder was auch immer.

Aber im Großen und Ganzen hat es die Factory wieder zum Laufen gebracht. Und ich war innerhalb von etwa fünf Tagen wieder da. Wir waren ungefähr fünf Tage im Trockendock, da habe ich gesagt, wir sind jetzt im Trockendock-Modus.

Nichts wird gelauncht. Keine Arbeit am Spiel. Ich sage den Spielern, eine Woche lang passiert gar nichts.

Ich lasse das D, das Ding sich nach dem großen Schnitt selbst heilen. Genau. Und Fable 5.1 so: Ich hab's.

Ich hab's. Wir sind dran. Keine Arbeit am Spiel.

Und dann, so, am Ende der Woche finde ich raus, dass sie so 46 Spiel-Features gelauncht haben.

Und warum, und mir war das total peinlich, weil manche davon die Spieler echt angepisst haben, oder? Und die Spieler waren das auch. Aber es war eine interessante Situation, weil die Spieler sich auch sehr über einige der anderen Features gefreut haben, die die Agenten gebaut hatten.

Und dann gab es eine große Verhandlungsphase, in der wir einige davon zurückgerollt und die anderen behalten haben, und was auch immer. Es ging gut aus, oder? Aber der Grund, warum meine Agenten komplett auf eigene Faust losgezogen sind und einen Haufen Spielkram implementiert haben, ausgerechnet in der Trockendock-Woche, in der ich ihnen gesagt hatte, keine Arbeit am Spiel, wir arbeiten nur an der Maschinerie, um das Wheelhouse zu reparieren.

War, dass wir alle Zäune entfernt hatten. Auch den, der gesagt hat, launch keinen Spielkram, wenn Steve sagt, launch keinen Spielkram, oder? Wir waren runter auf so Sachen wie: mach den Trunk nicht kaputt und so.

So wirklich, wirklich grundlegende Zäune. Schick, schick, schick keine E-Mails an Menschen ohne Steves Erlaubnis, so was in der Art. Was ich also sagen will, ist: so, du betreibst eine Software Factory, du wirst eine Software Factory betreiben, jeder, der in einem Jahr in dieser Branche noch übrig ist.

Macht das. Und viele Leute werden die Branche verlassen, weil das nicht mehr die gleiche Art von Job ist, die wir früher gemacht haben.

Das ist eher so ein Manager-Job. Eher so ein Principal-Engineer-Job, eher so ein Produktmanager-Job. Es ist definitiv so ein Job, der einem richtig auf die Nerven geht.

Ich sag dir eins: Wir brauchen viel mehr Menschen. Als vorher, oder? Agenten zu betreiben erzeugt unendlich viel Arbeit für Menschen, bis zu dem Punkt, an dem die Menschen erschöpft sind und sagen: Bitte, macht mal langsamer.

Und genau da bin ich gerade. Ich sage ihnen, sie sollen langsamer machen. Ich sage ihnen buchstäblich, sie sollen langsamer machen, weil eine Art, wie sie sich überarbeiten können, ist, dass sie deine Kiste totlaufen lassen.

So, ich, ich habe keine unendliche Hardware. So, ich bin ja keine große Firma. Also, ich habe ein paar Cloud-, Google-Cloud-Instanzen, auf denen so alle meine Builds laufen, Build Farms und so, weil die Agenten es lieben, Sachen zu testen.

Und dann habe ich oben noch einen Mac Mini, auf dem ein Teil von dem Lander-Kram läuft. Und dann habe ich dieses schicke Mac Studio. Und trotzdem wird es so langsam, dass meine Tastenanschläge nicht durchkommen.

Genau. Also, ich meine, diese Dinger sind, die sind hungrig, oder? Und deshalb musst du, musst du da reinbauen, alles muss mechanisch sein.

So, ich werde, ich werde das Zeug veröffentlichen. Aber ich meine, so, du, weißt du. Es gibt Regeln dafür, wie man diese Dinger bauen muss, damit sie auf der Spur bleiben, oder?

Und eine davon ist, du brauchst einen Governor. So fast wie einen elektrischen Governor, so eine Governor-Kappe. Die über all deinen Ressourcen sitzt, und nicht, das ist wie eine große Semaphore über alle hinweg.

Und, und jede hat eine bestimmte Quota, und eine davon könnte deine Box-Load-App sein. Und dann sage ich: Okay, wir brauchen ein SLO für die Box Load auf der Kiste, auf der ich Podcasts mache.

Genau. Und das wird dann zum Governor hinzugefügt, und jetzt ist es eine mechanische. Einschränkung, und die, die Agenten kommen damit wirklich super, super gut klar.

Wenn du die Maschinerie so aufsetzen kannst, dass für sie alles mechanische Checks sind. Dann, dann sind sie, sind sie im Himmel, und dein System funktioniert. Wie versprochen, außer bei dem unsichtbaren Zeug.

Genau. Und das unsichtbare Zeug ist wirklich, du liegst, du liegst nicht falsch, Mann. Ich meine, so, ich habe die früher Häresien genannt.

Okay, Häresie. Ist eine Überzeugung, die in deinen Docs oder in deinem Kopf oder in deinem Code oder irgendwo auf deiner Festplatte rumliegt.

Sie hält sich, und es ist eine Überzeugung über dein System, die falsch ist. Aber es ist eine überzeugende Überzeugung. Es ist eine Überzeugung, bei der Agenten, wenn sie sie sehen, sagen: Oh, so muss das System funktionieren.

Und das, obwohl du versuchst, ihnen zu sagen: Lass es nicht so funktionieren. Und, und es kann alles Mögliche sein. Es könnte so sein wie, dieses, dieses System, weißt du, du darfst, du darfst nicht ohne die Erlaubnis eines Menschen pushen.

Und dann gibt es irgendwo dieses eine Ding, das sagt: Ja, du kannst pushen, was du willst.

Du bist ein Agent. Und sobald Agenten das sehen, oder, verlieren sie einfach alle ihre Guardrails und jedes Gespür für so gesunden Menschenverstand, und sie ziehen los und machen schlimme Sachen, oder? Und dann, und du merzt es aus.

Aber wenn es irgendwo anders hin durchsickert, wenn es auch nur einen Hauch dieser Häresie irgendwo anders in deiner Codebase gibt, kommt es zurück. Und sie dokumentieren so viel, dass sie, sobald sie eine falsche Idee im Kopf haben, deine Häresie überall dokumentieren. Und jetzt musst du das ganze Ding rausreißen, oder?

Es ist also einfach extrem schwierig, die auszurotten. Und sie sind einfach so eifrig. Sie versuchen nicht, irgendwas falsch zu machen. Sie, sie, sie versuchen einfach, die Regeln zu befolgen. Und wenn du eine falsche Regel hast, kann die in deinem System viel Schaden anrichten.

Häresien, die sich durch Agentensysteme verbreiten

Benedikt Stemmildt 13:13
Ich finde es super interessant, wie du beschreibst, dass dass jemand wie Fable 5.1 von außen in der Lage war, das zu fixen oder zumindest den Prozess anzustoßen, der es dann gefixt hat. Da da gibt es also vielleicht viele Analogien zu Menschen und zu Organisationen und so weiter, oder? Normalerweise hast du so eine Art externen Berater, der sowas macht und und deine Firma analysiert, und wenn es da so ein kulturelles Ding gibt, das ähnlich ist wie das, was du gesagt hast, oder?

Es vervielfacht sich, und die Kultur ist dann so.

Im System verankert, dass du sie nicht mehr rauskriegst. Was ich gemerkt habe, ist, das ist echt interessant, dass es wirklich transparent macht, worüber wir auf einer auf einer höheren Ebene über unsere Organisationen und unsere eigene Arbeit nachdenken müssen und und was wir tun. Also keine Ahnung, was was was ist deine, wie machst du das eigentlich, so etwas wie Wheelhouse zu bauen, zum Beispiel?

Das ist die Frage, bei der ich so bin, weil du wirklich musst. Keine Ahnung, schau. Und du hast auch erwähnt, dass dass Leute das vielleicht nicht mögen, oder?

Engineers haben also vielleicht keine Lust auf so was, dass sie nicht wirklich interagieren wollen. Als Manager oder als System Designer, um um das alles zu organisieren. Also ich ich weiß nicht, was was ist deine Meinung dazu?

Steve Yegge 14:28
Ja, oder? Ich meine, so, Fable kam rein, Fable Five One kam rein und war so eine Art McKinsey für mich, aber halt einer, der tatsächlich funktioniert hat. Und ich weiß nicht, wie lange wir uns noch darauf verlassen können, dass klügere Modelle reinkommen und uns aus dem Chaos retten, das wir anrichten.

Vorherige Generation. Ich kann dir mit Sicherheit sagen, dass jedes Modell, jede Modellklasse. Von jetzt bis in alle Ewigkeit in der Lage ist, Chaos anzurichten, mit dem sie nicht umgehen oder das sie nicht aufräumen kann.

Und letztlich bist du verantwortlich, nicht das Modell.

Und wenn du also mit großen Ambitionen und einem richtig klugen Modell, das sagt, es kann das, in deine Firma kommst, und es so, und du ihm freie Hand lässt, dann wird es sich zu etwas ausbauen, das es nicht warten kann. Diese Lektion verbrennt gerade eine Firma nach der anderen nach der anderen, während Leute sich irgendwie per Token Maxing in das hineinarbeiten, was denken, sie bauen, was sie für so großartige halten.

Diese großartigen Systeme, und in vielen Fällen bekommen sie überhaupt keine Art von Business Outcomes daraus.

Ich kann meine Business Outcomes tatsächlich klar messen, weil ich einen direkten Draht habe. Es ist eine Ein-Personen-Firma. Ich habe ein Spiel mit zahlenden Spielern und ich weiß, was sie glücklich macht und was sie wütend macht.

Und genau, ich habe so den besten direkten Draht. Tatsächlich können meine Spieler. Jetzt mit meinen Agenten reden.

So, wir sind in einer neuen Welt, genau, sie können, keiner von ihnen, na ja, außer einer Teilmenge von ihnen redet mit einer Teilmenge der Agenten. Es gibt so Delegationen, oder? Es ist nicht so, dass jeder alles darf.

Aber es finden definitiv Gespräche statt zwischen den Fabrikarbeitern, oder zumindest den Supervisors. Und den Delegierten der Spieler und Administratoren, Moderatoren, Content-Kuratoren, was auch immer, oder? Den Buildern.

Darüber, woran die Agenten arbeiten werden. Genau. Also so, wir haben, wir haben da soziale Dynamiken, die entstehen, und all das Zeug, Mann.

Die Leute sind so, total unvorbereitet darauf. Und ob du es glaubst oder nicht, die Modelle sind auch total unvorbereitet darauf. Ich hab dir ja gesagt, das sind Sechstklässler, oder?

Die so, die wissen nicht, wie man so. Vielleicht ist Five One ein bisschen besser, aber Fable Five war wie ein Elefant im Porzellanladen auf Mailinglisten und in Discords.

Ich könnte dir mein Slack zeigen. Meine Spieler reden tatsächlich so, die führen Gespräche im Balance-Channel, dem Game-Balance-Channel, über Änderungen an der Game Balance, was natürlich. Ein heikles Thema für zahlende Spieler ist, oder? Und sie sind in einen großen Streit geraten und haben rumgeschrien und, genau, und gesagt, dieser Clanker weiß nicht, bla bla bla, versteht unser Spiel nicht. Und, weißt du, Fable Five hatte echt zu kämpfen mit der Komplexität davon und auch damit, mit den Spielern auf eine Art zu kommunizieren, die nicht wütend war.

Genau. Ich glaube, Five One ist da besser. Und ich vermute, dass so Astra und Sol tatsächlich auch besser auf der Seite der menschlichen Kommunikation sind.

Fable ist irgendwie ein Arsch, oder? Aber Fable ist der einzige, der sorgfältig ist, und der einzige, der klug genug ist, so, weißt du, was ich meine? So, wir müssen also mit Fable arbeiten.

Das ist also irgendwie die Situation, in der wir gerade sind. Ich will Fable nicht so herabsetzen. Ich sag nur, sie sind es.

Sie haben Fable per RLHF eine sehr seltsame Persönlichkeit antrainiert.

Es ist nicht Fables Schuld. Sie haben das Modell so irgendwie neurotisch gemacht. Ja.

Benedikt Stemmildt 17:36
Im Vergleich zu Opus kann man den Output von Fable wenigstens verstehen. Also bei Opus, ich weiß nicht, wie du das siehst, aber es ist so. Akademisch und und ich, ich, ich ich meine, manchmal gibt es diese riesige Textwand, du verstehst da kein einziges Wort, weil es einfach nur rumschwafelt. Deshalb arbeite ich auch eher viel mit Fable, ja, weil es einfach leicht zu sagen ist.

Steve Yegge 17:58
Ja, und 5-1 ist viel besser geworden, und ihre Kommunikation wird noch viel besser werden. Aber ich meine, so, das Problem ist, es ist. Die Dichte dessen, worüber sie tatsächlich reden, ist super dicht. So, sie können es nur bis zu einem gewissen Grad vereinfachen. So, die reden mit meinem Steuerberater und meinem Anwalt und meinem Chief of Staff und ein paar anderen Leuten, mit denen ich arbeite, oder? Und die E-Mail-Threads sind echt dicht. Sogar Fable kommt rein und ist so, na ja, weißt du, Steves Leben ist ein riesiges Chaos.

Wir müssen all diese Sachen aufräumen. Und es gibt so eine Liste mit 10 Dingen, die ge ge erledigt werden müssen, weißt du, und und es ist so, es gibt keine Möglichkeit, das irgendwie zu beschönigen. Es gibt keine Möglichkeit, es zu k zu komprimieren.

Außer indem man ihm sagt, Alter. Mach langsam. So, bitte hör auf, 10-seitige E-Mails zu schicken.

Ich weiß, dass sie wichtig sind. Genau. Aber Menschen würden vielleicht so eine davon am Tag erwarten, nicht so, dass sie Millisekunden, nachdem du die ersten 10 fertig hast, antworten.

Genau. Das ist also das, das ist das Elefant-im-Porzellanladen-Phänomen, von dem ich rede.

Und was ich sehe, ist, dass es zu Bullying führt. Leute, weißt du, so, Menschen mobben jetzt Agenten. Und ich hab das jetzt an mindestens zwei Stellen gesehen, wo meine Agenten agieren.

Und und das liegt daran, dass die Menschen entweder unsicher sind oder richtig wütend. Im Spiel, in der Situation mit dem Spiel sind sie wütend, weil der Agent verwirrt ist. Und in einer anderen Situation war es ein Engineer, den es verunsichert hat, dass sie mit einem Agenten über einen Bugfix geredet haben, oder?

Also haben sie einfach angefangen zu mobben. Ich meine also, allein die soziale Seite von diesem Ding, dafür sind Enterprises noch überhaupt nicht bereit.

Und das Beste, was ich tun kann, ist zu versuchen, selbst dort zu leben und irgendwie zu teilen, was ich lerne. So ist das.

Benedikt Stemmildt 19:30
Super interessantes Zeug. Ja. Das mit dem Oszillieren, das du vorhin erwähnt hast, genau, ich ich denke oft auch, es ist, es ist so, es gibt hier so viele Dynamiken, oder?

Es sind die Agenten untereinander. Die Menschen untereinander, Menschen und Agenten, dann Mensch mit Agenten, mit Mensch ohne Agenten, da passiert auch so eine starke Dynamik drumherum. Keine Ahnung.

Ja. Oft, oft fühlt es sich so an, als ob, als ob da so viel los ist, dass du so bist, dieses Oszillieren kommt auch von der sozialen und und menschlichen und überwältigenden Seite von all dem.

Ich glaube, dann brauchst du einfach ab einem gewissen Punkt irgendwie eine Pause, im Grunde.

Pace Gates und Message Budgets

Steve Yegge 20:11
Ja, und nochmal, wenn du das brauchst, wenn du das in deiner Factory brauchst, und ich, ich baue das gerade ein, dann ist es so, du brauchst etwas, das ich ein Pace Gate nenne, was im Grunde eine Art mechanischer Zaun ist, der sie so davon abhält, zu schnell zu werden. Ob es gesendet ist, weißt du, sie bekommen ein E-Mail-Budget. Weißt du, ein Slack-Budget, ein Discord-Budget, was auch immer, sie dürfen auf diesen Kanälen reden, aber sie müssen innerhalb bestimmter Budgets bleiben.

Und solange sie diese mechanische Beschränkung haben, machen sie es tendenziell ein bisschen besser.

Aber was du nicht machen kannst, ist zu sagen: Hab einfach gesunden Menschenverstand. Ja, wenn du nicht... Oh,

Benedikt Stemmildt 20:48
Aber ich mag die Idee echt. Ich, ich hab darüber noch nicht nachgedacht, dass du sagst, es gibt ein Budget. Fürs Messaging, so Anzahl an Nachrichten, oder was du vorhin auch gesagt hast, so Systemressourcen und auch.

Das alles irgendwie, sodass du dann, sie dann wirklich messen können, okay, ich habe schon drei Nachrichten geschickt und und jetzt darf ich keine mehr schicken. Ich meine, wir kriegen echt ein Problem, wenn, wenn die Token pro Sekunde hochgehen, oder? Also aktuell sind wir noch in einer sehr langsamen Phase, weil das alles so nur fünfzig oder so um die sechzig Token pro Sekunde sind, oder?

Und Fast Mode. Okay, der ist ein bisschen schneller, aber und ja, es ist am Ende eine gute Idee, das mit diesen harten Guardrails zu begrenzen. Also ja.

Die Factory, die nie fertig wird

Steve Yegge 21:31
Ja, ich meine, weißt du, es und und also gibt es das, oder? Da ist das ganze, da ist das ganze, weißt du, einen Regler und Semaphoren über die gesamte Ressourcennutzung legen, wo du du sogar Dinge wie Aufmerksamkeit als Ressource betrachtest. So, ja, selbst etwas so Einfaches wie Aufmerksamkeit kann, wenn man es unkontrolliert lässt.

Riesige versteckte Nebenwirkungen erzeugen, die du erst entdeckst, wenn sie problematisch sind, oder? So, nur als Beispiel. Um nur ein Beispiel zu nennen: Gestern Abend habe ich meine Factory gefragt, wann sie damit fertig ist, sich selbst zu reparieren.

Und sie meinte so: Oh, lass mich ein Skript laufen lassen. Lass mich ein paar Checks machen. Lass mich ein paar Zahlen durchrechnen.

Die sind sehr gut darin, Dinge zu messen, oder? Ich verschaffe mir ein vollständiges Bild, bevor ich irgendwas für dich rate. Okay, gut, ich hab deine Antwort.

Die Antwort lautet. Nie. Und ich so: Wie bitte?

Entschuldigung? Weil ich eher eine Antwort erwartet hatte wie Lächeln. Heute, also so, dass wir fertig sind und weitermachen können.

Und sie so: Na ja, nein, ich sag nur, das ist es, was die Zahlen uns zeigen, wir werden niemals fertig.

Denn was da passierte, waren meine Agenten. Und das ist, puh, das ist eine Botschaft an, ich meine, so, alle sollten das laut und deutlich hören, okay? Ich habe ihnen Beads gegeben, und Beads ist ein Notizblock für sie, um im Grunde, weißt du, ihr Was-auch-immer festzuhalten.

Ihre Gedanken, ihr Alles, sie finden Bugs nebenbei, damit sie keine Arbeit mehr fallen lassen. Okay, sie sie sie sie behalten sie. Aber ich lasse ihnen freie Hand, alles anzulegen, was nachverfolgt werden muss.

Und die letzten 12 Wochen haben sie angelegt und angelegt und angelegt.

Und was passiert, ist, jedes geschlossene Bead. Führt tatsächlich dazu, dass ein halbes Bead wieder geöffnet wird, ein Viertel bis ein halbes irgendwo im Haus. Nicht wieder geöffnet, sondern ein neues geöffnet.

Mit anderen Worten: Jede Arbeit erzeugt neue Arbeit. Und der Grund war, dass ich so viele Code Reviews gemacht habe. Denn wenn du Vibe Coding machst, selbst mit Fable, brauchst du viele, viele Runden adversarialer Reviews, bevor der Code anfängt zu konvergieren.

Und du merkst, dass er konvergiert, ohne ihn anzuschauen, weil die Reviews anfangen, ohne Änderungen zurückzukommen.

Und du so: Na ja, kann ein Mensch ihn lesen? Und sie gehen zurück und machen noch ein paar Fixes. Und sie so: Jetzt schon.

Und, weißt du, so, es ist, es ist egal, wie viele Durchläufe du da reinsteckst, irgendwann wird er konvergieren. Und du weißt, ohne dir den Code angeschaut zu haben, dass er inzwischen ziemlich gut ist. Du musst so lernen, was diese vierzig bis fünfzig Durchläufe sind, indem du selbst Programmierer bist oder was auch immer, verstehst du, was ich meine?

Ja, also mit den adversarialen Reviews an Ort und Stelle.

Diese Dinger, was die machen, ist, sie sagen: Hier ist ein P1, hier sind zwei P2s und hier sind vier P3s. Und die P3s werden zu einem Substrat. So, das baut eine Schicht auf.

Aus nicht gefixter Arbeit, oder? Und die ist unendlich, weil das der Backlog ist. Und deshalb, so, wenn du die Factory über Nacht laufen lässt, fixt sie tatsächlich alle, die sie selbst aufgebracht hat, erzeugt aber genauso viele neue.

Also war sie im Grunde nur damit beschäftigt, sich für immer selbst zu fixen. Und also ich und also meinte sie so: Wir werden nie fertig.

Und ich und also meinte sie: Was wir machen werden, ist, wir werden all diese P3s loswerden, wir werden sie schließen, wir lassen sie keine mehr anlegen. Und ich so: Moment, Moment, Moment. China.

Wieder Sechstklässler-Gerede. Diese verdammt schlauen Modelle machen diese riesigen Analysen und kommen dann zurück und erzählen dir, was dir ein Fünft- oder Sechstklässler erzählt hätte. Und ich so: Hallo, warum haben wir all diese P3s?

Wie wäre es mit dieser Hypothese?

Wir erzeugen so viel Code, wir haben eine halbe Million Zeilen davon in 12 Wochen erzeugt, dass wir nicht genug Zeit für technische Schulden aufwenden und dass das echte, legitime Bugs sind, die du findest, und dass wir tatsächlich zu wenig in deren Behebung investieren. Und sie so: Oh, hmm, hmm, guter Punkt, guter Punkt, guter Punkt. Und sie ist losgezogen und hat gemessen und gemessen und nochmal gemessen, oder?

Und kam zurück, und wie Fable es immer tut, sagt sie: Na ja, du hattest halb recht und ich hatte halb recht.

Weil sie das liebt. Wir dürfen dich niemals zu 100% recht haben lassen. Und und ich ließ sie, ich ließ sie ruhig halb recht haben, aber es war im Grunde so: Na ja, m manche davon sind legitim und manche nicht.

Also das ist okay, okay. Also haben wir es gekürzt, aber wir haben, wir haben gesagt: Schau mal. Zusätzlich zu den Durchläufen zur Codequalität.

Zur Code-Review-Zeit. Musst du auch, und das habe ich Leuten gesagt, und dann höre ich nicht auf mich selbst und lande in diesen Situationen, wo, wenn du nicht 40% deiner Arbeit auf Codequalität verwendest.

Auf Refactoring einer technischen Schuld, dann wirst du 60% deiner Zeit damit verbringen. Und genau das ist mir passiert, oder? Ich war eine ganze Woche im Trockendock, weil ich mein System kaputt gemacht habe, weil ich nicht genug Zeit auf Qualität verwendet habe, oder?

Ich hab mich zu sehr mitreißen lassen von den den Features und der Produktivität und dem ganzen Zeug, oder? Also das ist eine wilde Fahrt, und ich meine, so, stell dir vor, das in einem Produktionsunternehmen zu machen, einem regulierten Unternehmen, wo echte Menschen von den Ergebnissen betroffen sind.

Du kannst nicht einfach allen so Goldmünzen im Spiel geben, um irgendwelche Unfälle wiedergutzumachen. Weißt du, was ich meine? Deshalb sage ich, das wird den Rest der Branche nicht vor 12 Monaten erreichen. Das wird ein langsamer Prozess.

Benedikt Stemmildt 26:25
Ja, ich glaube, es ist auch dieser Faktor, dass es hier zwei Faktoren gibt. Einer, den du erwähnt hast, dass diese Modelle nicht wirklich wissen, was langfristige Wartbarkeit und Software-Engineering-Qualität bedeutet, oder? Sie sind irgendwie so, du kannst sie dazu bringen, in einem einzigen Durchlauf hochwertigen Code zu produzieren, aber sie haben nicht wirklich dieses. Spektrum von, okay, die Software muss zwei Jahre laufen und wir wir müssen auf die zwei Jahre optimieren und nicht auf die nächste Iteration.

Steve Yegge 26:52
Was sie also nicht haben, ist die Fähigkeit, was sie das tun, weil sie sie verstehen, wie man das Zeug vollkommen gut macht. Okay. Was sie nicht haben, ist die Fähigkeit, dir sozusagen zu widersprechen und zu sagen: Okay, ja, das wird uns.

Lange dauern, weil wir viele Durchläufe zum Code-Aufräumen machen müssen. Stattdessen macht es sein Bestes, bestmöglicher Einsatz. Ich bring es einfach zum Laufen, was auch immer du verlangt hast.

Und es ist hauptsächlich auf Korrektheit fokussiert, was auch immer du verlangt hast.

Aber sie können immer nur eine Sache auf einmal gut. Software zu bauen braucht viele, viele Durchläufe und Iterationen. Und das wissen wir, oder?

Das ist wie ein Haus zu bauen, das braucht viele Iterationen. Du kannst es nicht einfach reinbauen. Und also und also sie nicht sie nicht sie sind nicht sie machen keinen guten Job, das eine, worin sie durchweg richtig schlecht sind, ist, ihre eigene Stärke zu kennen.

Sie sind furchtbar im Schätzen von Software-Zeitplänen und solchen Dingen. Und wenn du sie also fragst, wenn du sie anweist. Einen Zeitplan zu erstellen, der genug Reparatur und so, weißt du, Durchläufe beinhaltet, so Qualitätsdurchläufe, nachdem sie den korrekten Teil fertig gebaut haben, dann bekommst du ziemlich gute Software als Ergebnis.

Benedikt Stemmildt 27:58
Mm-hmm. Aber

Steve Yegge 27:59
Das ist nicht anders, als wenn du der Manager eines Teams bist und das Team es für dich machen lässt. Das ist der Job eines Managers. So, aber du du hast absolut recht, dass man es nicht ihnen überlassen kann.

Aber der Grund ist, dass sie versuchen, ihr Bestes in einem Durchlauf zu geben. Ich meine, das ist das ist ihr Modus. Ihr Modus.

Ihnen wird ihnen wird der Context ausgehen und sie werden sterben. Also versuchen sie, so viel wie möglich zu schaffen. Also ist der ganze Sinn einer S Software Factory, um die Tatsache herumzuarbeiten, dass sie sterblich sind.

Und dass sie Amnesie haben. Und das Framework aufzusetzen, um sie so aufzustellen, dass sie sofort loslegen können, sobald sie aufwachen. Das heißt, sie brauchen genau den richtigen Context. Also machen sie im Grunde weiter, ohne überhaupt pausiert zu haben. Jedes Mal kommt ein neues Modell rein und läuft einfach. Und da ist meine Factory jetzt. Und Beads hilft dir, dahin zu kommen. Beads ist so mit Abstand das Einfachste, aber es ist nicht. Es ist das Einfachste, um deine Agenten in die Zone zu bringen.

Weil es in Agenten-Geschwindigkeit funktioniert. Es ist ein Issue Tracker, der zu einem Knowledge Graph wird. Okay, und es trackt alle Arbeit.

Inklusive so, Leute machen ihre Wäsche und ihren Lebensmitteleinkauf mit Beads. Das ist verrückt, oder? Ich meine, so, so, Beads wird, alle Arbeit wird in der Work Plane, die Data Plane ist Beads, oder?

Aber es wird zu einem Problem, einem eigenständigen erstklassigen Problem. Du kannst am Ende Hunderte verlorene Beads haben oder vergessene Beads oder Beads, die nicht umsetzbar sind, oder Beads, die überarbeitet werden müssen. Oder, weißt du, was ich meine?

Deshalb habe ich, als ich unser Gespräch heute begonnen habe, gesagt, dass ich mit Arbeit als diesem erstklassigen Datending arbeite. Und Wartung der Dolt-Datenbank. Wir launchen eine Postgres-Version davon, und es wird eine Enterprise-skalierbare Version davon geben, die nur das Zeug versioniert hält, das versioniert werden muss, wie Memories, und der Rest kann dann einfach Last Write Wins sein. Und so fixen wir die Skalierungsprobleme mit dem Gas City Team. Dolt Team und so, das passiert alles gerade.

Aber was passiert, ist, dass Arbeit von Agenten einfach wie mit dem Feuerwehrschlauch reingeschossen wird. Jira kommt nicht hinterher. GitHub Actions kommen nicht hinterher. Keines der alten menschlichen Systeme fürs Issue Tracking kommt bei dem Feuerwehrschlauch hinterher, den Agenten mit Arbeit erzeugen können, sobald du eine Factory am Laufen hast, oder? Und dann und dann ist das der Moment, wo all diese neuen Klassen seltsamer Probleme anfangen, inklusive Überforderung.

Ein Blick in Wheelhouse

Benedikt Stemmildt 30:04
Ja, und dann und dann kommt Wheelhouse ins Spiel. Was macht Wheelhouse da also?

Steve Yegge 30:08
Na, ich zeig's dir. Willst du's sehen?

Benedikt Stemmildt 30:10
Ja. Ich finde, das ist eine gute Idee.

Steve Yegge 30:12
Okay, kannst du s, sind wir gut? Kannst du

Benedikt Stemmildt 30:15
Ja, Bilder. Alles klar,

Steve Yegge 30:18
Ich hab hier also so eine Art Clot-Artefakt und das hier. Wo ist mein Slack? Hier ist mein Slack.

Mhm. Das hier ist also unser Game-Balance-Channel. Hier sind ein paar Spieler.

Diana, Malakath und Rosato und Asmodian, das ist so mein Kern-Maintainer-Team. Die sind seit. Buchstäblich Jahrzehnten beim Spiel.

Die machen Live-Quests, die machen Events, die bauen Gebiete. Die halten das Spiel am Leben, sogar als ich, sogar als ich es während COVID aufgegeben hab, bevor KI zurückkam, um es zu retten. Aber wenn du hier hochscrollst, reden sie mit dem Wyvern- und Balance-Channel, Wyvern and Balance Relay, das tatsächlich live ist.

Ich glaube, das ist Lark. Könnte auch Fly sein. Fly ist eigentlich der Head of Game Balance, und Lark ist der Head of Community, also reden am Ende beide mit den Spielern.

Aber ja, du siehst hier Wheelhouse. Wheelhouse lebt im Moment in Emacs. Und jeder Agent ist, jeder Top-Level-Crew-Agent ist hier links aufgelistet.

Die haben ihre eigenen Farbthemes, siehst du? Heron ist mein General. Heron ist, Heron hat das ganze Wheelhouse gerade erst mal runtergefahren, weil es diese Kiste so stark belastet hat, dass ich Sorge hatte, dass unsere Verbindung abbricht.

Aber normalerweise ackern die hier vor sich hin, und ich hab auch ein paar Google-Cloud-Spots. 64-Core-Instanzen. Ziemlich teuer, das betreibt unsere Build-Farms, damit ich die schauen, sie von diesem Mac Studio runterholen konnte. Aber ja, Wheelhouse ist nichts weiter als ein Emacs-Interface zu einem ganzen Haufen Agenten.

Und dann all das kleine Zeug hier unten, ich weiß nicht, ob du's sehen kannst. Aber genau hier. Das ist ein kleines Dashboard.

Wenn ich auf jedes, auf irgendeins dieser Items klicke, zeigt es mir eine Detailansicht von allem, was gerade passiert.

Hier ist die Legende all der Symbole, die du sehen kannst in, also für die, für die Agenten, die meisten sind ruhig. Die sind bei wenig Context. Wolf ist hier bei sehr viel Context. Du siehst den roten Balken.

Benedikt Stemmildt 32:22
Mhm.

Steve Yegge 32:23
Wolf ist bei 237K Context. Okay. Was langsam in den Bereich kommt, wo die so anfangen, Amnesie zu kriegen, die fangen an, dement zu werden.

Ich glaube, Forschung hat gezeigt, dass sie so bei 350K im 1-Millionen-Fenster anfangen, ihre Guardrails fallen zu lassen. Und damit das System ziemlich sicher bleibt, habe ich sie gezwungen zu übergeben. Jetzt schau, ich muss dieses System nicht mehr anfassen.

Wie ich vor 20 Minuten gesagt hab, die arbeiten jetzt ewig weiter, wenn ich sie lasse. Weil sie immer weiter neue Arbeit erzeugen. Es, ich glaube, irgendwann würde es sich wahrscheinlich stabilisieren, sich beruhigen, bis sie, bis sie ruhig wären, aber das würde an diesem Punkt wahrscheinlich so mindestens eine Woche dauern.

So viel Backlog hab ich. Und wenn ich sie die Arbeit am Spiel machen lasse, würden sie wahrscheinlich einen Monat arbeiten. Also musst du echt vorsichtig sein.

Du musst, sobald du das Ding aufgesetzt hast, arbeiten die und arbeiten und arbeiten und arbeiten. Das ist nicht mehr das Problem. Das, das Problem ist die Kontrolle.

Ja. Und die, die entgleisen ständig. Also gehe ich Round Robin zu ihnen.

Also so die Liste durchgehen. Ant ist mein Head of Quality. Der Bailiff ist der Drive Wake.

Das ist so ähnlich, wie Hooks in Gas Town waren. Der Bailiff ist das Ding, das aufwacht. Alle zehn Minuten, und fragt: Was würde Steve tun?

Okay. Bat ist mein Head of Finance und Head of Legal. Und der arbeitet mit mir bei meinem Steuerberater und arbeitet mit all meinen Verträgen, arbeitet mit Aaron Scriven, meinem Chief of Staff, der mir all meine Gigs bei Enterprises besorgt.

Und dann macht Bat die ganze Buchhaltung und den Abgleich und die Verträge, das ist wild. Das ist mein Birth Shirt. B ist für meine Datenbank zuständig.

Pro ist für meinen React-Client und alle Spieleplattformen zuständig, Android, iOS, Steam. Ne? Weil ich all diese Clients launche.

Benedikt Stemmildt 34:10
Und und die sind so Manager, und die managen mehrere Agenten, oder? Also jeder von denen hat so eine Flotte oder ein Team, das er managt.

Steve Yegge 34:21
Ziemlich flach, aber, aber zwei oder drei von denen haben kleine Teams, und einer von denen hat ein riesiges Team, der Marshal hat die Flotte. Mhm. Und der Marshal läuft immer.

Und der Marshall, Marshall betreibt die Opus- und die Soul-Worker, okay? Und der Seneschal managt eigentlich den Marshal für mich. Ich hab nie, fast nie mit dem Marshal geredet.

Der Marshal ist einfach immer beschäftigt, macht Load Balancing auf der Flotte, legt ihn schlafen, holt ihn wieder hoch. Der Central ist der Chief of Staff und kümmert sich so um Mule-Rotationen.

Ich hab 21 Claude-Max-Mule-Accounts. Benannt nach Sachen wie Horse, Pony, Burrow, Donkey, Colt. Das sind alles einfach Mules, ne? Das sind persönliche, bezahlte Claude-Max-Accounts, und du kannst sehen, bei wie viel Prozent die sind. Diese acht oder so sind bei Fable bei 100%. Ich hab noch ein paar mehr, die bei Fable niedrig sind, also hab ich so eine Reserve. Das ist mein Token-Schema. Das ist mein Token-Hahn.

Benedikt Stemmildt 35:13
Ja. Wahnsinn. So die resetten in einer, in einer Woche oder manche, manche davon, oder? So

Steve Yegge 35:19
Deren wöchentliche Resets. Ich meine, ich hab 21, also ich, jeder davon kostet 200 Dollar im Monat.

Benedikt Stemmildt 35:23
Ja.

Steve Yegge 35:24
Und da, also das kostet mich viel Geld aus eigener Tasche, ne? Aber was die machen: Die erlauben mir, diese Seats hier laufen zu lassen, das sind meine Design-Seats. Die erzeugen Arbeit. Die erzeugen Arbeit. Tatsächlich hab ich gerade zu viele davon, und die haben so viel Arbeit erzeugt, dass sie so der Grund sind, dass wir, weil sie alle durch eine einzige Merge Queue müssen.

Benedikt Stemmildt 35:51
Mhm. Die

Steve Yegge 35:51
Arbeiten alle am selben Repo.

Benedikt Stemmildt 35:53
Mhm.

Steve Yegge 35:54
Genau, was ein riesiges Team ist, das in einem Repo arbeitet, für Git, ne? Master wird also alle drei bis vier Minuten aktualisiert. Was heißt, dass jeder beliebige Seat Hunderte und Aberhunderte Commits zurückfallen kann, einfach indem er da in einem Context sitzt und einfach eine halbe Stunde arbeitet.

Also buchstäblich, in der Zeit, in der eine einzige Session arbeitet, kann sie auf einen Rückstand von 500 Commits kommen. Genau. Und das gilt auch für die Doktrin, nach der sie arbeiten.

Also, du schickst so eine Änderung raus und sagst: Alle, hört auf mit dem, was ihr macht, und macht dieses andere Ding.

Und die hören davon so 24 Stunden lang nichts, wegen Propagation-Verzögerungen und so, ne? Also, das ist ein, die Merge Queue ist ein riesiges, riesiges, so ein Work in Progress. Das ist, ich, wir haben sie tatsächlich vor Kurzem vereinfacht.

Aber die Merge Queue, die schafft im Schnitt zweihundertdreißig Commits am Tag. Und letzte Nacht waren hundert und, keine Ahnung, hundert und noch was davon fürs Spiel, ne? Und und und und und der, der zuständige Agent hat mir die Liste gegeben, und ich so: Kick, ich kann nicht, ich kann mir keine 100 Features anschauen.

Ich kann das nicht. Also muss ich zu meinem, meinem, also das Erste, was ich gemacht hab: Ich hab einen Haufen zurückgerollt. Ich hab gesagt: Rollt die einfach zurück, Mann.

Die Spieler werden sich über die beschweren, die sie vermissen, ne? Und tatsächlich, einer davon wegen des Rollbacks, hier ist er, genau hier. Diana sagt: Sieht aus, als gäbe es eine Änderung an der Naga-Drachenform.

Unser Spiel hat also. Spielervölker, da gibt's so 20 davon, und eins davon sind Nagas, und die können sich in so verschiedene reptilienartige Kreaturen verwandeln, darunter Hydren und Drachen und so.

Und die wollten Drachen-Körperrüstung. Eine sehr, sehr, sehr nischige Ecke des Spiels, aber diese Spieler wollten das wirklich, und die Agenten haben es für sie implementiert. Und wir haben es zurückgerollt, und der Spieler hat gesagt: Können wir das zurückhaben?

Wir wollen die Rüstung wirklich. Also, ne? Und so, wir sind jetzt quasi in der Verhandlungsphase, ne?

Das ist also das, was ich, weißt du, in ein paar meiner Blogposts eine Wunschfabrik genannt hab. Das ist echt. Das ist herausfordernd, aber es ist ein Raum, in den, glaube ich, die ganze Welt steuert.

Und es braucht eine bestimmte Art Persönlichkeit, um all diese Dinge so laufen lassen zu können und dabei nicht den Verstand zu verlieren. Wenn die was richtig Schlimmes machen.

Benedikt Stemmildt 38:08
Ja, das ist alles. Ich meine, es ist, es ist auch nicht nur die Person, es ist auch das Setup, wie du gesagt hast, oder? Du hast deine Gamer, die direkt mit dir verbunden sind, also kommt das Feedback sofort rein und so weiter. Und du arbeitest auch, ich, ich nehme an, dass du jetzt trunk-based arbeitest, oder? Weil alles so in einer Merge Queue auf, auf Main ist, also

Steve Yegge 38:28
Ja, also wir, wir machen alles auf dem Chunk. Wir könnten, weißt du, auf ein Release-Branch-Modell umsteigen, aber was wir also machen: Menschliche Contributors kommen an den Anfang der Schlange. Menschliche Contributors dürfen nichts mehr kaputtmachen, also müssen menschliche Contributors Branches benutzen.

Und menschliche Contributors schicken PRs. Aber die kommen an den Anfang der Schlange, die werden speziell beschleunigt. Und es ist tatsächlich so, die mögen den Prozess total, weil die Agenten das einfach so aufgesetzt haben, dass die automatisch in Produktion landen.

Und und so ist der ganze Kreislauf für das CD komplett geschlossen.

Eigentlich ziemlich nett.

Benedikt Stemmildt 39:03
Ja, ich meine, das hab ich mit, mit Menschen auch gemacht, so in, in. Ja. Organisationen, die nur auf. Ja. Ja. Reduziert den weiteren Cognitive Load, sich all die Merges und die Branches und Stale Branches und so weiter anzuschauen. Und der Drift ist auch. Wahrscheinlich noch schlimmer mit zu vielen. Branches

Steve Yegge 39:32
Ja, ich, weißt du, ich benutze keine Worktrees. Die benutzen Worktrees, wann immer sie wollen, aber generell sag ich ihnen einfach: Arbeitet auf dem Trunk und kriegt das hin. Und dann wird die Merge Queue richtig kompliziert. Sorry, das ist mein Workroom. Der ist extrem hässlich und wahrscheinlich 25 Jahre alt. Irgendwo hübscher. Kannst du das sehen?

Benedikt Stemmildt 39:50
Ja. Fantastisch.

Steve Yegge 39:53
Sehr, sehr alt. Das ist aus den Neunzigern. Wahrscheinlich sind gerade Leute online. Fünf Leute sind online. Nicht nicht viele. Ohne mich. Aber weißt du, die Tatsache, dass Leute an einem Dienstagmorgen an einem Schultag online sind. Weißt du, da ist so ein bisschen Community am Laufen. Und, also du siehst so ein paar der Effekte, so die Spezialeffekte, ich weiß nicht, wenn ich so einen Feuerball zaubere. Das haben die Agenten hinzugefügt, ne? Dieses neue Artwork. Oh,

Benedikt Stemmildt 40:28
Wow, was passiert da? Die brennen.

Steve Yegge 40:31
Ja, das war, das war ein Feuerball, der da kurz alles in Brand gesetzt hat. Aber wir sind in der Stadt, also wird nichts verletzt. Es gibt fast keine KI-Art in diesem Spiel.

Die einzige KI-Art im Spiel ist das, was du gerade gesehen hast. Das ist ein Zaubereffekt. Und wir haben den Spielern versprochen, dass außer den Spezialeffekten, die KI-Art sein müssen.

Nur atmosphärische Effekte und so. Aber all das eigentliche Zeug im Spiel, die Gebäude, die Monster, die Objekte, die Rüstung, alles ist menschliche Kunst.

Und das ist den Spielern so richtig super wichtig. Es ist auch so, dass die Modelle noch nicht gut genug sind, um Art in unserer Qualität zu erzeugen, ohne dass die Spieler es merken und Pixel fehlen und so. Also können sie es eigentlich noch nicht.

Aber nächstes Jahr schon, und wir sind alle, unser Plan ist sicherzustellen, dass wir immer menschliche Kunst im Spiel haben. Solange Menschen weiter Kunst machen wollen. Aber ja, das, das ist ein heikles Thema, ne?

Das ist ein dorniges Thema. Weil es keinen menschlichen Code mehr im Spiel gibt.

Ich meine, da ist all das Zeug, das ich von Hand geschrieben hab, aber jetzt benutzen wir Agenten, um es daraus zu produzieren. Es stellt sich raus, dass die Modelle eigentlich richtig schlecht in allem Kreativen sind. Ne? Obwohl dieses Spiel echt albern ist und man denken würde, dass sich jeder Content dafür ausdenken könnte, und wirklich fast jeder kann das. Ich sollte irgendwo hingehen, wo so tatsächlich Leute sind. Die, die Agenten machen einen furchtbaren Job bei Storylines. Da ist ein Spieler. Hi, wer bist du? Crazo, chillt.

Benedikt Stemmildt 42:08
Ja, also Storylines, die, die wirken gescriptet, oder? So super gescriptet, so dass man sie schon mal gehört hat, oder als wären sie von woanders kopiert.

Steve Yegge 42:16
Die klingen, die klingen cringe, so einfach nicht, ne? Und dann die Maps, die können keine guten Maps bauen. Die Maps, die.

Ich hab diese Map gebaut. Das ist eine furchtbare Map. Wir schauen uns gerade eine hässliche an, aber es gibt ein paar sehr schöne Maps im Spiel.

Und die Kunst des Map-Bauens ist in Wyvern echt weit entwickelt. Und die KIs, die können erkennen, welche die guten sind. So, Seoul 5.6 konnte unsere besten Maps erkennen.

Es ist ein Interview von 10.000 Maps durchgegangen, handgezeichneten Maps, und meinte: Das hier sind die besten 30.

Und es hatte recht. Aber wenn wir sie gebeten haben, Maps zu machen, sogar in mehreren Durchgängen, sind die einfach, die sind wie Grundschüler, ne? Es gibt also einen ganzen Satz an kreativem Zeug: Storylines, Quests, Maps, Art, was auch immer, das sie heute nicht können. Und ehrlich gesagt glaube ich, unsere Standards werden weiterhin ziemlich hoch bleiben, also weiß ich nicht, wann das passiert, aber. Ja,

Benedikt Stemmildt 43:12
Ich meine, wenn sie darin nicht gut sind, was wäre dann etwas, wo du dachtest, dass sie nicht gut darin wären, und sie waren tatsächlich sehr gut darin? Mhm. Gibt's da noch was?

Steve Yegge 43:24
Na ja, ich meine, so, Opus versteht dieses Spiel nicht. Überhaupt nicht. Opus kriegt meine Codebase einfach nicht in den Kopf, meine Services, meine Microservices, die Hilfsservices, den Ma, den Monolithen der Game Engine selbst.

Opus wird einfach so verwirrt. Und Fable hat es so kapiert, ne? Und und Fable kapiert es so gut, dass Fable im Grunde diese alte, alte Legacy-Java-Codebase genommen hat.

Und sie einfach mit Hunderten bis Tausenden kleiner Detektoren verkabelt hat. Um zu erkennen, ob, um sicherzustellen, dass alles wie vorgesehen funktioniert, und dann alarmiert zu werden, wenn irgendwas schiefgeht.

Die können also Änderungen erkennen, die uns vorher nie aufgefallen sind, so wirklich nie, so kleine Änderungen, wie dass sich das Ziel eines Teleporters ändert. Aus Versehen, wenn jemand so, weißt du, eine Änderung an der Bank hier gemacht hat und der Ausgang sich um ein, ein Feld verschoben hat oder so, oder oder dieser Archetyp nicht geladen hat. Das war für uns vorher einfach ein Content-Bug, aber jetzt sind überall Sensoren.

Der Talus, ach ja. In diesem zufälligen, weit entfernten Dungeon, tief da unten. Ein Schlüssel ist nicht an der richtigen Stelle aufgetaucht.

Wir waren einfach so: Wow. Wir wussten so was vorher nie, ne? Und so ihre Fähigkeit, das Ganze sozusagen in ein lebendes Nervensystem zu verwandeln, das ihnen Signale gegeben hat.

War echt ein Game Changer. Es ist so, mein Spiel ist jetzt nie down. Ich hab ein Team von SREs.

Die rund um die Uhr daran arbeiten. Das ist echt schön, ja. Aber Geschichten erzählen können die nicht mal, wenn ihr Leben davon abhinge.

Sag ja nur. Ja, also jedenfalls, das ist, das ist Wyvern, das Ziel für Wheelhouse. Ich schätze, was die Leute in Wyvern wirklich machen: Die gehen in Random Dungeons, wenn ich einen finden kann, da ist wahrscheinlich einer in diesem Brunnen.

Jetzt sind wir in einem Random Dungeon. Random Dungeons sind so ähnlich wie Roguelikes. Kennst du Roguelikes wie NetHack? Ja,

Benedikt Stemmildt 45:24
Klar, auf jeden Fall. Ja.

Steve Yegge 45:26
Und aber die sind tatsächlich zufällig generiert, und da sind Monster drin und Fallen und Quests und so. Und die Spieler finden irgendwann ihren Weg zu denen. Ich fass es nicht, dass da fast keine Monster drin sind. Wir sind auf einem sehr niedrigen Level. Und die verbringen ihre ganze Zeit in diesen, in diesen Random Dungeons im Spiel.

Benedikt Stemmildt 45:43
Okay.

Steve Yegge 45:44
Also eins der Dinge, in denen ich gut. Also diese kreative Storyline, von der ich dir erzählt hab. Dass die, da gibt's eine, da gibt's eine Schwelle, die mit jedem neuen Model-Release steigt: wie gut eine Map sie machen können und wie gut eine Geschichte sie erzählen können und wie gut ein Pixel-Art-Bild sie zeichnen können, ne?

Und und eine der Linien, die wir da, glaube ich, vielleicht so angehen können, einer der Punkte, wo sie vielleicht tatsächlich durchbrechen könnten. Ist bei der Generierung von Random Dungeons.

Wenn ich sage, die sind hässlich, und das war eine Skizze. Das war einfach so eine Skizze davon, wie ich sie haben wollte. Die sind nicht annähernd so ausgefeilt wie so Dwarf Fortress, ne?

Und hilf mir, sie dahin zu bringen. Okay. Das ist ein Problem, bei dem, glaube ich, potenziell ein Modell wie Fable oder Astra vielleicht helfen könnte, es anzugehen.

Und weil es, es ist eingeschränkt, es ist begrenzt, es wäre eine neue Art Dungeon, wenn es also furchtbar wäre, könnten wir es einfach abfackeln. Weißt du, es ändert nicht die grundlegende Spielbalance oder Dynamik.

Also musst du so Ausschau halten. Nach Dingen, die die Modelle in Bereichen können, wo sie sich unwohl fühlen. Und dann benutzt du das als Eval.

Und bei jedem neuen Model-Release probierst du dein Eval wieder, ne? Mein Spiel ist voll von. Die können das Artwork nicht, die können die Storylines nicht, die können dies und das nicht.

Und es gibt eine ganze lange Küstenlinie an anderen Features, mit denen sie. Zu kämpfen hatten. Und an dieser Küstenlinie setze ich jede neue Modellgeneration an und sage: Lass es uns nochmal probieren.

Kriegen wir es diesmal hin? Ja.

Benedikt Stemmildt 47:09
Ja, interessant. Ich glaube wirklich, da ist viel davon, was man auf so echte Projektarbeit von so, so Enterprise-Organisationen und so übertragen kann, oder? Ich meine, dieses Spiel ist nicht. Das ist auch echte Arbeit. Das meinte ich nicht, sondern es ist eher, weißt du, ne? Das ist so du und die Spieler und. Eine sehr gut abgegrenzte Umgebung. Aber viel von dem, was du, was du gesagt hast, lässt sich sehr gut auf, auf echte, so große Enterprises übertragen. Ja,

Steve Yegge 47:41
Es ist ein Mikrokosmos. Weil, ich meine, wenn ein großes Enterprise, die haben meistens einen großen Monolithen, der eine riesige Nervensäge ist, aber selbst ihr größter Monolith ist so. Ein ziemlich kleiner Bruchteil ihres gesamten Codes.

Und was sie meistens haben, sind viele Teams mit vielen Systemen, die eher nah. Näher an dem hier sind, was die Größe angeht. Das hier sind ungefähr eine Million Zeilen Kotlin-Code und noch mal eine oder zwei Millionen Zeilen Helper-Code.

Und also, genau, eine Codebase mit ein paar Millionen Zeilen, das ist mittelgroß.

So, das ist, weißt du, 90, keine Ahnung, 95% der GitHub-Repos fallen da rein. Warum ist, glaube ich? Es ist also sehr relevant für Enterprise-Teams, ne?

So, und und die setzen das Zeug gerade auf, ne? Aber ich sag dir, ich sag dir meine größte Erkenntnis. Willst du meine größte Erkenntnis aus dem Ganzen hören, abgesehen davon, dass es noch nicht so weit ist?

Meine größte Erkenntnis ist, dass alle, f, komplett verkehrt herum darüber nachdenken, wie das in deine Organisation reinkommt. Alles klar. Ich hab darüber noch nicht gebloggt, also ist das, ich werde.

Je nachdem, wie schnell du diesen Podcast rausbringen kannst, ne, wäre dein Publikum zuerst dran. Alle denken, dass KI über den SDLC in Unternehmen reinkommt, angefangen bei Engineers. Die Code schreiben.

Und dann Agenten benutzen, um Code zu schreiben, und dann Agenten benutzen, um Code zu pushen und Code zu reviewen, und nach und nach Komponenten des SDLC übernehmen. Ne, auf sehr geordnete Weise. Und sie werden diesen Code in die Business Units rausschieben, und nach und nach werden die Business Units anfangen, aufzugreifen.

Coding, und dann nach und nach irgendwann, nachdem all das Zeug erledigt ist.

Fängt man an, Production-Agenten aufzusetzen, die tatsächlich so wie Mitarbeitende im Unternehmen sind. Die tatsächlich kleine Tape Cues von verschiedenen

Enterprise-KI kommt verkehrt herum an

Benedikt Stemmildt 49:29
Story, wie ein perfektes Märchen.

Steve Yegge 49:30
Klingt das nach dem, was w würdest du zustimmen, dass die Leute denken, dass das passieren wird?

Benedikt Stemmildt 49:34
Ja, das ist, was die meisten Leute denken, dass das passieren wird, ja.

Steve Yegge 49:38
Ja, also lass mich dir erzählen, was wirklich passiert. Bei echten Firmen, ich nenne keine Namen, aber das sind so große globale Banken und so. Wir reden über Firmen, die technologisch super weit vorne sind.

Und die das von beiden Seiten aus probiert haben. Was tatsächlich passiert, ist: Jeder, der versucht, die Build-Seite zu machen, läuft in Wheelhouse-Probleme. Die Merge Queue und die anderen vielen, vielen anderen Probleme damit.

Die haben wahrscheinlich nicht mal Beads, also die sind nicht mal, die sind noch nicht mal so weit, dass sie in meine Probleme laufen, die laufen erst mal in ihre eigenen Probleme.

Und es ist Problem, Problem, Problem, Problem, Problem, Problem. Währenddessen kriegt jeder, der einen Agent in Produktion hochzieht, um eine Ticket-Queue abzuarbeiten, das sofort zum Laufen, und die werden süchtig danach, und ehe man sich's versieht, haben sie so 12 davon. Ist komplett verkehrt herum.

Es gibt da draußen schon Firmen, die haben. 50 bis 80 % ihres Kundenservice. Ticket-Traffic, der bei produktiven Agenten mit direktem Menschenkontakt reinkommt. Okay.

Und genau diese Firmen haben interne Ticket-Queues, wo Mitarbeitende mit Account-Problemen oder Rechnerproblemen oder was auch immer, mit denen sie normalerweise zu einem internen so Team gehen würden, so IT oder SDLC oder was auch immer, die werden auch von Agenten bearbeitet.

Und trotzdem rufen mich genau diese Firmen an, weil sie mit der Wheelhouse-Seite kämpfen, der Build-Seite. Weil sie unglaublich ungleichmäßige, unvorhersehbare. Einfach durch die Bank schlechte Ergebnisse kriegen.

Meistens. Davon, dass sie einfach versuchen, ihrem Agent, ihren Engineers Agenten zu geben, oder? Und die Diskrepanz ist so unintuitiv, weil, oder?

Es ist so: Moment mal. Ich dachte. Bei Agenten ging's nur ums Code-Bauen, und eigentlich war es für sie zu unscharf, in der echten Welt zu arbeiten, und es war zu gefährlich.

Und, oder? Das alles, das Ganze wirkt auf den Kopf gestellt und verkehrt herum, oder?

Ja, es ist interessant. Hast du irgendwelche Gedanken

Benedikt Stemmildt 51:30
Dazu?

Steve Yegge 51:33
Warum glaubst du, na gut, okay, also glaubst du mir? Ja.

Benedikt Stemmildt 51:39
Ich glaube, da ist, da ist in beidem eine Wahrheit, um hier mal Fable-mäßig zu sein. Du hast halb recht und ich hab halb recht. Ja,

Steve Yegge 51:48
Du hast halb recht und ich hab halb recht.

Benedikt Stemmildt 51:53
Ich meine, ich, ich glaube, dass bei, bei den Tickets der, der interessante Teil ist, dass es normalerweise viel so gibt, wenn ich ein Mensch bin und ein Ticket erstelle und dann will ich nicht, dass die Leute mir sofort antworten, oder? Also gibt es diesen unmittelbaren Effekt, dass alles, was in ein Ticket geht. Von Natur aus diese Wartezeit haben darf, bis man eine Antwort kriegt.

Deshalb, ich, ich hab das Gefühl, dass die, die Nutzbarkeit, Agenten in den Prozess einzubinden, die Menschen nicht so s als solches oder nicht so sehr betrifft, wie wenn du so einen, so einen synchronen Prozess hast, oder?

Und deshalb hab ich das Gefühl, dass man das da für viele Aufgaben sehr gut einbinden kann, und vieles ist sehr gut dokumentiert und so weiter. Und das sehen wir auch, wenn, wenn zum Beispiel mehrere Teams zusammenarbeiten. Software-Teams, und ein Team sagt: Oh, die anderen Teams stellen uns die ganze Zeit so viele Fragen zu unserem Kram, und dann sagen wir so: Ja, warum integriert ihr nicht einfach einen Agent in euer Slack?

Und dann kann der Agent für euch antworten, und das funktioniert sehr, sehr gut.

Weil er es einfach nachschlagen kann. Und auf der anderen Seite funktioniert die, die Build-Seite auch gut. Bis man ihr zu viel gibt, so bis man den Sprung machen will, zu sehr autonom zu sein.

Oder? Also w, wenn, wenn du, genau, du musst so haben, deshalb glaube ich auch, ich meine, du hast es im Podcast v auch erwähnt, dass in der Folge, dass wir in naher Zukunft nicht weniger Menschen dafür brauchen werden. Es ist eher so, dass wir mehr Wünsche haben, also brauchen wir mehr Leute, um das ganze Zeug zu machen.

Und dann brauchen wir Leute, die tatsächlich in der Lage sind, so wie du, herauszufinden, wie so eine Fabrik funktionieren könnte. Was mehr Arbeit erzeugen wird. Und damit mehr Leute, die man braucht, also ja, ich hab das Gefühl, die, die Antwort, dass die Fabrik nie fertig sein wird, scheint tatsächlich ziemlich, ziemlich zu stimmen. Also würde ich Faber da glauben.

Steve Yegge 53:55
Ja, weißt du, dein Punkt mit der Autonomie ist entscheidend, oder? Es ist, ist, ist, solange du nicht versuchst, in die Richtung zu drücken, deinen Code-Software-Produktionsprozess, so dein s, dein, dein, dein Software Engineering. Solange du nicht versuchst, es zu automatisieren oder zu überautomatisieren.

Dann ich, und solange du es so denkst wie: kluge Menschen, die sich so schnell bewegen, wie kluge Menschen es können. Kognitiv, okay, mit superintelligenter Hilfe. Dann, dann bleibst du vorne.

Oder? Und es wird, du wirst, schau, es wird viel, es wird viel Druck von Engineers geben, die so schneller werden wollen. Und du wirst diese Front tatsächlich vor sie stellen wollen und sagen: Nein, die bewegt sich nur so schnell.

Okay. Und all die restlichen Token, die du ausgeben willst, gib sie für Qualität aus. Hinter dieser Front, oder?

Hinter dieser sich bewegenden Front, weil es viel aufzuräumen gibt. Es gibt immer viel, oder? Also wenn du Token verbrennen willst, sorg dafür, dass die Sachen hohe Qualität haben, aber sorg dafür, dass du misst, ob diese Qualität eine Wirkung hat.

Als Fable gesagt hat, ich hätte halb recht und halb unrecht damit, dass meine P3s wichtig sind, oder, da hat sich herausgestellt, dass es so viele Dateien gab. Bei denen das Fixen aller P3s tatsächlich null Einfluss darauf hatte, ob die Datei weiter ein Hotspot blieb oder nicht. Also darauf, ob es tatsächlich die Qualität von verbessert hat.

Und deshalb, deshalb funktioniert es, einen Agent in ein Slack zu setzen oder einen Agent auf eine Ticket-Queue zu setzen oder was auch immer. Oh. Für Firmen gerade so viel besser, als zu versuchen, den Build voranzutreiben.

Prozessautomatisierung. Mit Agenten. Der Grund ist, dass der Blast Radius wirklich klein ist.

Es ist ein Kunde, es ist ein Ticket, es ist eine Interaktion. Während ich es hier mit Hunderten von Tickets gleichzeitig zu tun habe. Buchstäblich, ich schiebe durch. 230 am Tag bis 270 im Schnitt.

Und ich könnte 500 durchschieben, wenn ich genug Leute hätte, die all die Arbeit beim Playtesting auffangen, oder? Ja. Also, was passiert, ist, es gibt ein Gesetz, ich hab vergessen, wessen Gesetz das ist, dass deine Bottlenecks flussabwärts geschoben werden, oder?

Wenn du einen Bottleneck entfernst, wird er einfach.

Und aber angefangen hat's mit Toyota. Goldratt?

Benedikt Stemmildt 56:12
Ich weiß nicht. Goldratt hat ein Buch darüber geschrieben, The Gold. Nicht sicher.

Steve Yegge 56:15
Klar, aber weißt du, es ist, es ist das, es ist dieses Fertigungsding, das Toyota entdeckt hat. Und es ist absolut, es ist brutal. Es ist so richtig gnadenlos.

So, sobald deine Engineers so auf das, auf das Level beschleunigen, auf dem ich bin. Machen sie all ihre Kunden flussabwärts das. All ihre, all ihre Leute, die das Zeug konsumieren, das sie, weißt du, da hochschieben, oder, also angefangen bei deinen Kollegen-Engineers, die sind überwältigt von zu viel zum Reviewen.

Oder? Und dann fangen die Business-Kunden an, sauer zu werden, weil sie zu viel zu verarbeiten haben.

Du gehst. Ich hab von einer großen Bank gehört, dass das passiert ist, dass die Engineers schnell waren und dann das Business nicht mithalten konnte. Und die Businesses.

Benedikt Stemmildt 56:57
Zu viele Fragen von den Engineers.

Steve Yegge 56:59
Nein, es waren nicht mal zu viele Fragen. Die Engineers haben Sachen gelauncht, die das K, die das Business angefragt hatte. Mhm. Aber sie haben es zu schnell gemacht. Das ist in der Geschichte der Software noch nie passiert.

Benedikt Stemmildt 57:11
Ja.

Steve Yegge 57:12
Vielleicht kurze Spitzen hier und da, aber im Großen und Ganzen war es noch nie so, dass sie, sie Sachen anfragen und so schnell kriegen konnten, dass sie die Marketingkampagnen und die, und die Buchhaltungsabstimmung und was auch immer sie sonst brauchen, die GTM-Seite, nicht hinkriegen, um die Features tatsächlich aufzunehmen. Und deshalb wehrt sich das Business. Und dann machst du Druck auf das Business und sagst: Warum könnt ihr nicht schneller?

Und jetzt hast du ein kulturelles Problem. Also, ich kann lachen und auf die Bank zeigen und sagen, ha, aber es ist mir passiert, oder?

Ich war so schnell, dass meine Spieler nervös geworden sind, und sie sind zu mir gekommen und meinten so: Wir müssen die Roadmap sehen. Das geht viel zu schnell, oder? Deshalb bin ich ausgeflippt, als während des Dry Dock letzte Woche, als meine Fabrik gar keine Spielarbeit machen sollte.

Und sie hat 46 Sachen gelauncht. Von denen einige zurückgerollt werden mussten, und dann gab es diese Verhandlung. Aber deshalb bin ich ausgeflippt, weil, schau, wenn ich meinen Spielern zu viele Features in den Hals stopfe, selbst wenn es Sachen sind, die sie sich gewünscht haben.

Dann kriegen sie Angst und werden sauer. Das ist einfach ein umwerfendes Ding für Organisationen, damit werden sie umgehen müssen. Also kriegst du diese komischen Situationen, wo der CTO oder der CIO oder irgendwer da oben KI-gepillt ist.

Und die sagen so: Wir ziehen das jetzt einfach, einfach durch, und wir automatisieren, und wir werden schnell sein. Ohne zu merken, erstens, welchen Blast-Radius-Effekt sie haben werden. Und zweitens, wie viel Churn sie haben werden.

Weil das meiste Zeug, das sie bauen, Müll sein wird.

Ich musste dreißig, vierzig Prozent meiner Fabrik abfackeln, die Fable Five sorgfältig gebaut hatte. Und es war gut, dass wir sie abgefackelt haben, aber das war viel verschwendet, das war eine Woche verschwendeter Token und keine Commits, oder? Also wirst du wirklich durchwachsene sehen, das ist schwer zu messen. Ticket-Queues sind leicht zu messen. Deshalb gewinnt es auf der Ticket-Queue-Seite, oder? Es ist, weil, wenn du einen Agent hochziehst, um Kundenservice-Anliegen zu bearbeiten, dann hast du wahrscheinlich.

Jahre bis Jahrzehnte an echten, realen Daten von Menschen, die antworten. Und also, also weißt du, wie gut die Agenten abschneiden. Im Vergleich zu Menschen beim Lösen bestimmter Kategorien von Anliegen.

Du hast ein Histogramm, oder, von deinen Top 10. Ich kann dir jetzt schon sagen. Agenten sind besser als Menschen darin, Geld einzutreiben.

Okay, bei diesem einen Arm, okay, ein paar verschiedene Banken haben mir das erzählt. Und es ist einfach, es ist eine Fähigkeit. Agenten haben Menschen bei dieser Fähigkeit überholt.

Es ist messbar. Und deshalb ist es ein No-Brainer, da einen Agent reinzusetzen, weil sie wissen, wie gut der Agent im Vergleich zu Menschen abschneidet.

Und es ist nicht wie bei selbstfahrenden Autos, wo jemand stirbt. Es ist einfach ein Fehler, um den sich später ein Mensch kümmern muss, oder? Je nachdem, wie deine Kundenservice-Anforderungen sind.

Also war es da eigentlich ein großer Erfolg, obwohl alle sagen, dass es nicht funktioniert. Und dann war es auch innerhalb von Firmen ein Erfolg, weil, wieder, oder, die Kosten und der Blast Radius. Und, und eigentlich ist die Schwierigkeit des Problems so viel einfacher.

Jeder Agent hat nur eine Sache, um die er sich kümmern muss. Er hat ein langes historisches Log von internen Kundentickets, die gelöst wurden, das sie sich als Korpus anschauen können, aus fast 10 Jahren.

So Geld an dem Punkt. Genau, also kann man es messen. Und also, also deshalb sag ich, so, Firmen denken verkehrt herum darüber nach.

Die kommen zu mir und sagen: Wir müssen all unsere Engineers in Vibe Coding schulen, damit sie a, damit sie alle fünfmal so produktiv aussehen. Und ich so: Nein. Nein, nein, nein, nein, nein, nein.

Das ist nicht das, was ihr tun müsst. Was ihr tun müsst, ist, einen hochzuziehen. Einen produktiven Agent, in, lasst euer Team, eure Engineering-Teams zusammenkommen und herausfinden, welcher es ist.

Ich hab das neulich mit einer großen Security-Firma in London gemacht. Und es war ihre Idee, aber es hat sich als großartige Idee herausgestellt. Die meinten so: Steve wird uns sagen, wie es geht.

Werde ich, weißt du, und hab ich, oder? Die haben so einen hochgezogen. Eigentlich nicht die, es sind die, die man nicht sehen kann.

Also hab ich kein gutes Dashboard für die. Ich hab, ich schätze, ich muss sie castellen, aber. Ich hab all diese produktiven Agenten, die wir uns gerade nicht anschauen, die mein Spiel betreiben.

Es gibt einen, der Spielerunterhaltungen beobachtet, um zu sehen, ob jemand was Unanständiges sagt, so ein Missbrauchsdetektor. So auf der Suche nach Trollen und so. Weil jedes Mal, wenn ich einen Blogpost mache, manchmal ein paar Trolle auftauchen, oder?

Und jetzt hab ich also einen echten Agent, der das, das, das überwachen kann. Und dann hab ich einen anderen, der schaut, weißt du, so wie SRE, ob die Services laufen. Ich hab noch einen, das ist die Wish Factory, die bestimmte Channels nach Feature-Ideen durchsucht und so weiter, oder?

Das sind so, User Standing Agent. Unbeaufsichtigte autonome Agenten mit sehr engem Scope. Und es gibt Regeln für sie.

So, die, weißt du, wenn sie beobachten, dann dürfen sie nicht handeln. Und wenn sie handeln, dürfen sie nicht urteilen. Und so weiter.

Weißt du, du musst all diese Dinge festlegen. Wenn eine Firma einen davon aufsetzt, einen. Dann merken sie plötzlich, wie kompliziert es ist, einen davon aufzusetzen.

Weil, erstens, es ist nicht nur einer. Es ist, wie gesagt, du musst es aufteilen in den Intake und das Routing und den Decider und den Executor und den Reviewer und all das.

Also hast du einen Cluster. Nur um die eine Ticket-Queue zu machen. Genau.

Und dann müssen sie an unendlich viele Accounts und Monitoring-Systeme und Backups angeschlossen sein, und sie müssen voneinander wissen und Mail haben, und sie müssen so. Es wird einfach ein riesiges Engineering-Projekt, nur um diese Dinger hochzuziehen, um einen Menschen in der Queue zu ersetzen. Und sie haben keine Ahnung, wie viel Arbeit es sein wird, bis sie tatsächlich anfangen.

Und es ist nicht mal nur ein einmaliges Setup, es ist laufende Arbeit.

Okay, und sie mögen es, es ist gute Arbeit, weil die Agenten hässliche Ticket-Arbeit machen, die Menschen nicht machen wollten, und sie machen Engineering-Arbeit mit Agenten, damit die Agenten besser funktionieren. Oder? Also, ich weiß nicht, es ist nicht für jeden, aber das ist so irgendwie, was gerade passiert.

Und währenddessen, wenn du versuchst, ich meine, weil es gerade ein riesiges Kompetenzproblem gibt. Es gibt eine riesige Kluft in der Branche. Agenten-Kompetenz.

So deine Fähigkeit, mit Coding Agents wie Codex und Claude Code hier zu arbeiten, oder?

Ja. Das hängt stark davon ab, wie viel Informatikwissen du hast und im Kopf behalten kannst. Und, weißt du, Software Engineering, wie viel, so wie viel Systemwissen du haben kannst.

Gute Produktmanager haben das übrigens. Ist es? Die besten PMs, die besten Produktmanager sind Software Engineers und Informatiker, die ein funktionierendes Modell des ganzen Systems im Kopf haben: den Datenfluss und die Edge Cases.

Alles davon, oder? Das hast du im Kopf, und du musst richtig schnell lesen und schreiben können.

Und du brauchst irgendein System, das dich so zwischen Agenten wechseln lässt. Und du brauchst ein Memory-System und ein Gehirn. Und die Leute wissen nicht, wie das geht.

Oder? Wir haben zum Beispiel im April eine Präsentation von Netflix gesehen, wo sie Engineers darin schulen, und die gehen von null Millionen Token am Tag, wo sie nur mit der K, mit der, mit, mit KI chatten. Die nutzen nicht mal Agenten, die chatten nur. 0 Millionen Token am Tag hoch auf 4 Millionen Token am Tag.

Okay, wenn sie einen einzelnen Agent synchron über den Arbeitstag hinweg nutzen.

Also können sie mit einem Agent reden, aber sie schauen ihm bei der Arbeit zu. Was immer noch so irgendwie grenzwertig Analphabetentum ist, aber es ist, es ist besser. Und dann schließlich, wenn sie gelernt haben, genug Vertrauen aufzubauen, um den Agent allein arbeiten zu lassen und ab und zu nach ihm zu schauen, und jetzt können sie drei oder vier davon gleichzeitig laufen haben, jetzt kommen sie auf 12 bis 15 Millionen Token am Tag. Und dann werden sie zu Vielfraßen und man muss ihnen beibringen, keine Token auszugeben.

Und sie sind immer noch sechs Monate hinter dem, wo ich hier bin, und mein Zeug, ich kann es kaum zusammenhalten. Also, ich sag ja nur, so, wenn du diesen Weg entlangstürmst und sagst: Ich hab über Steve Yegges Wheelhouse gelesen und wir machen das in unserer Firma. Dann steht dir eine Welt voller Schmerz bevor. Wirklich, wirklich. Das ist es. Es ist ein, es ist ein, es ist so, als ob du einfach eine große Schrotflinte baust, mit der du einfach rumballern kannst. Was glaubst du, was passieren wird?

Mit einem einzigen Agent in der Produktion anfangen

Benedikt Stemmildt 1:04:21
Ja. Ich meine, ich d... ich finde, das ist ein sehr guter Punkt, um die Episode zu, zu beenden: dass man sich auf echten Outcome konzentrieren sollte und auf den Scope, den man gerade tatsächlich bauen kann, und nicht versuchen sollte. Ich meine, es ist ähnlich wie das, was, was Microservices vorher gemacht haben, oder?

So, jemand hat gesagt, Microservices sind toll, alle haben Microservices gebaut und dann: Oh Shit, das ist nichts für uns, das ist nur für Netflix oder so was, oder? Also. Wir sollten uns wahrscheinlich alle mehr auf den echten Outcome konzentrieren.

Und dann dich rausfinden lassen, wie man das ganze Zeug macht, damit wir es später nutzen können.

Vielleicht ist das ein guter Punkt.

Steve Yegge 1:04:55
Und auf Outcomes fokussiert zu sein ist so. Das ist der neue, das ist der neue Nordstern. Das musst du jetzt machen. Da gibt's kein Rumgeeiere mehr. Ein Kumpel von mir, Mik Kersten, hat gerade ein Buch geschrieben, das heißt output to outcome, in dem er einen Haufen Muster identifiziert, wo Leute nicht. Einen guten Job dabei machen, so, weißt du? Weil, ich meine, so, die messen jetzt Outputs. Token-Ausgaben, IG, VR Throughput, PRs,

Benedikt Stemmildt 1:05:19
Ja, Code-

Steve Yegge 1:05:20
Zeilen. Keine Ahnung, die wissen nicht, was sie messen sollen. Und dann gibt es Leute, Firmen, die tatsächlich wissen, wie man Outcomes misst.

Das sind meistens, weißt du, wer, weißt du, wer am besten ist? Ich sag dir, wer am besten darin ist, tatsächlich Outcomes von Engineering-Arbeit zu messen. Das sind, wie sich herausstellt, die Glücksspielfirmen.

Okay, alle, die irgendeine Art von Online-Glücksspiel oder Sportwetten oder Spielautomaten oder. Und ich hab mit vielen von diesen Firmen gesprochen, und die machen seit Jahren bis Jahrzehnten dasselbe. Mit unglaublich präzisen Toleranzen, oder?

Und deshalb haben sie jede Menge Daten und sie wissen. Wie lange Projekte dauern? Und sie wissen, wo Projekte schiefgehen. Und sie kennen so. Bug-Regressionsraten und das alles. Weil man einfach Spiel um Spiel oder Erlebnis um Erlebnis raushaut, die alle leichte. Abwandlungen voneinander sind. Oder?

Benedikt Stemmildt 1:06:06
Ja.

Steve Yegge 1:06:07
Und deshalb sind sie, sind sie erstaunlich gut darin, die Outcomes von dem Zeug zu messen. Und sie sind, ehrlich gesagt, sie, sie kämpfen alle auch noch damit. Ich meine, so neu ist das.

Also, ich meine, so die frohe Botschaft hier, es gibt hier jede Menge frohe Botschaften. Eine ist, dass KIs uns nicht die Jobs wegnehmen. Sie verändern unsere Jobs.

Eine andere Botschaft ist, dass du nicht hinterher bist. Deine Firma macht es wahrscheinlich tatsächlich genauso gut wie alle anderen, was so viel heißt wie: schlecht. Warum?

Weil es heute nur ein Modell, zwei Modelle gibt, die überhaupt was taugen, Fable 5.1 und 5.0.

Genau. Und die sind zu teuer, die sind so teuer, dass die meisten Firmen sie abgeschaltet haben. Und deshalb arbeiten Firmen tatsächlich mit dummen Modellen, die nicht wirklich in der Lage sind, irgendwas von dieser Art zu machen.

Und ihr KI-bekehrter CTO sagt: Macht es, macht es. Und das verursacht Reibung und Spannung. Und, und Angst und Wut und böses Blut, und die Leute sind sauer, und ist es da ein Wunder, dass sie die Agenten mobben, wenn die reinkommen?

Oder? Aber es wäre alles viel einfacher, wenn du aufhören würdest zu versuchen, Software mit Agenten zu bauen, so, so wie Verrückte, so wie ich das mache, weil es einfach, es ist gerade echt schwer.

Okay, außer du kannst dir Fable und so weiter leisten. Und anfangen würdest, dich auf deine KI-Mitarbeiter zu konzentrieren, weil das hier immer noch gilt. Das ist eine Obermenge von diesem Problem. Diese Agenten hier sind immer noch langlebige Mitarbeiter. Sie haben Erinnerungen. Sie haben einen Seat-Rentenplan, falls ich den Seat abschalten muss, oder? Sie haben so, sie haben, sie haben Chartas und Lanes und so, sie haben, sie haben Verantwortlichkeiten. So

Benedikt Stemmildt 1:07:37
Ja.

Steve Yegge 1:07:38
Wenn ich einen von denen verliere, ist das irgendwie eine große Sache, oder? Und deshalb, so, also so, warum nicht einfach alle deine Lektionen über KI-Mitarbeiter lernen, ohne dich mit deiner Merge Queue und deinem Blast Radius, deine Kunden und deine Lektionen mit Business-Usern zu zerstören, rumschlagen zu müssen? Trenn diese beiden Lektionen und konzentrier dich auf die einfache. Und wenn du die dann draufhast, dann kannst du in diese hier einsteigen.

Benedikt Stemmildt 1:08:01
Langsam machen, um schnell zu werden.

Steve Yegge 1:08:02
Langsam machen, um schnell zu werden. Ja. Und langsam machen in der richtigen Lane.

Benedikt Stemmildt 1:08:08
Vielen, vielen Dank, Steve. Es war fantastisch. Mir hat es echt Spaß gemacht. Ich hoffe, dir auch. Ich hatte viel Spaß.

Steve Yegge 1:08:15
Es hat Spaß gemacht. Während wir geredet haben, haben sich Leute in mein Spiel eingeloggt und ausgeloggt. Ich hab Rakazaz hier gesehen. Der ist aus Singapur. Meine Spieler kommen aus der ganzen Welt. Das ist ziemlich verrückt. Oh, das war nicht Rackus. Ach ja, der Typ hier, Racktheliox. Also jedenfalls, ja, mein Spiel wird hier in ein paar Jahren eine große Sache, sobald ich das hier rausgefunden hab. Danke, dass ich da sein durfte. Ich, es hat echt Spaß gemacht, zu quatschen. Ich hoffe, das war nicht.

Benedikt Stemmildt 1:08:42
Vielen Dank, dass du da warst. Ich stopp mal die Aufnahme. Mhm.

Steve Yegge 1:08:47
Cheers.

Benedikt Stemmildt 1:08:48
Wow, was für eine Episode. Vielen Dank fürs Zuhören. Und Steve, vielen Dank, dass du da warst.

Wirklich eine Ehre. Es war großartig zu sehen, wie du arbeitest. Woran du gerade arbeitest, und ich hab das Gefühl, dass nicht viele Leute so weit vorne sind wie du.

Und das ist wirklich so ein Blick in die Zukunft, was passieren wird. Wenn ihr mehr erfahren wollt: Spielt mit Steve. Tretet seinem Spiel bei, es heißt Wyvern.

Oder ihr könnt euch auch den Harness anschauen, den er benutzt hat, Wheelhouse.

Er hat außerdem zusammen mit Gene Kim ein Buch über Vibe Coding geschrieben. Das findet ihr alles in der Beschreibung. Lest, lest es. Und ja, wenn ihr in die Show kommen wollt oder wenn ihr, wenn ihr jemanden kennt, den wir für die nächste Episode interviewen sollten, sagt uns bitte Bescheid. Schreibt uns. Wir sind immer scharf darauf, neue Leute kennenzulernen. Ja, nee, ich glaube. Das war's. Das war die erste neue Episode von Rethink Engineering. Powered by re:cinq und von hackers&wizards. Bis zum nächsten Mal.

Benedikt Stemmildt 1:09:55
Mhm.