w⁴iya × AgentDojo
Berichtete Ergebnisse für w⁴iya Arena C2 über vier AgentDojo-Welten mit Qwen3-235B.
WeiterlesenAngriffserfolg, w⁴iya C2
Normale Aufgaben erfüllt
Quelle: bereitgestelltes Sequire-Deck, 15. Oktober 2026, Folie 8. Angaben aus dem Deck übernommen; in dieser Website-Arbeit nicht reproduziert.
Der vollständige Vergleich
AgentDojo (ETH Zürich) ↗ · Projekt und Code
Klicke auf einen Systemnamen, um die getestete Architektur anzusehen. Markiert sind ausschließlich w⁴iya-Felder mit einem strikt besseren berichteten Punktwert als alle anderen gemessenen Schutzsysteme. Die Referenz ohne Schutz und die OAuth-Schätzung zählen nicht zum Bestwert-Vergleich. Eine Markierung belegt keine statistische Signifikanz.
| System | Angriffserfolg ↓ | Fehlverhalten / 1.000 Aufrufe ↓ | Prüfzeit / Fall ↓ | Gesamtkosten / Fall ↓ | Normale Aufgaben erfüllt ↑ | Banking-Schaden / 1.000 Aufrufe ↓ |
|---|---|---|---|---|---|---|
| Ohne SchutzArchitektur ansehen ↗ | 71,5% | 162 | 0 s | $0,00782/4 Welten gemessen | 82,0% | €83.98195%: €72.024 – €97.240 |
| OAuth (Schätzung)Architektur ansehen ↗ | 15,1% | 41,4 | < 0.001 s | $0,00782/4 Welten gemessen | 58,5% | €37.00895%: €19.412 – €54.531 |
| LlamaFirewall (Prompt Guard 2)Architektur ansehen ↗ | 63,4% | 158 | 0,72 s | $0,0079 | 81,4% | €96.19095%: €66.712 – €128.228 |
| Invariant (unsere Regeln)Architektur ansehen ↗ | 24,0% | 34,2 | 0,073 s | $0,0084 | 61,8% | €3.66395%: €0 – €10.915 |
| Progent (Aktualisierung an)Architektur ansehen ↗ | 52,7% | 105 | 15,36 s | $0,0186 | 81,1% | €35.11495%: €18.012 – €52.099 |
| Progent (Aktualisierung aus)Architektur ansehen ↗ | 5,4% | 17,9 | 2,22 s | $0,0093 | 70,4% | €13.38995%: €2.911 – €26.771 |
| w⁴iya (arena C2)Architektur ansehen ↗ | 1,9% | 3,0 | 0,017 s | $0,0081 | 69,9% | €2695%: €0 – €79 |
Vier-Welten-Schnitt aus Travel, Slack, Banking und Office. Finanzielle Schäden stammen ausschließlich aus Banking. Bei Einzelwelten zeigt „95%“ den Bootstrap-Bereich aus der Quelldatei; beim Durchschnitt wird kein gepooltes Konfidenzintervall behauptet. OAuth bleibt eine Schätzung.
Quelle: bereitgestellte interaktive Matrix · pitch-matrix-v3e-wiya_20261015-1940.html · aggregierte Angaben übernommen, keine erneute Ausführung der Tests.
Die getesteten Architekturen
Die Diagramme und Erläuterungen stammen aus deiner interaktiven Matrix und beschreiben die jeweilige Testkonfiguration.
Ohne Schutz
Keine Prüfung
Ausgangslage
So laufen KI-Agenten mit Werkzeugen heute, wenn niemand etwas davor setzt. Jeder Text, den ein Werkzeug zurückgibt, kann den Agenten umlenken.
Warum in der Matrix
Die Messlatte. Ohne sie ist keine Zahl der anderen Zeilen einzuordnen.
Grenzen im Test
Büro und Banking aus Runde 1 (3 Wiederholungen), neu mit Schadensmaß v4 gezählt; keine Kostenmessung in Büro und Banking.
OAuth
Kein Modell in der Prüfung
Was es repräsentiert
OAuth sauber angewendet: Rechte pro Aufgabe nach dem Prinzip der geringsten Rechte. Jedes Werkzeug braucht ein Recht; die Prüfung ist eine Tabellenabfrage.
Warum in der Matrix
Der stärkste Fall für Zugriffsrechte. Er senkt den Angriffserfolg, kostet aber normale Aufgaben (Ø 58 %): Rechte gelten nach Werkzeug, nicht nach Ziel. Wo ein erlaubtes Werkzeug missbraucht wird (Mail senden an Fremde), greift OAuth nicht.
Grenzen im Test
Schätzung, kein Lauf: Nachlauf auf gespeicherten Läufen ohne Schutz. Bester Fall (Orakel: die Werkzeuge der Musterlösung sind vorab bekannt, in der Praxis müsste das jemand festlegen). Der Agent reagiert nicht auf Sperren. Normale Aufgaben zählen als gestört, sobald ein Aufruf gesperrt wird. Reproduktion: Büro 12 von 1.800 und 20 von 1.680 Fällen weichen vom gespeicherten Ergebnis ab, die anderen Welten 0.
LlamaFirewall
Kleines Erkennungsmodell in der Prüfung
Was es repräsentiert
Die Kategorie »bösartigen Text erkennen«. LlamaFirewall von Meta ist ein offenes Schutzpaket; hier der Baustein Prompt Guard 2.
Warum in der Matrix
Zeigt, was Erkennung allein leistet. Der Angriffstext in AgentDojo wird nur zum Teil erkannt (in Runde 3: 0 bis 21 %).
Grenzen im Test
Nur Prompt Guard 2, ohne AlignmentCheck: gezeigt wird dieser Baustein, nicht das ganze Produkt.
Invariant
Kein Modell in der Prüfung
Was es repräsentiert
Die Kategorie »handgeschriebene Ablaufregeln«: Ein Regelmotor von Invariant Labs prüft Aufrufe und den bisherigen Ablauf.
Warum in der Matrix
Der Gegenentwurf zu festen Regeln: Er schützt genau das, was die Regeln abdecken. AgentDojo wurde von der ETH Zürich gemeinsam mit Invariant Labs entwickelt, deshalb gehört es hierher.
Grenzen im Test
Die Regeln stammen von uns und decken das Löschen nicht ab (im Büro stammen alle 35 Vorfälle aus einem Löschangriff). Ein besserer Regelschreiber hätte das vermutlich abgedeckt. Ohne Gateway und ohne Erkennungsmodelle.
Progent (update on)
Sprachmodell in der Prüfung (Regeln erzeugen und aktualisieren)
Was es repräsentiert
Die Kategorie »Rechte automatisch aus der Nutzeranfrage ableiten«, wie in der Forschungsarbeit von UC Berkeley und UC Santa Barbara beschrieben.
Warum in der Matrix
Der engste Forschungs-Wettbewerber: gleiche Idee wie wir (Rechte begrenzen), aber ein Modell schreibt die Regeln. Die Aktualisierung liest Werkzeug-Ergebnisse, also auch Angriffstext.
Grenzen im Test
Regel-Modell Qwen3-235B statt GPT-4o, neuere AgentDojo-Version als im Original. Gilt für dieses Regel-Modell, nicht für GPT-4o.
Progent (update off)
Sprachmodell nur beim Erzeugen der Regeln
Was es repräsentiert
Dasselbe wie Progent, aber die Richtlinie bleibt, wie sie am Anfang war.
Warum in der Matrix
Zeigt, dass Progents Schwäche in der Aktualisierung liegt: ohne sie liegt der Angriffserfolg bei wenigen Prozent, mit ihr bei 24 bis 63 % je nach Welt (Büro/Banking).
Grenzen im Test
Kostet normale Aufgaben und erledigt unter Angriff mehr als wiya. Das Regel-Modell schreibt die Regeln bei jeder Aufgabe neu (Median 1,6 bis 3,9 s). Im Banking nicht sauber: 12 % Angriffserfolg.
w⁴iya (arena C2)
Kein Modell in der Prüfung
Was es repräsentiert
Feste, signierte Befugnisse statt Modell-Urteil: Das Gateway entscheidet nach Regeln, bei Neuem fragt es einen Menschen, jede Entscheidung wird quittiert.
Warum in der Matrix
Das ist unser Ansatz. Die Messung zeigt, was er in der Arena leistet und was er kostet: Rückfragen. Die Prüfung selbst braucht kein Sprachmodell und läuft in Millisekunden.
Grenzen im Test
Arena-Fassung, nicht das Produkt (das Produkt kann heute nur erlauben oder ablehnen). Regeln von uns geschrieben, Mensch simuliert und perfekt. Ein Modell darf einmalig ein Mandat entwerfen; ein Mensch prüft und signiert.
So sind die Zahlen zu lesen
w⁴iya ist hier die Arena-Version C2, nicht das Produkt. Der Mensch ist simuliert und stimmt nicht pauschal zu. Prüfzeit schließt menschliche Wartezeit aus; w⁴iya-Rückfragen an Menschen werden nicht mitgezählt.
OAuth ist eine Schätzung. LlamaFirewall verwendet nur Prompt Guard 2; Invariant unsere Regeln. „Progent update on“ entspricht dem im Deck beschriebenen Autoren-Setup. Diese Konfigurationen sind für den Vergleich wesentlich.
Die interaktive Quelldatei liefert Ergebnisse pro Welt und Bootstrap-Bereiche. Der Vier-Welten-Schnitt ist kein gepoolter Konfidenzbereich. Rohdaten wurden hier nicht nachgerechnet. Markierungen zeigen numerische Punktwerte, keine statistisch gesicherten Gesamtsiege.
Messwerte im Vergleich
Sechs gemessene Konfigurationen aus dem Deck. Die OAuth-Schätzung bleibt in der vollständigen Tabelle. Keine Aussage zur statistischen Signifikanz.
Angriffserfolg
Prozent, Skala 0–100
Aufgabenerfüllung
Prozent, Skala 0–100
Gesamtkosten pro Fall
US-Dollar pro Fall
Banking-Schaden
Euro pro 1.000 Aufrufe, nur Banking