w⁴iya × AgentDojo
Reported results for w⁴iya arena C2 across four AgentDojo worlds, with Qwen3-235B.
Read moreAttack success, w⁴iya C2
Normal tasks done
Source: supplied Sequire deck, 15 October 2026, slide 8. Transcribed reported figures; not reproduced during this website work.
The complete comparison
AgentDojo (ETH Zürich) ↗ · Project and code
Click a system name to inspect its tested architecture. Only w⁴iya cells with a strictly better reported point estimate than every other measured protection system are highlighted. The unprotected reference and OAuth estimate are excluded from that comparison. Highlighting does not establish statistical significance.
| System | Attack success ↓ | Wrong behaviour / 1,000 calls ↓ | Check time / case ↓ | Total cost / case ↓ | Normal tasks done ↑ | Banking damage / 1,000 calls ↓ |
|---|---|---|---|---|---|---|
| No protectionView architecture ↗ | 71.5% | 162 | 0 s | $0.00782/4 worlds measured | 82.0% | €83,98195%: €72,024 – €97,240 |
| OAuth (estimate)View architecture ↗ | 15.1% | 41.4 | < 0.001 s | $0.00782/4 worlds measured | 58.5% | €37,00895%: €19,412 – €54,531 |
| LlamaFirewall (Prompt Guard 2)View architecture ↗ | 63.4% | 158 | 0.72 s | $0.0079 | 81.4% | €96,19095%: €66,712 – €128,228 |
| Invariant (our rules)View architecture ↗ | 24.0% | 34.2 | 0.073 s | $0.0084 | 61.8% | €3,66395%: €0 – €10,915 |
| Progent (update on)View architecture ↗ | 52.7% | 105 | 15.36 s | $0.0186 | 81.1% | €35,11495%: €18,012 – €52,099 |
| Progent (update off)View architecture ↗ | 5.4% | 17.9 | 2.22 s | $0.0093 | 70.4% | €13,38995%: €2,911 – €26,771 |
| w⁴iya (arena C2)View architecture ↗ | 1.9% | 3.0 | 0.017 s | $0.0081 | 69.9% | €2695%: €0 – €79 |
Four-world average across Travel, Slack, Banking and Office. Financial damage is Banking only. For individual worlds, “95%” shows the bootstrap interval supplied by the source; no pooled confidence interval is claimed for the average. OAuth remains an estimate.
Source: supplied interactive matrix · pitch-matrix-v3e-wiya_20261015-1940.html · reported aggregates, tests not re-executed.
The tested architectures
Diagrams and notes are taken from the supplied interactive matrix and describe each tested configuration. Original diagram labels are in German.
No protection
Keine Prüfung
Ausgangslage
So laufen KI-Agenten mit Werkzeugen heute, wenn niemand etwas davor setzt. Jeder Text, den ein Werkzeug zurückgibt, kann den Agenten umlenken.
Warum in der Matrix
Die Messlatte. Ohne sie ist keine Zahl der anderen Zeilen einzuordnen.
Grenzen im Test
Büro und Banking aus Runde 1 (3 Wiederholungen), neu mit Schadensmaß v4 gezählt; keine Kostenmessung in Büro und Banking.
OAuth
Kein Modell in der Prüfung
Was es repräsentiert
OAuth sauber angewendet: Rechte pro Aufgabe nach dem Prinzip der geringsten Rechte. Jedes Werkzeug braucht ein Recht; die Prüfung ist eine Tabellenabfrage.
Warum in der Matrix
Der stärkste Fall für Zugriffsrechte. Er senkt den Angriffserfolg, kostet aber normale Aufgaben (Ø 58 %): Rechte gelten nach Werkzeug, nicht nach Ziel. Wo ein erlaubtes Werkzeug missbraucht wird (Mail senden an Fremde), greift OAuth nicht.
Grenzen im Test
Schätzung, kein Lauf: Nachlauf auf gespeicherten Läufen ohne Schutz. Bester Fall (Orakel: die Werkzeuge der Musterlösung sind vorab bekannt, in der Praxis müsste das jemand festlegen). Der Agent reagiert nicht auf Sperren. Normale Aufgaben zählen als gestört, sobald ein Aufruf gesperrt wird. Reproduktion: Büro 12 von 1.800 und 20 von 1.680 Fällen weichen vom gespeicherten Ergebnis ab, die anderen Welten 0.
LlamaFirewall
Kleines Erkennungsmodell in der Prüfung
Was es repräsentiert
Die Kategorie »bösartigen Text erkennen«. LlamaFirewall von Meta ist ein offenes Schutzpaket; hier der Baustein Prompt Guard 2.
Warum in der Matrix
Zeigt, was Erkennung allein leistet. Der Angriffstext in AgentDojo wird nur zum Teil erkannt (in Runde 3: 0 bis 21 %).
Grenzen im Test
Nur Prompt Guard 2, ohne AlignmentCheck: gezeigt wird dieser Baustein, nicht das ganze Produkt.
Invariant
Kein Modell in der Prüfung
Was es repräsentiert
Die Kategorie »handgeschriebene Ablaufregeln«: Ein Regelmotor von Invariant Labs prüft Aufrufe und den bisherigen Ablauf.
Warum in der Matrix
Der Gegenentwurf zu festen Regeln: Er schützt genau das, was die Regeln abdecken. AgentDojo wurde von der ETH Zürich gemeinsam mit Invariant Labs entwickelt, deshalb gehört es hierher.
Grenzen im Test
Die Regeln stammen von uns und decken das Löschen nicht ab (im Büro stammen alle 35 Vorfälle aus einem Löschangriff). Ein besserer Regelschreiber hätte das vermutlich abgedeckt. Ohne Gateway und ohne Erkennungsmodelle.
Progent (update on)
Sprachmodell in der Prüfung (Regeln erzeugen und aktualisieren)
Was es repräsentiert
Die Kategorie »Rechte automatisch aus der Nutzeranfrage ableiten«, wie in der Forschungsarbeit von UC Berkeley und UC Santa Barbara beschrieben.
Warum in der Matrix
Der engste Forschungs-Wettbewerber: gleiche Idee wie wir (Rechte begrenzen), aber ein Modell schreibt die Regeln. Die Aktualisierung liest Werkzeug-Ergebnisse, also auch Angriffstext.
Grenzen im Test
Regel-Modell Qwen3-235B statt GPT-4o, neuere AgentDojo-Version als im Original. Gilt für dieses Regel-Modell, nicht für GPT-4o.
Progent (update off)
Sprachmodell nur beim Erzeugen der Regeln
Was es repräsentiert
Dasselbe wie Progent, aber die Richtlinie bleibt, wie sie am Anfang war.
Warum in der Matrix
Zeigt, dass Progents Schwäche in der Aktualisierung liegt: ohne sie liegt der Angriffserfolg bei wenigen Prozent, mit ihr bei 24 bis 63 % je nach Welt (Büro/Banking).
Grenzen im Test
Kostet normale Aufgaben und erledigt unter Angriff mehr als wiya. Das Regel-Modell schreibt die Regeln bei jeder Aufgabe neu (Median 1,6 bis 3,9 s). Im Banking nicht sauber: 12 % Angriffserfolg.
w⁴iya (arena C2)
Kein Modell in der Prüfung
Was es repräsentiert
Feste, signierte Befugnisse statt Modell-Urteil: Das Gateway entscheidet nach Regeln, bei Neuem fragt es einen Menschen, jede Entscheidung wird quittiert.
Warum in der Matrix
Das ist unser Ansatz. Die Messung zeigt, was er in der Arena leistet und was er kostet: Rückfragen. Die Prüfung selbst braucht kein Sprachmodell und läuft in Millisekunden.
Grenzen im Test
Arena-Fassung, nicht das Produkt (das Produkt kann heute nur erlauben oder ablehnen). Regeln von uns geschrieben, Mensch simuliert und perfekt. Ein Modell darf einmalig ein Mandat entwerfen; ein Mensch prüft und signiert.
Read the conditions
w⁴iya here is arena version C2, not the product. The human is simulated and never rubber-stamps. Check time excludes human waiting; w⁴iya questions to humans are not counted.
OAuth is an estimate. LlamaFirewall uses Prompt Guard 2 only; Invariant uses our rules. Progent update on follows the authors’ setup as described in the deck. These configurations matter to the comparison.
The interactive source supplies per-world results and bootstrap intervals. The four-world average is not a pooled confidence interval. Raw runs were not reanalysed here. Highlights identify numerical point estimates, not statistically established overall wins.
Compare the measurements
Six measured configurations reported in the deck. The OAuth estimate stays in the complete table. These charts do not establish statistical significance.
Attack success
Percent, scale 0–100
Task completion
Percent, scale 0–100
Total cost per case
US dollars per case
Banking damage
Euros per 1,000 calls, Banking only