Human–Machine Relations Lab
ENKontakt

Evaluationsmethodik

Die Bedingungen eines Ergebnisses ebenso sichtbar machen wie das Ergebnis selbst.

Weiterlesen

Umfang und Herkunft

Modell, Datensatz, Version, Aufgabenmenge und Quelle benennen. Reproduzierte Messungen von Zahlen aus einem bereitgestellten Bericht unterscheiden. Die w⁴iya-Seite verwendet derzeit Letzteres.

Sicherheit und Nutzbarkeit

Angriffserfolg und normale Aufgabenerfüllung beantworten unterschiedliche Fragen. Beide zusammen mit Fehlverhalten pro 1.000 Aufrufen, Gesamtkosten pro Fall und domänenspezifischem Schaden lesen. Eine niedrigere Angriffsrate allein beschreibt nicht die gesamte Nutzbarkeit.

Schätzungen und Unsicherheit

Die OAuth-Zeile ist eine Schätzung und bleibt außerhalb gemessener Bestwertvergleiche. Das Deck beschreibt teilweise überlappende Unsicherheitsbereiche, gibt diese Intervalle in der Tabelle aber nicht an. Wir erfinden sie nicht und behaupten keinen eindeutigen Gesamtsieger.

Menschen und Abdeckung

w⁴iya C2 nutzt einen simulierten Menschen. Menschliche Wartezeit und w⁴iya-Rückfragen an Menschen sind nicht in der berichteten Prüfzeit enthalten. Der Vier-Welten-Durchschnitt ist weder eine Einzelaufschlüsselung noch ein Beleg vollständiger Produktivabdeckung.