KI-Qualität
Wie genau ist die KI? Unsere Messwerte.
Vor jedem Wechsel von Modell oder Prompt prüfen wir die KI mit einem festen Testset aus österreichischem und EU-Recht. Hier stehen die Ergebnisse, auch die schlechten.
Noch kein veröffentlichter Lauf mit dem Sprachmodell. Die Werte erscheinen nach dem nächsten Testlauf.
Alle veröffentlichten Läufe
Die letzten 1 Läufe, neuester zuerst. Läufe unter den Zielwerten bleiben sichtbar.
| Datum | Anbieter und Modell | Zitattreue | Trefferquote | Fälle | Zielwerte |
|---|---|---|---|---|---|
| Regel-Ersatz ohne KIregelbasiert | 100,0 % | 82,1 % | 38 | Vergleichswert ohne KI |
Abnahmen von Modellen
Ein Modell geht erst in Betrieb, wenn es alle Zielwerte erreicht. Auch abgelehnte Modelle stehen hier.
20.10.2026 · mistral · mistral-large-2512
Ergebnis: bestanden
Zitattreue 97,1 %, Trefferquote 96,4 %, Schlüsselzitat 100,0 %
20.10.2026 · mistral · mistral-large-4-0
Ergebnis: nicht bestanden (Schlüsselzitat 64,3 %, Dauer 116 s; Lauf vor cleanQuote)
Zitattreue 98,6 %, Trefferquote 85,7 %, Schlüsselzitat 64,3 %
So messen wir
- Das Testset hat 28 Bewertungsfälle und 10 Zitatfälle. Es nutzt echte österreichische und EU-Normen, zum Beispiel ASchG, AZG und NISG 2026. Die Änderungstexte sind nachgestellt und gekürzt, keine amtlichen Kundmachungen.
- Für jeden Fall ist ein Bereich der Relevanz von 0 bis 4 festgelegt. Liegt das Ergebnis darin, zählt es als Treffer.
- Jedes Belegzitat prüft ein Programm Zeichen für Zeichen gegen den Quelltext. Nur wörtlich gefundene Zitate zählen für die Zitattreue. In der App gilt eine Aussage ohne geprüften Beleg als „nicht belegt“.
- Zielwerte für den Betrieb: Trefferquote Relevanz mindestens 85,7 %, Zitattreue mindestens 97,0 %, Schlüsselzitat gefunden mindestens 90,0 %, Zitatprüfung korrekt mindestens 100,0 %.
- „Regel-Ersatz ohne KI“ ist der Vergleichswert: So bewertet Lexploris, wenn die KI ausfällt.
- Entwicklungswerkzeuge, die nie für Kunden laufen, zeigen wir nicht.
Stand der Abfrage: 01.11.2026, 20:06. Die Seite wird täglich aktualisiert. Mehr zur KI unter Sicherheit und Vertrauen.
Messwerte aus einem Testset sagen nicht, wie gut jede einzelne Bewertung ist. Prüfen Sie wichtige Ergebnisse immer an der Quelle.
Rechtsinformation, keine Rechtsberatung. Für Ihren Einzelfall wenden Sie sich bitte an eine Kanzlei.