KI-Evaluation auf dem Prüfstand: KI-Systeme sollten nicht allein anhand von Benchmark-Ergebnissen bewertet werden
Wie zuverlässig sind Verfahren, mit denen die Qualität künstlicher Intelligenz bewertet wird? Diese Frage ist Gegenstand zweier Forschungsarbeiten des Centers für künstliche Intelligenz und Robotiks (CAIRO) der Technischen Hochschule Würzburg-Schweinfurt (THWS) und dem Open-Science-LLM-Start-up PleIAs gewesen. Beide Arbeiten wurden auf der internationalen Fachkonferenz „Empirical Methods in Natural Language Processing (EMNLP 2026) in Budapest angenommen und vorgestellt.
Wer bewertet Benchmarks?
Die Studie „Who Benchmarks the Benchmarks? Towards Comprehensive Evaluation of Commonsense Reasoning Benchmarks” untersucht die Zuverlässigkeit von Sprachmodellen und deren Fähigkeit, Schlussfolgerungen über alltägliche Zusammenhänge zu ziehen. Am Beispiel des verbreiteten Benchmarks „HellaSwag“ zeigt Pavel Chizhov, wissenschaftlicher Mitarbeiter am CAIRO, dass fehlerhafte oder mehrdeutige Aufgabenstellungen die Aussagekraft solcher Tests beeinträchtigen können. In einem Experiment seien rund 68 Prozent der Modellvorhersagen unverändert, obwohl die eigentlichen Fragen entfernt oder durch bedeutungslose Texte ersetzt wurden.
Zudem befassten sich die Forschenden mit der Frage, wie zuverlässig KI personenbezogene Daten in Dokumenten erkennt und schützt. Vishnu Prasad Vijaya Kumar, wissenschaftlicher Mitarbeiter am CAIRO, entwickelte unter der Betreuung des CAIRO-Leiters Prof. Dr. Ivan P. Yamshchikov und in Zusammenarbeit mit Shanthosh Venkatesh vom KI-Start-up DataX das Tool LeakageBench, um Datenschutzrisiken bei automatischer Schwärzung zu untersuchen. „Ein System, das viele Angaben erkennt, garantiert nicht, dass alle sichtbar sind“, betont Vijaya Kumar. LeakeBench helfe, Schwachstellen aufzudecken und menschliche Kontrollen gezielt einzusetzen.
Eine KI könne fast alle sensiblen Informationen auf einer Seite erkennen, aber dennoch identifizierende Angaben übersehen. Besonders komplex seien dabei eingescannte Briefe, Tabellen und Seitenlayouts. Das Team untersuchte optische Texterkennung, spezialisierte Detektoren und Bild-Sprach-Modelle. Viele Systeme scheiterten, da sie nicht alle Kennungen erkannten oder Text falsch lokalisierten. Grundlagen der Tests war ein Benchmark von 500 Dokumentseiten mit 11.954 markierten Angaben. Trotz Verbesserungen durch GPT-5.5 blieben auf 96,8 Prozent der Seiten kritische Angaben unbemerkt.
Dieses Ergebnis unterstreiche die Diskrepanz zwischen üblichen Kennzahlen zur KI-Erkennung und dem Schutzbedarf sensibler Dokumente vor ihrer Weitergabe. Gängige Tests zählen korrekt erkannte Informationen, während LeakageBench fragt, ob ein Dokument zur Weitergabe geeignet bleibt. Dies habe erhebliche Bedeutung für Behören und Unternehmen, die sensible Daten verarbeiten, aber auch für Europas Debatte über KI-Souveränität.
Sprachmodelle mit Informationsquellen nur kombiniert evaluieren
Die Forschungsarbeit „RAG Components Are Not Independently Rankable“ untersucht sogenannte „Retrieval-Augmented-Generation-Systeme“ (RAG). Diese verbinden Sprachmodelle mit externen Informationsquellen und können beispielsweise genutzt werden, um Fragen zu technischen Dokumenten oder internen Unternehmensdaten zu beantworten. Die Ergebnisse zeigten, dass einzelne Komponenten eines solchen Systems nicht unabhängig voneinander bewertet werden können: Was in einer Kombination gut funktioniere, könne in einer anderen schlechter abschneiden. Deshalb müssten bei der Evaluation auch die Wechselwirkungen zwischen den Komponenten berücksichtig werden.
„Bei der Bewertung von KI reicht es nicht, nur auf eine einzelne Kennzahl oder einen Benchmark zu schauen“, erklärt Pavel Chizhov, wissenschaftlicher Mitarbeiter am CAIRO sowie Mitautor beider Arbeiten und Sprecher der Beiträge. „Wir müssen auch prüfen, was unsere Tests tatsächlich messen und wie zuverlässig ihre Ergebnisse sind.“
Für die Industrie besonders relevant
Evaluation bildet eine wichtige Grundlage für Investitions- und Technologieentscheidungen. Unternehmen müssten beurteilen können, welches Modell für ihren konkreten Anwendungsfall geeignet sei und ob ein KI-System unter realistischen Bedingungen zuverlässig funktioniere. Eine hohe Benchmark-Punktzahl allein garantiere das nicht. Vielmehr helfe eine sorgfältig konzipierte Evaluation, Schwächen frühzeitig zu erkennen, Systeme fair zu vergleichen und Entwicklungsaufwand gezielter einzusetzen. Das betreffe beispielsweise die Suche in technischen Dokumentationen, das Wissensmanagement und interne Assistenzsysteme – Anwendungsfelder, die auch für Unternehmen in Franken von Interesse seien.
Beide Forschungen: Belastbarkeit von mit KI-Modellen bewerteten Tests
Die zwei Forschungsarbeiten betrachten zwei Seiten derselben Hürde: Wie belastbar sind die Tests, mit denen KI-Modelle bewertet werden, und wie lässt sich die Leistung komplexer KI-Systeme nachvollziehbar analysieren? Die zentrale Botschaft lautet: Zuverlässige KI beginne nicht erst mit der Auswahl des richtigen Modells, sondern bereits mit der Frage, wie wir ihre Qualität messen und unsere Evaluationsverfahren selbst überprüfen.
Zur Veröffentlichung der Forschung über Benchmark-Prüfung
Zur Veröffentlichung der Forschung über RAG-Komponenten
Über die THWS
Die Technische Hochschule Würzburg-Schweinfurt (THWS) zählt zu den größten Hochschulen für angewandte Wissenschaften in Bayern und steht seit ihrer Gründung im Jahr 1971 für hervorragende Lehre und angewandte Forschung. Mit rund 9.200 Studierenden, einem breit gefächerten Angebot von mehr als 60 Studiengängen sowie zwei Promotionszentren deckt die THWS ein weites Spektrum ab, das von Technik über Wirtschafts- und Sozialwissenschaften sowie Sprache bis hin zu Gestaltung reicht. Die THWS ist nicht nur regional in Franken und Bayern verwurzelt, sondern auch stark international ausgerichtet, was sich in zahlreichen Kooperationen und Austauschprogrammen weltweit und nicht zuletzt in einem vielseitigen englischsprachigen Studienangebot widerspiegelt.
Kontakt:
Technische Hochschule Würzburg-Schweinfurt
Center for Artificial Intelligence and Robotics (CAIRO)
Pavel Chizhov
Vishnu Prasad Vijaya Kumar
Franz-Horn-Straße 2
97082 Würzburg
Pressekontakt:
Technische Hochschule Würzburg-Schweinfurt
Angela Kreipl
Münzstraße 12
97070 Würzburg
0931 3511-8354
