KI-Evaluation auf dem Prüfstand: Warum auch KI-Tests selbst geprüft werden müssen

Wie zuverlässig sind die Verfahren, mit denen wir die Qualität künstlicher Intelligenz bewerten? Zwei gemeinsame Forschungsarbeiten von CAIRO und PleIAs beschäftigen sich mit dieser Frage. Beide wurden für Workshops der internationalen Fachkonferenz Empirical Methods in Natural Language Processing (EMNLP 2026) angenommen und im Oktober in Budapest vorgestellt.

Die erste Arbeit, Who Benchmarks the Benchmarks? Towards Comprehensive Evaluation of Commonsense Reasoning Benchmarks, untersucht etablierte Testdatensätze, mit denen die Fähigkeit von Sprachmodellen zum Schlussfolgern über alltägliche Zusammenhänge bewertet wird. Am Beispiel des verbreiteten Benchmarks HellaSwag zeigen die Forschenden, dass fehlerhafte oder mehrdeutige Aufgabenstellungen die Aussagekraft solcher Tests beeinträchtigen können. In einem Experiment blieben rund 68 Prozent der Modellvorhersagen unverändert, obwohl die eigentlichen Fragen entfernt oder durch bedeutungslosen Text ersetzt wurden. Die Arbeit stellt mit BenCheck zudem ein Verfahren vor, um solche Schwächen systematisch zu überprüfen.

Die zweite Arbeit, RAG Components Are Not Independently Rankable, untersucht sogenannte Retrieval-Augmented-Generation-Systeme (RAG). Diese verbinden Sprachmodelle mit externen Informationsquellen und können beispielsweise genutzt werden, um Fragen zu technischen Dokumenten oder internen Unternehmensdaten zu beantworten. Die Ergebnisse zeigen, dass einzelne Komponenten eines solchen Systems nicht unabhängig voneinander bewertet werden können: Was in einer Kombination gut funktioniert, kann in einer anderen schlechter abschneiden. Deshalb müssen bei der Evaluation auch die Wechselwirkungen zwischen den Komponenten berücksichtigt werden.

„Bei der Bewertung von KI reicht es nicht, nur auf eine einzelne Kennzahl oder einen Benchmark zu schauen. Wir müssen auch prüfen, was unsere Tests tatsächlich messen und wie zuverlässig ihre Ergebnisse sind“, sagt Pavel Chizhov, Mitautor beider Arbeiten und Sprecher der Beiträge.

Für die Industrie ist das besonders relevant, weil Evaluation eine wichtige Grundlage für Investitions- und Technologieentscheidungen bildet. Unternehmen müssen beurteilen können, welches Modell für ihren konkreten Anwendungsfall geeignet ist und ob ein KI-System unter realistischen Bedingungen zuverlässig funktioniert. Eine hohe Benchmark-Punktzahl allein garantiert das nicht. Eine sorgfältig konzipierte Evaluation hilft, Schwächen frühzeitig zu erkennen, Systeme fair zu vergleichen und Entwicklungsaufwand gezielter einzusetzen. Das betrifft beispielsweise die Suche in technischen Dokumentationen, das Wissensmanagement und interne Assistenzsysteme – Anwendungsfelder, die auch für Unternehmen in Franken und der Region Würzburg-Schweinfurt von Interesse sind.

Die beiden Arbeiten von CAIRO und PleIAs betrachten damit zwei Seiten derselben Herausforderung: Wie belastbar sind die Tests, mit denen KI-Modelle bewertet werden, und wie lässt sich die Leistung komplexer KI-Systeme nachvollziehbar analysieren? Die zentrale Botschaft lautet: Zuverlässige KI beginnt nicht erst mit der Auswahl des richtigen Modells, sondern bereits mit der Frage, wie wir ihre Qualität messen und unsere Evaluationsverfahren selbst überprüfen.

Zu den Forschungsarbeiten

• Who Benchmarks the Benchmarks? Towards Comprehensive Evaluation of Commonsense Reasoning Benchmarks – vorgestellt beim Workshop Language Understanding in the Human-Machine Era (LUHME), EMNLP 2026. Zur Veröffentlichung in der ACL Anthology
• RAG Components Are Not Independently Rankable – vorgestellt beim Workshop Document Intelligence and Understanding (DocInsights), EMNLP 2026. Zur Veröffentlichung in der ACL Anthology

Pavel Chizhov ist Mitautor beider Arbeiten und wissenschaftlicher Mitarbeiter bei CAIRO. Die Forschungsarbeiten entstanden in Zusammenarbeit zwischen CAIRO und PleIAs.