# Testreports

Im Menü unter Testing > Reports können Sie die Ergebnisse der durchgeführten Testläufe einsehen, analysieren und exportieren. Die Testberichte bieten eine transparente Übersicht über die Leistungsfähigkeit des KI-Assistenten in Bezug auf Korrektheit, Relevanz und Treue. Sie unterstützen die Analyse und kontinuierliche Verbesserung des Systems durch gezielte Evaluation und Nachverfolgung von Änderungen über verschiedene Testläufe hinweg.

# Übersicht über Testreports

In der Übersicht sehen Sie eine Liste aller bisherigen Testläufe mit folgenden Informationen:

Datum des Testlaufs
Anzahl der getesteten Fragen und Kategorien
Grafische Zusammenfassung der Bewertung in den Kategorien Korrektheit, Relevanz und Treue
Kurze Auswertung oder Hinweis zum Testergebnis

Klicken Sie auf den gewünschten Testlauf, um detaillierte Ergebnisse einzusehen.

# Detaillierte Testergebnisse

Nach dem Aufklappen eines Testlaufs sehen Sie einen Überblick über alle Testkategorien, jeweils bestehend aus

Testeingabe: Die gestellte Testfrage
Erwartete Antwort: Die korrekte oder erwartete Antwort
Tatsächliche Antwort: Die durch den KI-Assistenten generierte Antwort
Korrektheit, Relevanz und Treue: Bewertungslabels für jeden Testfall

Für jede Bewertung in den Kategorien Korrektheit, Relevanz und Treue kann zudem eine detaillierte Begründung eingesehen werden. Diese erklärt nachvollziehbar, warum die jeweilige Bewertung vergeben wurde und bezieht sich auf den Vergleich zwischen Antwort, erwarteter Antwort und Kontext.

Bei Abweichungen oder Detailbedarf können Sie weitere Informationen zu einzelnen Antworten anzeigen. Diese Informationen entsprechen den Informationen, die auch im Conversation-Viewer für jede Antwort angezeigt werden (siehe Details zur Suche und Antwortgenerierung ).

Im Metadaten-Dialog steht unter Suchkonfigurationen, wie die Antwort zustande gekommen ist:

Suchverfahren: One-Shot-Suche, Agentische Suche oder One-Shot-Suche (nach fehlgeschlagener agentischer Suche)
Suchmethode: Vektorsuche, Hybridsuche oder Keywordsuche
die Score-Schwelle, ab der Suchergebnisse berücksichtigt wurden, sofern eine gesetzt ist

Lief die Agentische Suche , folgen darunter deren einzelne Suchschritte.

Außerdem werden im Metadaten-Dialog die Quellen ausgewiesen, die für die jeweilige Antwort herangezogen wurden:

RAG-Quellen: die Chunks, die mittels RAG gefunden und potentiell für die Antwortgenerierung genutzt wurden
Websearch-Quellen: die Webseiten, die das Tool Webseite live durchsuchen aufgerufen hat
die Passagen aus der Wissensbasis, die bei aktivierter Agentischen Suche ausgewählt wurden

So können Sie auch nach dem Testlauf nachvollziehen, auf welcher Grundlage eine Antwort entstanden ist.

# Such- und Filterfunktionen

Sie können die Testberichte durchsuchen, um gezielt nach bestimmten Testläufen zu suchen. In der detaillierten Tabelle können Sie nach Stichwörtern filtern und die angezeigte Anzahl der Einträge anpassen.

# Export und Löschung

Jeder Testbericht kann als CSV-Datei exportiert werden, um die Ergebnisse extern weiterzuverarbeiten oder zu archivieren. Als Trennzeichen stehen Komma, Semikolon und Tabulator zur Auswahl.

Der Export enthält pro Testfrage die Kategorie, die Testeingabe, die erwartete und die tatsächliche Antwort sowie die Bewertungen zu Korrektheit, Relevanz und Treue mit ihren Begründungen. Dazu kommen die Informationen zur Suche und Antwortgenerierung, die sonst nur im Metadaten-Dialog stehen:

Spalte	Inhalt
`Answer_Type`	Art der Antwort, zum Beispiel eine generierte Antwort
`Agent`	Agent, der die Frage beantwortet hat
`Model`	Modell, das die Antwort erzeugt hat
`Search_Query`	Suchanfrage, mit der gesucht wurde
`Search_Method`, `Hybrid_Search_Alpha`	Suchmethode und die Gewichtung zwischen Vektor- und Keywordsuche
`Retrieval_Strategy`	Suchverfahren, also One-Shot-Suche oder agentische Suche
`Reranking`, `Boost_Keyword`, `Boost_Length`	ob diese Einstellungen der Suche aktiv waren
`Web_Search_Used`, `Web_Sources`	ob die Websuche genutzt wurde und welche Seiten sie aufgerufen hat
`Chunk_1_Document`, `Chunk_1_Score`, `Chunk_1_Text` usw.	je gefundener Textstelle das Dokument, der Suchscore und ein Textauszug

Die Spalten zur Suche werden nur für RAG-Agenten gefüllt. Wie viele Chunk-Spalten der Export hat, richtet sich nach der Antwort mit den meisten gefundenen Textstellen.

Bei Bedarf können einzelne Testberichte auch gelöscht werden.