# Conversation-Viewer

Im Conversation-Viewer des Editors haben Sie die Möglichkeit, einzelne Konversationen, sowohl laufende als auch vergangene, einzusehen und diese zu markieren und zu bewerten.

# Filtermöglichkeiten

In der oberen Leiste des Conversation-Viewers befinden sich die Filtermöglichkeiten. Sie können auswählen, für welchen Zeitraum und für welche(n) Referrer, also welche einbettende Website, die Konversationsdaten ausgewertet werden sollen. In den erweiterten Einstellungen, die Sie über das Zahnrad am rechten Rand erreichen, können Sie außerdem bestimmen, ob Hinweise angezeigt werden sollen und ob nur echte Interaktionen angezeigt werden sollen.

Beim Öffnen des Chatfensters wird eine Konversation mit zwei Begrüßungsevents erzeugt. Findet keine weitere Interaktion statt, bleibt sie trotzdem als quasi leere Konversation in den Daten bestehen. Standardmäßig werden diese leeren Konversationen sowie der Trigger für die initiale Chatbotbegrüßung in den Statistiken nicht einbezogen, da keine echte Interaktion stattgefunden hat. Um die automatisch erzeugten Konversationen und den Begrüßungstrigger einzubeziehen, deaktivieren Sie den Filter.

Folgende Filtermöglichkeiten stehen Ihnen unter Erweiterte Filter zur Verfügung:

Stichwort: Dies ermöglicht die Filterung nach bestimmten Themen und Keywords.
Nutzerfeedback zur Konversation im Chat und Nutzerfeedback zur Antwort im Chat: Diese Filtermöglichkeiten ermöglichen Ihnen, sich gezielt die Bewertungen der Nutzer*innen anzusehen. Welche Konversationsverläufe sorgen für ein positives Nutzer*innenerlebnis und in welchen Fällen empfindet der*die Nutzer*in den Chatbot nicht als hilfreich?
Weiß-nicht-Antworten: Diese Filtermöglichkeit erlaubt Ihnen, alle Konversationen anzuzeigen, in denen der Chatbot mit einer Weiß-nicht-Antwort geantwortet hat. Dies kann Ihnen helfen, Themen zu identifizieren, die von den Nutzer*innen angefragt, durch den Chatbot aber noch nicht (ausreichend) abgedeckt sind.
ungelesene Konversationen: Auf diesem Weg können Sie sich alle noch nicht als gelesen markierten Konversationen anzeigen lassen.
Labels: Dies ermöglicht die Filterung nach mit bestimmten Labels oder Kombinationen verschiedener Labels ausgezeichneten Konversationen

Wichtig: Klicken Sie auf das Check-Symbol, um geänderte Filteroptionen anzuwenden. Die gewählten Filter können Sie jederzeit mit einem Klick auf das Filtersymbol zurücksetzen.

# Konversationsexport

Der Conversation-Viewer bietet die Möglichkeit, Konversationen zu exportieren. Klicken Sie hierfür auf den Button mit dem Download-Symbol in der oberen Leiste und wählen Sie aus, ob Sie eine Übersicht über Konversationen oder Events exportieren möchten und welches Zeichen (Komma, Semikolon oder Tab) zur Trennung der Spalten genutzt werden soll. Durch einen Klick auf Export wird die gewünschte Datei erstellt und kann anschließend mit einem Klick auf Download heruntergeladen werden.

# Events exportieren

# Wann eignet sich der Events-Export?

Wenn Sie detaillierte Einblicke zu einzelnen Interaktionen im Chatverlauf benötigen.
Zur Analyse von Nutzerverhalten auf Event-Ebene, z. B. welche Nachrichten gesendet wurden, wie Nutzer bewertet haben oder welche Links sie anklickten.
Zur Analyse des Chatbots bei bestimmten Events (z. B. wie gut einzelne Antworten ankamen oder welche Agenten wie häufig genutzt werden).
Zur Optimierung und Verbesserung des Chatbots basierend auf Event-Daten.

Beim Event-Export werden sowohl Message-Events (Nutzer*innen-Nachrichten und Chatbot-Nachrichten) als auch Analytics-Events (z.B. Klicks auf Links) exportiert. Für jedes Event werden (sofern vorhanden) folgende Informationen aufgeführt:

Konversation: Id der zugehörigen Konversation
Event: Id des jeweiligen Events
Eventart: Message oder Analytics
Sender: Absender des Events (USER oder BOT)
Zeitstempel
Referrer: Information, von welcher Webseite der Chatbot aufgerufen wurde (Detailgrad ist abhängig von der Referrer-Policy der Website)
Inhalt: Nutzer*innen-Input oder Chatbot-Antwort
Userbewertung: Bewertung der Chatbot-Antwort durch den*die Chatbot-Nutzer*in
Redakteurbewertung: Bewertung der Chatbot-Antwort durch eine*n Redakteur*in im aiStudio
Antworttyp: generierte Antwort (GENERATED) oder Themenkatalogsantwort (PREDEFINED)
Sprache
Agent: für die Beantwortung genutzter Agent
Agententyp: Agententyp des genutzten Agenten (z. B. rag, data collection, custom)
Tools: bei der Beantwortung genutzte Tools
Suchmethode: Vektorsuche, hybride Suche oder Keywordsuche (siehe Suchmethoden im Detail )
Alpha-Value: Anteil der Keyword- bzw. Vektorsuche bei der hybriden Suche
Modell: für die Antwortgenerierung genutztes LLM
Modellauswahl: manuell oder automatisch
Promptlänge: Länge des verwendeten Prompts bestehend aus dem Prompt selbst und allen für die Antwortgenerierung zur Verfügung stehenden Chunks (Hinweis: sehr lange Prompts können zu erhöhtem KI-Punkte-Verbrauch führen.)
Themenkatalogeintrag-Id
Userkategorie: durch Tool "Metadaten setzen" gesetzte Nutzergruppe (Analytics-Event)
Aktion: z. B. "open link" oder "change language" (Analytics-Event)
Geklickte Links: Wenn ein Link geklickt wurden ("open link"), wird das Linkziel erfasst
Sprachwechsel von: Wenn die Sprache gewechselt wurde ("change language"), wird die Ausgangssprache erfasst
Sprachwechsel zu: Wenn die Sprache gewechselt wurde ("change language"), wird die Zielsprache erfasst

# Konversationen exportieren

# Wann eignet sich der Konversationsexport?

Für die Analyse von Gesprächslängen, Anzahl der Nutzerfragen oder kompletter Bewertung der Konversation.
Für Management- und Controlling-Zwecke, um Chatbot-Nutzung und Kundenzufriedenheit ganzheitlich zu bewerten.
Zur Erkennung von Mustern und Trends in den Chatverläufen (anhand der durch im Rahmen des Lablings genutzten Kategorien).

Beim Konversationsexport werden Meta-Informationen zu allen im gewählten Zeitraum geführten Konversationen exportiert:

Konversation: Id der Konversation
Zeitstempel
Referrer: Information, von welcher Webseite der Chatbot aufgerufen wurde (Detailgrad ist abhängig von der Referrer-Policy der Website)
Events: Anzahl der Events innerhalb einer Konversation
Userinputs: Anzahl der Nutzer*innenfragen
Userbewertung: Bewertung seitens der*des Chatbot-Nutzers*in für die gesamte Konversation
Userkommentar: zur Bewertung gehörender Kommentar seitens der*des Chatbot-Nutzers*in für die gesamte Konversation
Kategorien (pro Kategorie werden die zugehörigen Labels angezeigt)

# Konversationsübersicht

Im linken Abschnitt des Conversation-Viewers befindet sich eine Auflistung der Unterhaltungen, die durch die Filter gesetzt wurden. Ausgegraute Unterhaltungen wurden durch Redakteur*innen als gelesen markiert, jene mit einem Fähnchen wurden von Redakteur*innen mit einer Markierung versehen. Sie können außerdem auswählen, ob Labels in der Übersicht angezeigt werden sollen.

Wenn Sie eine Konversation aus dieser Liste anklicken, öffnen sich rechts Details zur Konversation.

In der Konversationsübersicht finden Sie neben Informationen zu Datum, Uhrzeit und Referrer der ausgewählten Unterhaltung auch Aktionen, die Sie an dieser vornehmen können.

Häkchen: Unterhaltung als gelesen markieren
Fahne: Unterhaltung markieren
Link-Symbol: Link zu dieser Unterhaltung innerhalb des Conversation-Viewers kopieren
Plus: Manuelles Hinzufügen weiterer Labels

Über den grauen Pfeil neben den Eckdaten zur Konversation lassen sich darüber hinaus weitere Daten hinsichtlich Anzahl von Events, Dauer der Konversation und User-Feedback ausklappen (hier: ausgeklappt).

In der darunter befindlichen Chat-Ansicht können Sie den Konversationsverlauf nachvollziehen. Neben den Nachrichten von Chatbot und Nutzer*in werden auch Analytics-Events (z. B. Klick-Events auf Hyperlinks oder Bewertungen durch Nutzer*innen) innerhalb des Chatfensters kenntlich gemacht.

# Bewertung von Chatbotantworten

Durch Hovern über oder Klick auf eine Chatbotantwort innerhalb einer Konversation wird die Bewertungsmöglichkeit für einzelne Chatbotantworten sichtbar und Sie können die gewünschte Bewertung auswählen. Diese wird dann an der Chatbotantwort angezeigt. Durch erneutes Hovern über oder Klick auf eine Chatbotantwort haben Sie zudem die Möglichkeit, eine bereits getätigte Bewertung rückgängig zu machen.

Im Conversation Viewer vorgenommene Bewertungen können im Dashboard über das Widget Redakteurbewertungen ausgewertet werden. Das Widget erlaubt einen Überblick über den Anteil korrekter, akzeptabler, fehlender und falscher Informationen.

# Details zur Suche und Antwortgenerierung

Im Conversation Viewer lassen sich die Quellen einsehen, die der Chatbot für seine Antwort genutzt hat. Beim Klick auf eine Antwort öffnet sich rechts eine Detailansicht, die Einblick in die Herkunft und Erstellung der Antwort gibt. Diese Informationen sind in drei Abschnitte unterteilt:

# Grundinformationen

Hier wird angezeigt, welcher Agent für die Beantwortung verwendet wurde (z. B. ein Data Collection Agent mit dem Namen "Datenänderung") und ob eine vorformulierte Antwort (aus dem Themenkatalog) gefunden wurde oder ob eine Antwort generiert wurde. Außerdem wird angezeigt ob und welches Tool genutzt wurde (z. B. hier das API-Tool "Kundendaten anpassen") und in welcher Sprache die Antwort gegeben wurde. Mit Klick auf den Agenten bzw. auf das Tool, springen Sie direkt zum jeweiligen Agenten bzw. zum Tool und können dort Änderungen vornehmen.

# Informationssuche

# Generierten Antworten

Hier wird die vom System verwendete Suchanfrage angezeigt. Häufig ist es für die Suche erforderlich, die Nutzeranfrage auf Basis des Konversationsverlaufs umzuformulieren, um eine gute Retrieval-Qualität zu gewährleisten. Im Gesprächsverlauf sehen Sie also die vom/von der Nutzer*in gestellte Frage und im Feld Suchanfrage die Frage, die tatsächlich für das Retrieval, also das Suchen passender Inhalte, genutzt wurde. Zusätzlich werden hier Links zu den verwendeten Suchergebnissen angezeigt, die zur Antwort beigetragen haben.

Beim Klick auf "Alle Suchergebnisse anzeigen" öffnet sich eine Übersicht der gefundenen Quellen, die zur Beantwortung der Anfrage herangezogen wurden. Dort sind folgende Informationen sichtbar:

Suchmethode: Gibt an, ob z.B. eine Vektor-, Keywords- oder Hybridsuche verwendet wurde.
Search-Score: Bewertet, wie gut das Ergebnis zur gestellten Suchanfrage passt.
Answer-Similarity: Die Answer-Similarity wird verwendet, um festzustellen, ob ein Suchergebnis als relevante Quelle für die generierte Antwort in Frage kommt. Wie Sie den Threshold für die Answer-Similarity ändern können, finden Sie hier .
Quellenverweis: Jede Quelle ist anklickbar und führt zum konkreten Chunk im Datenimport , aus dem die Information stammt.

Diese Ansicht hilft dabei, die Herkunft der Antwort transparent nachzuvollziehen.

# Themenkatalog-Check

Bevor Themenkatalogsantworten ausgegeben werden, wird der Fit zwischen Nutzerinput und Themenkatalogsantwort überprüft. Das Ergebnis dieser Prüfung wird im Conversation-Viewer angezeigt. Wenn für eine Antwort der am besten passende Eintrag aus dem Themenkatalog verwendet wurde, wird dessen Name im Bereich Themenkatalog-Check unter Informationssuche angezeigt. Über das danebenstehende Icon gelangen Sie direkt zum entsprechenden Eintrag im Themenkatalog .

Über den Button Details anzeigen öffnen Sie ein Analysefenster, das transparent darlegt, wie die Nutzeranfrage mit Ihren gespeicherten Themenkatalogeinträgen abgeglichen wurde. Oben sehen Sie die umformulierte Suchanfrage, darunter alle geprüften Einträge. Über das Icon rechts neben einem Eintrag gelangen Sie direkt zu diesem im Themenkatalog. Im Fenster haben Sie Zugriff auf den besten Treffer und eine fundierte Begründung, warum dieser Eintrag ausgewählt wurde. Abschließend wird das KI‑Modell angezeigt, das für die Prüfung des Fits zwischen Nutzerinput und Themenkatalogseintrag genutzt wurde.

# Antwortgenerierung

Dieser Bereich zeigt das Modell, das zur Antwortgenerierung verwendet wurde (z.B. GPT-4.1 mini) sowie Parameter wie die Temperature -Einstellung. Zusätzlich kann der bei der Generierung verwendete Prompt angezeigt werden.