#
Automatische Modellauswahl für die Antwortgenerierung
Der KI-Assistent kann selbstständig entscheiden, welches LLM für die Beantwortung welcher Anfragen genutzt werden soll. So wird eine sehr gute Balance zwischen hoher Antwortqualität und Kostenoptimierung erreicht.
Die automatische Modellauswahl basiert auf einem stufenbasierten System mit drei Komplexitätsstufen. Die Zuweisung erfolgt anhand mehrerer Kriterien – etwa Art des Agenten, Größe des Kontexts sowie Anteil und Typ der geladenen Inhalte (z. B. strukturierte Daten, Webseiteninhalte, mehrteilige Anfragen).
Bitte beachten Sie: Die genaue Auswahllogik wird intern durch Kauz.ai gepflegt und kontinuierlich optimiert.
#
Modellauswahl für Hintergrundaufgaben bei der Fragenbeantwortung
Im Zuge der Fragenbeantwortung werden verschiedene Hintergrundaufgaben durchgeführt, um die Antwortqualität zu optimieren. Für diese Aufgaben werden bevorzugt Modelle eingesetzt, die leichtgewichtig, schnell und kostengünstig sind:
Welches Modell diese Aufgaben übernimmt, können Sie pro Chatbot selbst festlegen, auch mit eigenen Modellen. Wie das geht, lesen Sie unter Aufgaben-Modelle .
#
Modellauswahl für KI-unterstützte Prozesse im aiStudio
Auch im aiStudio selbst werden verschiedene Aufgaben durch KI unterstützt:
#
Modellauswahl beim Telefonbot
Am Telefon kommt es besonders auf kurze Antwortzeiten an. Für einige Hintergrundaufgaben verwendet der Telefonbot deshalb andere Modelle als der Chatbot:
Der Talker ordnet jede Äußerung des Anrufers ein, während die eigentliche Antwort noch erzeugt wird. Einfache Gesprächsanteile wie Dank, Bitten um Wiederholung oder Verabschiedungen beantwortet er selbst. Ist eine Anfrage unklar, stellt er eine Rückfrage. Bei Wartezeiten gibt er eine kurze Bestätigung wie „Einen Moment.“ Er erkennt auch, wenn der Anrufer noch nicht ausgesprochen hat. Außerdem bestimmt er die Sprache, in der der Anrufer spricht.
Die Antwort selbst erzeugt der Telefonbot wie der Chatbot mit dem für den Bot eingestellten Modell bzw. über die automatische Modellauswahl. Alle übrigen Hintergrundaufgaben nutzen dieselben Modelle wie im Chat.
Bitte beachten Sie: Auch beim Telefonbot gelten die pro Chatbot eingestellten Aufgaben-Modelle . Ist für die Anpassung der Suchanfrage ein eigenes, selbst gehostetes Modell hinterlegt, übernimmt dieses auch die Aufgaben des Talkers.
#
Reranking
Die Informationssuche kann optional um ein Reranking ergänzt werden. Dabei wird zunächst eine größere Vorauswahl an Textabschnitten (Chunks) abgerufen. Diese werden anschließend nach ihrer Relevanz für die Frage neu sortiert. In die Antwortgenerierung gehen danach höchstens so viele Chunks ein, wie unter „Anzahl auszuwählender Chunks“ eingestellt ist.