Powered by

# Automatische Modellauswahl für die Antwortgenerierung

Der KI-Assistent kann selbstständig entscheiden, welches LLM für die Beantwortung welcher Anfragen genutzt werden soll. So wird eine sehr gute Balance zwischen hoher Antwortqualität und Kostenoptimierung erreicht.

Die automatische Modellauswahl basiert auf einem stufenbasierten System mit drei Komplexitätsstufen. Die Zuweisung erfolgt anhand mehrerer Kriterien – etwa Art des Agenten, Größe des Kontexts sowie Anteil und Typ der geladenen Inhalte (z. B. strukturierte Daten, Webseiteninhalte, mehrteilige Anfragen).

Stufe Modell Relative Kosten Einsatzbereich
low GPT 6 Luna 1× Einfache Anfragen mit kleinem oder nicht verwertbarem Kontext
mid GLM 5.2 ~10× Komplexere Anfragen, z. B. bei strukturierten Inhalten, Webseiteninhalten oder mehrteiligen Fragen
high Qwen3.8 2.4T A95B ~23× Besonders anspruchsvolle Aufgaben, z. B. bei SQL-Agenten oder umfangreichen strukturierten Datenmengen

# Modellauswahl für Hintergrundaufgaben bei der Fragenbeantwortung

Im Zuge der Fragenbeantwortung werden verschiedene Hintergrundaufgaben durchgeführt, um die Antwortqualität zu optimieren. Für diese Aufgaben werden bevorzugt Modelle eingesetzt, die leichtgewichtig, schnell und kostengünstig sind:

Aufgabe Modell
Spracherkennung, Übersetzung von Chatbotantworten GPT 6 Luna
Agentenentscheidung GPT 6 Luna
Anpassung der Suchanfrage unter Berücksichtigung des Kontextes GPT 6 Luna
Prüfung des Fits eines Themenkatalogseintrags als Antwort GPT 6 Luna
Prüfung möglicher Anhänge für die Antwort GPT 6 Luna
Websuche GLM 5.2
Websuche: URL-Vorauswahl GPT 6 Luna
Agentische Suche GLM 4.7

Welches Modell diese Aufgaben übernimmt, können Sie pro Chatbot selbst festlegen, auch mit eigenen Modellen. Wie das geht, lesen Sie unter Aufgaben-Modelle .

# Modellauswahl für KI-unterstützte Prozesse im aiStudio

Auch im aiStudio selbst werden verschiedene Aufgaben durch KI unterstützt:

Aufgabe Modell
Evaluierung von Antworten im Testframework GPT 6 Luna
Conversation Labeling GPT 6 Luna
Bildanalyse beim Datenimport GPT 6 Luna (konfigurierbar)
Zusammenfassung von Dateianhängen in Agenten GPT 5.6 Luna