# Automatische Modellauswahl für die Antwortgenerierung

Der KI-Assistent kann selbstständig entscheiden, welches LLM für die Beantwortung welcher Anfragen genutzt werden soll. So wird eine sehr gute Balance zwischen hoher Antwortqualität und Kostenoptimierung erreicht. Die automatische Modellauswahl erfolgt je nach Art der Aufgabe und Art der Datengrundlage, um eine möglichst effiziente und qualitativ hochwertige Verarbeitung sicherzustellen.

  • Für RAG-Agenten (Default für die meisten KI-Assistenten) werden abhängig von der Datengrundlage (Größe der Chunks, Tabellen, Bilder, ...) die Modelle Claude 3.5, GPT-4.1 und GPT-41-mini genutzt.
  • Für Custom und Data Collection Agents werden o4 mini oder GPT-4.1 genutzt.
  • Für SQL Agents wird Claude 3.5 genutzt.

# Modellauswahl für Hintergrundaufgaben bei der Fragenbeantwortung

Im Zuge der Fragenbeantwortung werden verschiedene Hintergrundaufgaben durchgeführt, um die Antwortqualität zu optimieren. Für diese Aufgaben werden bevorzugt Modelle eingesetzt, die leichtgewichtig, schnell und kostengünstig sind:

Aufgabe Modell
Spracherkennung GPT 4.1 mini
Agentenentscheidung Gemini 2.0 Flash Lite
Anpassung der Suchanfrage unter Berücksichtigung des Kontextes Gemini 2.0 Flash Lite
Prüfung des Fits eines Themenkatalogseintrags als Antwort GPT 4.1 mini
Prüfung möglicher Anhänge für die Antwort Gemini 2.0 Flash Lite

# Modellauswahl für KI-unterstützte Prozesse im aiStudio

Auch im aiStudio selbst werden verschiedene Aufgaben durch KI unterstützt:

Aufgabe Modell
Evaluierung von Antworten im Testframework GPT 4.1 mini
Conversation Labeling GPT 4.1 mini
Bildanalyse beim Datenimport GPT 4o mini (konfigurierbar)