#
Eigene Modelle
Neben den von Kauz bereitgestellten Modellen können Sie eigene Modelle anbinden. Das ist vor allem für On-Premises-Szenarien relevant, in denen Sie Modelle selbst betreiben und keine Schlüssel externer Anbieter hinterlegen möchten.
#
Die Plattform vollständig selbst betreiben
Die Kauz-Plattform lässt sich auf Wunsch komplett in Ihrer eigenen Infrastruktur betreiben. Was das voraussetzt und wie Sie einen solchen Betrieb anfragen, lesen Sie unter On-Premises .
Beachten Sie dabei: In einem On-Premises-Betrieb steht nicht der volle Modellkatalog zur Verfügung. Modelle, die über die Cloud-Dienste der Anbieter laufen, entfallen, wenn Ihre Umgebung keine Verbindung nach außen aufbauen soll. Sie arbeiten dann mit selbst gehosteten Modellen. Entsprechend anders fällt die Auswahl an Leistungsklassen aus. Stimmen Sie den Zuschnitt frühzeitig mit Ihrer Kauz-Ansprechperson ab.
#
aiWorkplace: selbst gehostete Modelle
Für On-Premises-Setups lassen sich selbst gehostete vLLM-Modelle im aiWorkplace anbinden. Damit nutzen Sie Ihre eigene Modellinfrastruktur, ohne dass Anpassungen im Code oder an Umgebungsvariablen nötig sind.
Die Einbindung erfolgt über eine Base URL und einen API Key; die verfügbaren Modelle werden automatisch erkannt. Anzeigename und Beschreibung ergänzen Sie anschließend manuell, damit die Modelle für Administrator*innen und Nutzer*innen verständlich dargestellt werden. Technische Voraussetzung ist derzeit vLLM.
Die angebundenen Modelle stehen auch im Workplace-Agenten zur Verfügung.
Details zur Einrichtung lesen Sie unter Administration .
#
aiStudio: eigene OpenAI-kompatible Modelle
Im aiStudio registrieren Partner eigene Modelle im Partnerbereich unter Eigene KI-Modelle. Angebunden wird jedes Modell, das über eine OpenAI-kompatible Schnittstelle erreichbar ist, mit Basis-URL, Modell-Kennung und API-Schlüssel. Zusätzlich lässt sich ein eigener Embedding-Endpunkt für Snowflake Arctic eintragen; nach dem Umschalten müssen bereits eingelesene Korpora neu vektorisiert werden.
Die registrierten Modelle können Sie einzelnen Agenten zuweisen und für Hintergrundaufgaben wie die Agentenauswahl oder die Übersetzung von Chatbotantworten festlegen. Welche Aufgaben ein Modell übernehmen kann, hängt von den hinterlegten Fähigkeiten ab: Tool-Aufrufe, Bildanalyse und Kontextfenster.
Planen Sie in der Regel mindestens zwei Modelle ein: ein kleines, schnelles Modell für die Hintergrundaufgaben und ein leistungsfähigeres für die Antworten. Für die Agentenauswahl, die Websuche und die agentische Suche muss das Modell Tool-Aufrufe beherrschen. Ein einzelnes Modell für alles ist möglich, geht aber zulasten von Geschwindigkeit, Kosten oder Antwortqualität.
Details zur Einrichtung lesen Sie unter Eigene KI-Modelle .