Zum Hauptinhalt springen
Version: 6.18 (Draft)

LLM-Verbindungen

Einführung​

Auf der Seite LLM-Verbindungen können Sie die Verbindungen zu verschiedenen Sprachmodellen verwalten. Sie können ein Modell verwenden, das von einem Unternehmen wie OpenAI bereitgestellt wird, oder ein selbst gehostetes Modell.

Einstellungen für LLM-Verbindungen​

Die folgenden Einstellungen können vorgenommen werden:

  • Provider-Type: Wählen Sie OpenAI, Azure oder Ollama, um einen vorab unterstützten Anbieter zu verwenden, der über eine integrierte Konfiguration verfügt. Wählen Sie Benutzerdefiniert, wenn Sie ein Modell verbinden möchten, das keine Standardunterstützung bietet. In diesem Fall müssen Sie möglicherweise ein Skript erstellen, das die Kommunikation implementiert.
  • Modell-URL: Geben Sie die URL ein, über die das Modell erreichbar ist. Diese URL fungiert als Brücke zwischen Ihrem System und dem KI-Modell.
  • Modell-Name: Geben Sie den genauen Namen des Modells an, mit dem Sie sich verbinden möchten.
  • API-Schlüssel: Geben Sie Ihren API-Schlüssel für das Modell ein. Dieser wird Ihnen vom jeweiligen Provider bereitgestellt.
  • Token-Begrenzung: Token sind Texteinheiten, die von der KI verarbeitet werden. Das Festlegen eines Limits steuert, wie viele Daten Sie in einer Anfrage senden können. Der Standardwert ist 500. Sie können diesen Wert erhöhen, wenn Antworten abgeschnitten werden oder Sie feststellen, dass nicht die gesamte Eingabe berücksichtigt wurde. Höhere Limits ermöglichen eine umfassendere Verarbeitung, können aber die Kosten erhöhen.
  • Privacy Purger verwenden: Eine Funktion zur Verbesserung des Datenschutzes durch das Entfernen persönlicher Informationen aus Texten, bevor diese an das KI-Modell gesendet werden. Wählen Sie true, wenn persönliche Daten aus dem Text entfernt werden sollen, bevor dieser an die KI gesendet wird. Der Text wird zuerst an die bei ConSol gehostete Privacy Purger-Anwendung gesendet. Der Privacy Purger gibt einen Text zurück, in dem die persönlichen Daten durch allgemeine Tags ersetzt wurden. Dieser Text wird dann an die KI gesendet.
  • URL des Privacy Purger: Geben Sie die URL des Privacy Purger ein. Sie erhalten die URL vom ConSol CM Support- oder Sales-Team.
  • Passwort des Privacy Purger: Geben Sie das Passwort des Privacy Purger ein. Sie erhalten es vom ConSol CM Support- oder Sales-Team.
  • Skript: Sie können ein Skript vom Typ KI-Integration auswählen, wenn Sie Ihren eigenen Code verwenden möchten, um Daten an das LLM zu senden. Dies kann erforderlich sein, wenn Sie Benutzerdefinierte Modelle hinzufügen, die eine Syntax erwarten, die nicht von der Standardimplementierung abgedeckt ist.

Grundlegende Aufgaben​

Arbeiten mit LLM-Verbindungen​

Sie können die folgenden Aktionen mit LLM-Verbindungen durchführen:

  • Standard-LLM-Verbindung konfigurieren: Die Verbindung default wird automatisch erstellt. Geben Sie die Verbindungseinstellungen an und klicken Sie auf den Button Aktualisieren, um die Einstellungen zu speichern. Diese Aktion ist obligatorisch, wenn Sie den Prompt-Assistenten verwenden wollen, siehe Verwendung des Prompt-Assistenten.
  • Neue LLM-Verbindung erstellen: Klicken Sie in der Kopfzeile auf die Neue Konfiguration und geben Sie den Namen der Konfiguration ein. Anschließend können Sie die Verbindungseinstellungen vornehmen.
  • LLM-Verbindung aktualisieren: Ändern Sie die Verbindungseinstellungen und klicken Sie auf den Button Aktualisieren.
  • LLM-Verbindung testen: Klicken Sie auf den Button Verbindung testen, um zu prüfen, ob die Verbindung korrekt funktioniert.
  • LLLM-Verbindung umbenennen: Klicken Sie in der Kopfzeile auf den Button Konfiguration umbenennen, um den Namen der Verbindung zu ändern.
  • Entfernen einer LLM-Verbindung: Klicken Sie in der Kopfzeile auf den Button Konfiguration entfernen, um die Verbindung zu löschen.

Die Einstellungen werden in den Systemeigenschaften gespeichert.

Erweiterte Aufgaben​

Verwenden von LLM-Verbindungen in Skripten​

Verwenden Sie die Methoden von AIClientService, um Anfragen an ein LLM zu senden. Sie müssen den Namen der Konfiguration sowie die System- und Benutzernachricht als Parameter übergeben:

aIClientService.send("myConfiguration", "mySystemMessage", "myUserMessge")

Wenn die Anfrage zuerst an den Privacy Purger gesendet werden soll, verwenden Sie die folgende Methode:

aIClientService.send("myConfiguration", "mySystemMessage", "myUserMessge", true)