ETL

Einführung in ETL in ConSol CM

ETL wird zum Verarbeiten von großen Mengen an Laufzeitdaten. Es ermöglicht den Import von Vorgängen, Kontakten, Ressourcen und Benutzern aus externen Datenquellen nach ConSol CM. Außerdem können Vorgänge, Kontakte, Ressourcen und Benutzer aus ConSol CM in externe Datenquellen exportiert werden. Dies ist normalerweise nötig, um ConSol CM in die IT-Infrastruktur des Kunden zu integrieren und Daten mit externen IT-Systemen auszutauschen.

Konzepte, Begriffe und Definitionen

Konzept	Andere Begriffe	Definition
ETL	Extract Transform Load	Prozess, bei dem Daten aus einer Datenquelle extrahiert, transformiert und in eine andere Datenquelle importiert werden
Transformation		Kette mit Verarbeitungsschritten, die einen Datenfluss definieren; besteht normalerweise aus einem oder mehreren Eingabeschritten, mehreren Transformationsschritten und mehreren Ausgabeschritten; Dateinamenserweiterung ktr
Job		Workflow zum Ausführen von einer oder mehreren Transformationen; umfasst normalerweise die Dateiverfügbarkeit, Datenbankverbindungen und Fehlerbenachrichtigungen; Dateinamenserweiterung kjb
Plugin		Verarbeitungsschritt mit Einstellungen, die in Transformationen oder Jobs verwendet werden
Task		Ausführungskonfiguration für eine Transformation oder einen Job in ConSol CM

Zweck und Verwendung

ETL ermöglicht die Verarbeitung von großen Mengen an Laufzeitdaten:

Vorgangs-, Kontakt-, Ressourcen- oder Benutzerdaten aus einer externen Datenquelle nach ConSol CM importieren
Vorgangs-, Kontakt-, Ressourcen- oder Benutzerdaten aus ConSol CM in eine externe Datenquelle exportieren
Vorgänge, Kontakte, Ressourcen oder Benutzer aus einem ConSol CM-System in ein anderes ConSol CM-System migrieren

Der Import und Export von Konfigurationsdaten erfolgt auf den Seiten Staging-Export, Benutzerdefinierter Export und Import der Web Admin Suite.

Die erforderlichen Verarbeitungsschritte werden in Transformationen und Jobs definiert und in einer Task referenziert. Die Task wird gemäß einer definierten Planung ausgeführt.

Anwendungsbereiche der Applikationen

Die Arbeit mit ETL in ConSol CM beinhaltet mehrere Applikationen. Die folgende Abbildung verdeutlicht ihre Anwendungsbereiche:

Pentaho Data Integration: Desktop-Anwendung eines Drittanbieters zum Erstellen von Transformationen und Jobs. ConSol CM stellt verschiedene eigene Plugins bereit, die mit den Standard-Plugins von PDI kombiniert werden, um Transformationen zu erstellen.
ETL Runner: Konsolenanwendung zur Ausführung von Tasks. Kann auf dem Applikationsserver von ConSol CM installiert oder als eigenständige Java-Anwendung ausgeführt werden.
Web Admin Suite: Webanwendung zum Erstellen von Tasks basierend auf Transformationen und Jobs, Planen von Tasks, Nachverfolgen der Task-Ausführung und Verwalten der in Transformationen verwendeten Dateien.

Verfügbare Plugins

Die ConSol CM-ETL-Plugins können in Transformationen zusammen mit den direkt von PDI bereitgestellten Plugins verwendet werden. Sie sind entsprechend ihres Zweckes in die Ordner Input, Output und Lookup eingeordnet.

Standardmäßig sind die häufig verwendeten PDI-Plugins in ETL Runner verfügbar. Informationen zum Hinzufügen von zusätzlichen Plugins finden Sie in Hinzufügen zusätzlicher PDI-Plugins.

Eingabeschritte (Input)

Eingabeschritte exportieren Daten aus der ConSol CM-Datenbank

Case input: Vorgänge aus ConSol CM exportieren
Contact input: Kontakte aus ConSol CM exportieren
Resource input: Ressourcen aus ConSol CM exportieren
User input: Benutzer aus ConSol CM exportieren
Role input: Rollen aus ConSol CM exportieren

Ausgabeschritte (Output)

Ausgabeschritte importieren Daten in die ConSol CM-Datenbank.

Case output: Vorgänge nach ConSol CM importieren
Case container field output: Vorgangsfelder der Typen Liste oder Tabelle nach ConSol CM importieren
Case relation output: Relationen zwischen Vorgängen nach ConSol CM importieren
Case-contact relation output: Relationen zwischen Vorgängen und Kontakten nach ConSol CM importieren
Case content output: Kommentare und Attachments für Vorgänge nach ConSol CM importieren
Contact output: Kontakte nach ConSol CM importieren
Contact container field output: Kontaktfelder der Typen Liste oder Tabelle nach ConSol CM importieren
Contact content output : Kommentare und Attachments für Kontakte nach ConSol CM importieren
Resource output: Ressourcen aus einem anderen System nach ConSol CM importieren
Resource container field output: Ressourcenfelder der Typen Liste oder Tabelle nach ConSol CM importieren
Resource content output: Kommentare und Attachments für Ressourcen nach ConSol CM importieren
Resource relation output: Relationen zwischen Ressourcen nach ConSol CM importieren
User output: Benutzer nach ConSol CM importieren

Suchschritte (Lookup)

Suchschritte prüfen Daten in der ConSol CM-Datenbank.

Contact ID lookup: Kontakte in der ConSol CM-Datenbank suchen
Resource ID lookup: Ressourcen in der ConSol CM-Datenbank suchen

Übersicht der Aufgaben

Sie müssen folgende Aufgaben ausführen, um ETL in ConSol CM zu verwenden:

Installieren Sie PDI auf dem lokalen Entwicklungsrechner, siehe Installieren von Pentaho Data Integration.
Installieren Sie ETL Runner auf dem Serverrechner, siehe Installieren von ETL Runner.
Erstellen Sie Transformationen und Jobs in PDI. Allgemeine Hinweise und Informationen über die Standard-Plugins finden Sie in der offiziellen PDI-Dokumentation. Die ConSol CM-Plugins sind in Verfügbare Plugins beschrieben.
Laden Sie die Transformationen und Jobs in den Workspace auf dem Rechner von ETL Runner, siehe Hochladen von Transformationen und Jobs.
Erstellen Sie Tasks, um die Transformationen und Jobs auszuführen, siehe Erstellen von Tasks.
Laden Sie die Dateien, die zum Ausführen der Transformationen oder Jobs hoch, siehe Verwalten von Dateien.
Verfolgen Sie die Task-Ausführung, siehe Nachverfolgen der Task-Ausführung.

Wenn die Transformationen oder Jobs Verbindungen zu externen Datenbanken beinhalten, müssen Sie sicherstellen, dass die Verbindungen definiert sind und ETL Runner Zugang zu den Treibern hat, siehe Verbinden mit externen Datenbanken.

Grundlegende Aufgaben

Konfigurieren der Verbindung zu ETL Runner

Um die Web Admin Suite für die Arbeit mit ETL zu verwenden, müssen Sie die Verbindung zu der ETL Runner-Instanz konfigurieren, die die Tasks ausführen soll.

Öffnen Sie den Tab Verbindung.
Geben Sie die URL von ETL Runner ein. Die URL hängt vom Installationsmodus ab. Beispiele:
- Overlay-Installation: http://localhost:8888/etl-runner
- Standalone-Installation: http://localhost:8080
Geben Sie das Secret von ETL Runner ein, so wie es in der Einstellung application.secret der Datei etlRunnerApplication.properties definiert ist.
Sie können auf den Button Verbindung prüfen klicken, um zu überprüfen, ob die URL korrekt ist.
Klicken Sie auf den Button Verbindung aktualisieren, um die Verbindung zu speichern.

Der Tab Verbindung zeigt den Pfad zum Verzeichnis mit dem ETL-Workspace, das bei der Installation von ETL Runner definiert wird, siehe Installieren von ETL Runner.

Hochladen von Transformationen und Jobs

Mit der Web Admin Suite können Sie die in PDI erstellen Transformationen und Jobs in den ETL-Workspace hochladen. Wenn Ihre Transformationen oder Jobs andere Dateien benötigen, wie zum Beispiel Eingabedateien, die die zu importierenden Daten enthalten, können Sie diese ebenfalls in den Workspace laden.

Öffnen Sie den Tab Dateien.
Navigieren Sie zum gewünschten Speicherort. Sie können ein bestehendes Verzeichnis per Doppelklick öffnen. Zusätzlich können Sie auf den Button Neues Verzeichnis klicken, um einen neuen Ordner zu erstellen.

Die Verzeichnisstruktur kann nach Wunsch definiert werden. Sie können zum Beispiel einen Ordner für jede Transformation erstellen, der wiederum Unterordner für Eingabe-, Ausgabe und Log-Dateien enthält.
Klicken Sie auf den Button Datei hochladen. Wenn Sie eine ZIP-Datei hochladen, wird sie automatisch im Zielverzeichnis entpackt.

Als Alternative können Sie die Dateien mit anderen Mitteln an den gewünschten Ort kopieren, z. B. mit dem Dateiexplorer oder FTP.

In Ihren Transformationen können Dateien referenziert werden, die außerhalb des Workspaces gespeichert sind. Diese Dateien können nicht im Tab Dateien verwaltet werden.

Erstellen von Tasks

Eine Task ist eine JSON-Datei, in der die notwendigen Einstellungen zum Ausführen einer Transformation oder eines Jobs gespeichert sind. Es sind folgende Einstellungen verfügbar:

Task-Name: Geben Sie einen Namen für den Task ein. Er wird im Namen der JSON-Datei verwendet.
Pfad zur Transformation oder dem Job: Wählen Sie entweder eine KTR- oder KJB-Datei aus, die im Workspace gespeichert ist, und automatisch vorgeschlagen wird, oder geben Sie den Pfad zur Datei manuell ein. Dies kann ein relativer Pfad im Workspace oder ein absoluter Pfad auf dem Rechner, auf dem ETL Runner läuft, sein.

Mit den Icons auf der linken Seite können Sie eine neue Datei hochladen oder prüfen, ob die Datei existiert.
Planung: Legen Sie die Ausführungsplanung für den Task fest. Es gibt drei Optionen:
- Manuell: Der Task wird manuell durch Klicken auf das Start-Icon in den Task-Details gestartet.
- Einmalig: Der Task wird einmal am angegebenen Ausführungsdatum und -zeit ausgeführt.
- Periodisch: Der Task wird periodisch gemäß des eingegebenen Cron-Ausdrucks ausgeführt. Sie können entweder einen kompletten Ausdruck eingaben, oder die Teile des Ausdrucks separat editieren. Klicken Sie auf Beispiele zeigen, um Beispiele anzuzeigen, die Sie für die weitere Bearbeitung auswählen können. Klicken Sie auf Nächste Ausführungen, um zu sehen, wann der Task gemäß der definierten Planung ausgeführt würde.
Log-Level: Wählen Sie, wie detailliert das Logging der Task-Ausführung sein soll.
Pfad zur Log-Datei: Geben Sie den Pfad an, an dem die Log-Datei gespeichert werden soll. Das kann ein relativer Pfad im Workspace, oder ein absoluter Pfad auf dem Rechner, auf dem ETL Runner ausgeführt wird, sein.
Pfad zur JNDI-Properties-Datei: Geben Sie den Pfad an, an dem die JNDI-Properties-Datei gespeichert ist. Diese wird benötigt, wenn die Transformation bzw. der Job auf externe Datenbanken zugreift. Das kann ein relativer Pfad im Workspace, oder ein absoluter Pfad auf dem Rechner, auf dem ETL Runner ausgeführt wird, sein.
Sicherer Modus: Wählen Sie diese Option, um sicherzustellen, dass das Layout aller Zeilen identisch ist. Wenn eine Zeile nicht dasselbe Layout hat, wie die erste Zeile, wird ein Fehler erzeugt und gemeldet.
Metriken erfassen: Wählen Sie diese Option, um Metriken zu sammeln, um die Performance der Ausführung zu überwachen.
Performance der Schritte erfassen: Wählen Sie diese Option, um Metriken über die Performance der Schritte zu sammeln, um die Performance der Ausführung zu überwachen.
Parameter: Sie können Parameter mit den gewünschten Werte erstellen, um sie als lokale Variablen für die Transformation zu speichern. Dies ist beispielsweise nützlich, wenn die Transformation Daten in Ausgabedateien schreibt, und Sie die Dateipfade nicht hardkodiert in die Transformation schreiben wollen.
Variablen: Sie können Variablen mit den gewünschten Werten erstellen, um benutzerdefinierte und Umgebungsvariablen zu speichern.

Die Werte der Variablen Workspace.Directory, cmUser und cmPassword sind schreibgeschützt, da sie in der Datei etlRunnerApplication.properties definiert werden, siehe Installieren von ETL Runner.

Verwalten von Dateien

Der Tab Dateien zeigt den Inhalt des Workspaces auf dem Rechner mit ETL Runner. Sie können die in den Transformationen oder Jobs benötigten Dateien im Workspace speichern, z. B. die Eingabedateien, die importiert werden. Es sind folgende Aktionen verfügbar:

Dateien oder Ordner finden:
Navigieren Sie durch das Verzeichnis, indem Sie in der Tabelle auf die Ordner klicken oder über der Tabelle auf die Links im Pfad Aktuelles Verzeichnis klicken. Geben Sie den Namen einer Datei oder eines Ordners in das Suchfeld ein, um die Tabelle entsprechend zu filtern. Wenn in anderen Unterverzeichnissen passende Dateien oder Ordner gefunden wurden, werden über der Tabelle Links angezeigt, über die Sie diese öffnen können.

Mit dem Icon Aktualisieren neben dem Pfad können Sie den Workspace neu laden, z. B. wenn Dateien direkt auf dem Dateisystem geändert werden.
Dateien bearbeiten:
Bearbeiten Sie Textdateien (Erweiterungen .csv, .json, .kjb, .ktr, .log, .properties, .tsv, .txt und xml) direkt, indem Sie auf ihren Namen doppelklicken. Dies öffnet ein Modalfenster mit einem Texteditor.

Es sind nur Dateien, die kleiner sind als 64 KB, editierbar.
Dateien oder Ordner umbenennen:

Klicken Sie in einer Zeile auf das Icon Umbenennen, um die Datei bzw. den Ordner umzubenennen.
Dateien oder Ordner herunterladen:
Laden Sie bestimmte Dateien oder Ordner herunter, indem Sie in ihrer Zeile auf das Icon Download klicken. Mit dem Button Alle herunterladen können Sie alles, das heißt den gesamten Workspace, herunterladen.
Dateien hochladen:

Laden Sie eine Datei in den aktuellen Speicherort hoch, indem Sie auf den Button Datei hochladen klicken. Wenn Sie eine ZIP-Datei hochladen, wird sie automatisch am Zielort entpackt.
Datei erstellen:

Klicken Sie auf den Button Neue Datei und geben Sie einen Namen mit einer Erweiterung ein, um eine neue Datei am aktuellen Speicherort zu erstellen.
Verzeichnis erstellen:
Klicken Sie auf den Button Neues Verzeichnis und geben Sie einen Namen ein, um ein neues Verzeichnis am aktuellen Speicherort zu erstellen.
Datei oder Ordner löschen:
Klicken Sie in einer Zeile auf das Icon Löschen, um die Datei bzw. den Ordner aus dem Workspace zu löschen.

Nachverfolgen der Task-Ausführung

Die Tabelle Tasks zeigt eine List aller Tasks mit ihrem aktuellen Status und der nächsten Ausführung. Sie können im Tab Ausführungsdetails der Task-Details zusätzliche Informationen erhalten:

Planung: Zeigt die Konfiguration der nächsten geplanten Ausführung.
Konfiguration: Zeigt die Konfiguration der aktuellen / letzten Ausführung.
Metriken: Zeigt die Metriken der aktuellen / letzten Ausführung. Nur verfügbar, wenn Metriken sammeln in der Task-Konfiguration ausgewählt ist.
Performance: Zeigt die Performance der aktuellen / letzten Ausführung. Nur verfügbar, wenn Performance der Schritte erfassen in der Task-Konfiguration ausgewählt ist.
Ergebnis: Zeigt die Ergebnisse der letzten Ausführung.
Logs: Zeigt die Log-Meldungen der aktuellen / letzten Ausführung entsprechend des in der Task-Konfiguration ausgewählten Log-Levels.

Alle Daten werden im Roh-JSON- oder Textformat dargestellt.

Erweiterte Aufgaben

Verbinden mit externen Datenbanken

Sie können in Transformationen und Jobs Verbindungen zu externen Datenbanken herstellen. Gehen Sie folgendermaßen vor, um solche Verbindungen zu ermöglichen:

Definieren Sie die Datenbankverbindung in Pentaho Data Integration.
Speichern Sie die Datei jdbc.properties aus dem Ordner simple-jndi von Pentaho Data Integration im ETL-Workspace.
Speichern Sie die benötigten Treiber im Pfad, der in application.libs.directory in der Datei etlRunnerApplication.properties definiert ist.
Fügen Sie Einträge mit den Treibernamen und Checksummen zur Datei etlRunnerApplication.properties hinzu. Syntax: application.libs.checksums.{Dateiname}={sha1-Checksumme}.

Einträge für die Treiber der von ConSol CM unterstützten Datenbanken sind in der Standardkonfiguration vorhanden.

ETL Runner muss zur Laufzeit Zugriff auf die Datenbank-URL haben.

Hinzufügen zusätzlicher PDI-Plugins

Wenn Ihre Transformationen und Jobs PDI-Plugins enthalten, die nicht zu den häufig verwendeten Standard-Plugins gehören, müssen Sie diese Plugins manuell hinzufügen, um diese Transformationen und Jobs auszuführen. Gehen Sie folgendermaßen vor, um zusätzliche Plugins zu aktivieren:

Erstellen Sie ein Verzeichnis plugin und konfigurieren Sie den Pfad in der Datei etlRunnerApplication.properties, indem Sie folgende Zeile hinzufügen:

application.plugins.directory=/etl-runner/plugins
Wenn ETL Runner auf dem Applikationsserver installiert ist, fügen Sie folgende Zeile zum Startbefehl des Applikationsservers hinzu:

--add-opens java.base/sun.net.www.protocol.jar=ALL-UNNAMED
Kopieren Sie das gewünschte Plugin aus der Pentaho Data Integration-Distribution (z. B. ${pentaho}/data-integration/plugins/${plugin}) in das Verzeichnis /etl-runner/plugins/${plugin}.
Starten Sie ETL Runner neu, um die Änderungen anzuwenden.

Bei einigen Plugins ist es möglicherweise erforderlich, zusätzliche Abhängigkeiten in das Verzeichnis /etl-runner/plugins/${plugin}/lib zu kopieren.