_DE_und_EN_V5.png)
Zum Einrichten eines DWH wird eine laufende Instanz von ConSol CM Reporting Framework (CMRF) benötigt. Wenn Ihr System noch kein CMRF beinhaltet, wenden Sie sich bitte an Ihren ConSol CM-Consultant oder an ConSol Software.
Ein Data Warehouse (auch DWH genannt) ist eine Sammlung an Daten auf einem oder mehreren Systemen und/oder Datenbanken, auf deren Grundlage das Reporting und die Datenanalyse stattfinden. Die importierten Daten müssen dazu häufig kombiniert oder neu angeordnet (integriert) werden, damit eine optimale Nutzung für das Reporting und die Datenanalyse möglich ist.
Eine Standardinstallation von ConSol CM enthält alle Module, die für den Aufbau eines Data Warehouse benötigt werden. Die Kernkomponente ist das ConSol CM Reporting Framework (CMRF).
Dabei handelt es sich um eine Java EE-Applikation, die die Daten zwischen der ConSol CM-Datenbank und der DWH-Datenbank synchronisiert. Die folgende Abbildung zeigt eine Übersicht der Systemarchitektur einer typischen DWH- und CMRF-Installation. Wir empfehlen Ihnen die Verwendung von zwei Servern für die ConSol CM- und CMRF-Instanzen. Informationen über die unterstützten Application Server und RDBMS finden Sie in den aktuellen Systemanforderungen.
Abbildung 317: ConSol CM - Systemarchitektur mit DWH und CMRF (2 Server)
Es gibt zwei verschiedene Synchronisierungsmodi für die Übertragung von Daten von ConSol CM an die DWH-Datenbank:
Es werden nur die Daten aus Benutzerdefinierten Feldern, Datenobjektgruppenfeldern und Ressourcenfeldern, die die Annotation reportable = true haben, mit dem DWH synchronisiert. Zusätzlich werden alle Daten übertragen, die standardmäßig an das DWH übertragen werden. Eine detaillierte Erklärung dazu finden Sie in der Dokumentation zum ConSol CM DWH.
Die DWH-Verwaltung findet in den Navigationselementen der Navigationsgruppe Data Warehouse statt:
Abbildung 318: ConSol CM Admin Tool - DWH-Konfiguration und Logs
Im mittleren Bereich werden die Informationen über DWH-Operationen aus den Log-Dateien angezeigt. Mit den Radio-Buttons auf der rechten Seite können Sie auswählen, welche Log-Datei angezeigt werden soll. Die DWH-Operationen sind als Buttons unter dem mittleren Bereich verfügbar.
Die Radio-Buttons und die Buttons für die DWH-Operationen sind nicht verknüpft, d. h. wenn Sie eine Operation auswählen, wird nicht automatisch die zugehörige Log-Datei angezeigt. In den folgenden Abschnitten finden Sie detaillierte Erklärungen über alle Operationen.
Wichtige Hintergrundinformationen über DWH-Operationen
Berücksichtigen Sie folgendes Verhalten von ConSol CM/CMRF bezüglich DWH-Operationen!
Wenn Sie auf Initialisieren, Übertragen oder Aktualisieren klicken, wird eine Operation des jeweiligen Typs als Eintrag in der ConSol CM-Datenbanktabelle cmas_dwh_synchronization erzeugt. Bei jedem Klick auf einen Button wird eine neue Operation des entsprechenden Typs erzeugt. Die Operationen werden dann nacheinander ausgeführt. Dabei gilt das FIFO-Prinzip (first in, first out) nach dem Erzeugungsdatum!
Wenn Sie eine Operation gestartet haben, ist das Admin Tool blockiert und ein Rädchen wird angezeigt, solange die ersten Schritte der Operation ausgeführt werden. Wenn das Admin Tool die Vorbereitung der Operation abgeschlossen hat und der Benutzer es wieder verwenden kann, kann die Operation aber noch im Hintergrund weiterlaufen. Deswegen sollten Sie nur dann auf einen anderen Button klicken, wenn Sie wirklich eine neue DWH-Operation starten möchten. Diese wird dann als Eintrag zur Tabelle cmas_dwh_synchronization hinzugefügt und ausgeführt, sobald die erste Operation abgeschlossen ist.
Sie können die Aktualisierungsoperationen über die Anzeige der Log-Dateien (mit den Radio-Buttons) nachverfolgen. Wenn eine Operation abgeschlossen ist, wird eine neue Zeile angezeigt, wie z. B.:
10.11.2015 07:57:29 Transfer finished successfully
Bevor Sie ein ConSol CM-DWH einrichten können, müssen Sie die Datenbank (oder das Datenbankschema), das die DWH-Daten enthalten soll, vorbereiten. Der entsprechende Datenbankserver muss für den CMRF-Server verfügbar sein. Eine detaillierte Beschreibung dazu finden Sie im ConSol CM Set-Up Manual. Sobald die für das DWH bestimmte Datenbank (bzw. das Datenbankschema) vorliegt und das CMRF in Betrieb ist, können Sie mit den folgenden Schritten fortfahren.
Um das System für die DWH-Synchronisierung vorzubereiten, müssen Sie die Datenbank und den DWH-Modus konfigurieren. Öffnen Sie im Admin Tool die Navigationsgruppe Data Warehouse, Navigationselement DWH Konfiguration und Logs. Klicken Sie auf Konfiguration, öffnen Sie den Tab Konfiguration und geben Sie alle Werte des CMRF-Servers ein.
Abbildung 319: ConSol CM Admin Tool - DWH-Konfiguration und Logs: DWH Konfiguration
Wählen Sie in DWH Modus Auswahl eine der verfügbaren Optionen:
Sie können den aktuellen DWH-Modus auch der DWH-System-Property cmas-dwh-server, dwh.mode entnehmen (siehe System-Properties).
Abbildung 320: ConSol CM Admin Tool - System-Property für DWH-Modus
Für die Verbindung sind folgende Parameter erforderlich:
CMRF URL
Die URL des CMRF, d. h. die URL, mit der sich das ConSol CM-System verbinden soll, um Informationen über neue Synchronisierungsaufgaben bereitzustellen. Dafür wird folgende Schreibweise verwendet:
<CMRF_HOST_IP>:<JNDI_PORT>
(z. B. 192.168.0.1:1099). Beachten Sie, dass der Standard-JNDI-Port 1099 ist. Falls Sie ein anderes JBoss-Port-Mapping verwenden, ist auch der JNDI-Port anders. d. h., wenn ports-01 verwendet wird, ist der JNDI-Port 1199, bei ports-02 ist es 1299 und so weiter.
Initial context factory
Die Java-Klasse, mit der die Verbindung hergestellt wird. Verwenden Sie:
weblogic.jndi.WLInitialContextFactory
URL factory packages
Das Java-Paket, in dem die erforderlichen Verbindungsklassen enthalten sind. Verwenden Sie:
weblogic.jndi.factories:weblogic.corba.j2ee.naming.url:weblogic.corba.client.naming
CMRF URL
Die URL des CMRF, d. h. die URL, mit der sich das ConSol CM-System verbinden soll, um Informationen über neue Synchronisierungsaufgaben bereitzustellen. Es muss das Protokoll t3 verwendet werden, d. h.
t3://<CMRF_HOST_IP>:<JNDI_PORT>
(z. B. t3://localhost:7010).
Im Tab Benachrichtigung können Sie das Format der Nachrichten (E-Mails) konfigurieren, die vom System im Zusammenhang mit DWH-Operationen gesendet werden. Dies können Fehlermeldungen, Erfolgsmeldungen oder Informationen über fehlgeschlagene Operationen sein.
Die Werte werden in den DWH-Benachrichtigungs-Properties gespeichert (siehe System-Properties).
Abbildung 321: ConSol CM Admin Tool - DWH Konfiguration: Tab Benachrichtigung
Es sind folgende Felder verfügbar:
Nachdem die grundlegende Konfiguration vorgenommen wurde, kann mit der DWH-Initialisierung begonnen werden. Klicken Sie auf Initialisieren und verfolgen Sie die Einträge im Log-Bereich. Vergewissern Sie sich, dass Sie in der oberen rechten Ecke den Radio-Button Initialisierung ausgewählt haben, damit die Einträge zur Initialisierung aus der Log-Datei angezeigt werden.
Abbildung 322: ConSol CM Admin Tool - DWH-Initialisierung
In diesem Schritt wird die Datenbankstruktur des DWH mit allen Tabellen und Relationen erstellt. Es werden noch keine Daten übertragen.
Wenn das DWH schon einmal in Betrieb war und neu eingerichtet wird, muss eine Reinitialisierung durchgeführt werden. Markieren Sie dazu die Option überschreiben, um die alte Datenbankstruktur zu löschen und eine neue Datenbankstruktur anzulegen. Klicken Sie danach auf Initialisieren.
Um das Data Warehouse zum ersten Mal mit ConSol CM-Daten zu füllen, klicken Sie auf Übertragen. Damit wird die initiale Übertragung gestartet. Je nach Anzahl der Tabellen kann dies eine Weile (bis zu mehreren Stunden) dauern. Sie können die Log-Einträge nachverfolgen, indem Sie im Log-Bereich Transfer öffnen.
Wenn das DWH im ADMIN-Modus läuft, kann der DWH-Administrator die Übertragung manuell starten, indem er auf Aktualisieren klickt. Dann werden alle Daten, die übertragen werden sollen, d. h. alle Daten aus Feldern mit der Annotation reportable = true, die seit der letzten Übertragung hinzugefügt oder geändert wurden, übertragen. Nachdem Sie auf Aktualisieren geklickt haben, werden Aufgaben für alle erforderlichen Operationen erstellt und alle offenen Aufgaben werden im Abschnitt DWH Aufgaben angezeigt.
Wenn ein Benutzerdefiniertes Feld, Datenobjektgruppenfeld oder Ressourcenfeld bei der letzten Übertragung die Annotation reportable noch nicht hatte und sie jetzt hat, wird der Inhalt des Feldes von allen Tickets, Kunden oder Ressourcen übertragen.
Sie können die Log-Einträge der DWH-Operation nachverfolgen, indem Sie im Log-Bereich Aktualisierung öffnen.
Entfernen Sie die Annotation reportable = true nicht aus einem Feld, wenn Sie nicht absolut sicher sind, dass die Daten nicht mehr in Reports verwendet werden! Wenn Sie ein Feld entfernen, das in Reports und/oder Cubes verwendet wird, treten Fehler im Reporting auf!
Die DWH-Aktualisierung kann auch über die Kommandozeile oder über ein Skript gestartet werden. In diesem Fall müssen Sie ein Tool verwenden, das über die Kommandozeile auf die ConSol CM-MBeans zugreifen kann, z. B. Twiddle für JBoss. Die zu verwendende MBean ist consol.cmas.global.dwh.synchronizationService. Der Befehl (die Methode) ist update.
Die folgende Kommandozeile zeigt einen Beispielbefehl mit Twiddle.
$JBOSS_HOME/bin/twiddle.sh invoke consol.cmas:type=admin,topic=global,name=dwh.synchronizationService update
Wenn es aktive DWH-Aufgaben gibt, wird dies im Admin Tool angezeigt, siehe folgende Abbildung. Die Navigationsgruppe Data Warehouse hat ein Ausrufezeichen, sodass Sie auch dann, wenn die Navigationsgruppe geschlossen ist, sehen, dass es aktive Aufgaben gibt. Die Anzahl der aktiven Aufgaben ist im Navigationselement DWH Aufgaben angegeben.
Abbildung 323: Anzeige aktiver DWH-Aufgaben im Admin Tool
Diese Liste enthält Einträge (einen Eintrag für jede Aufgabe), wenn ...
Sie können eine Aufgabe in der Liste markieren und manuell ausführen.
Wenn die Checkbox Automatische Übernahme von Konfigurationsänderungen markiert ist, werden die Aufgaben automatisch vom System ausgeführt.
Wenn bei der Initialisierung, Übertragung oder Aktualisierung Fehler aufgetreten sind, werden die Log-Einträge im entsprechenden Log-Bereich angezeigt.
Die Originaldateien finden Sie unter folgendem Pfad:
JBoss 5:
JBoss 7 (ein Server):
<JBOSS7_HOME>/standalone/log/cmrf.log
Weblogic:
<ORACLE_HOME>\Middleware\user_projects\domains\consolcm6_domain\cmrf-logs\cmrf.log
Beachten Sie, dass dies die Standardpfade sind. In ConSol CM wird z. B. Log4J verwendet. Die Verwendung von anderen Pfaden kann in der Datei log4j.xml konfiguriert sein. Eine ausführliche Beschreibung des Logging und der entsprechenden Dateien finden Sie im ConSol CM Set-Up Manual.
Normalerweise geben die Log-Datei und/oder die Einträge im Log-Bereich gute Hinweise über den Grund des Übertragungsfehlers. Wenn ein Problem auftritt, das Sie nicht beheben können und Sie einen Wartungsvertrag mit ConSol haben, wenden Sie sich an unser Supportteam.
Eine Liste aller System-Properties, die für eine bestimmte DWH-Konfiguration relevant sind, ist im Abschnitt CMRF- und DWH-Konfiguration enthalten.
Alle Daten mit der Annotation reportable = true müssen an das Data Warehouse übertragen werden. Dies geschieht durch ConSol CM und das CMRF.
Es gibt zwei mögliche Modi:
Der Modus wird mit der System-Property cmas-dwh-server, communication.channel gesetzt. Mögliche Werte sind:
Im JMS-Modus sendet der ConSol CM-Server mithilfe der JMS-Queues transfer, live und control Nachrichten an das CMRF. Diese JMS-Queues befinden sich entweder in
oder
Der CMRF-Server liest die Nachrichten aus den JMS-Queues und schreibt die Daten ins DWH.
In ConSol CM-Versionen 6.9.4 und höher ist das der einzige verfügbare Übertragungsmodus!
Im DIRECT-Modus sendet der CM-Server die Nachrichten über direkten Zugriff auf Datenbanktabellen (INT_CONTROL_QUEUE, INT_LIVE_QUEUE, INT_TRANSFER_QUEUE in der DWH-Datenbank) an das CMRF. JMS ist nicht beteiligt. Dies ist möglich, weil ConSol CM im DIRECT-Modus Zugriff auf die CMRF-Datenquelle erhält, d. h.
Der CMRF-Server liest die Nachrichten aus den Tabellen und schreibt die Daten ins DWH.
Beachten Sie, dass der JMS-Modus nur in CM-Versionen vor 6.9.4 unterstützt wird. Ab ConSol CM-Version 6.9.4.1 wird nur noch der DIRECT-Modus unterstützt.
Ab CM-Version 6.10.1 gibt es in statischen DWH-Tabellen Datenbankfelder für die lokalisierten Werte. Dies bedeutet, dass die lokalisierten Beschreibungen der Parameter ebenfalls an das DWH übertragen werden. Das folgende Beispiel zeigt die Felder im Admin Tool und im DWH für die Projekte in ConSol CM.
Abbildung 324: ConSol CM Admin Tool - Lokalisierte Werte von Projekten
Abbildung 325: DWH-Tabelle mit lokalisierten Werten
Die Verwendung dieser Felder kann die Dauer der DWH-Aktualisierungen erhöhen. Um zu verhindern, dass eine Aktualisierung zu lange läuft, können Sie CM mit der Java-System-Property cmrf.localization.enabled starten. Diese Property kann verwendet werden, um die Übertragung der lokalisierten Werte an das DWH ein- oder auszuschalten.
Beispiel für den Startbefehl:
nohup $JBOSS_HOME/bin/standalone.sh --server-config=cm6-cmrf.xml -b=0.0.0.0 -Dcmrf.localization.enabled=false
Eine detaillierte Erklärung dazu finden Sie im ConSol CM DWH Manual.
Ab Version 6.10.5.4 ermöglicht die MBean dwh.admin.service (in consol.cmas.admin.global) Zugang zum DWH-Modus (OFF |ADMIN | LIVE). Es sind die Methoden getMode() und setMode() verfügbar.
Der Zugriff auf die MBean erfolgt über grafische Tools, z. B. JConsole für JBoss, oder über REST API. Dies ist in der ConSol CM REST API Dokumentation beschrieben.