Einsatz von Java für komfortables OWB Scripting zur

Einsatz von Java für komfortables OWB Scripting
zur Qualitätssicherung und Effizienzsteigerung
Reinhard Mense
ARETO Consulting GmbH
Bergisch Gladbach
Schlüsselworte:
Oracle Warehouse Builder, OWB Scripting, OWB Java API, OMB Plus, OWB Experts,
Projektstandards, Qualitätssicherung
Einleitung
In Zeiten knapper werdender Budgets ist eine effiziente Entwicklung von Data WarehouseSystemen von hoher Bedeutung. OWB Scripting kann bei Routine-Tätigkeiten, wie z. B. der
Durchführung von Massenupdates im Design-Repository oder dem Deployment, die Effizienz
der Entwicklung mit dem Oracle Warehouse Builder (OWB) steigern. Ein umfassender
Einsatz des OWB Scripting erweist sich jedoch oft als aufwendig und umständlich, so dass es
sinnvoll ist, Optimierungsansätze zu verfolgen. Im Folgenden wird gezeigt, wie durch die
Verwendung der Java API des OWB das OWB Scripting deutlich komfortabler gestaltet
werden kann.
Bevor die technischen Details beschrieben werden, soll der Nutzen am praktischen Einsatz
bei einem Kunden erläutert werden. Im letzten Abschnitt dieses Manuskripts werden weitere
Einsatzmöglichkeiten aufgezeigt.
Einsatz in der Praxis
Ein Kunde aus dem Verlagswesen betreibt ein Data Warehouse (DWH) für die Auswertung
von Zugriffen auf Online-Shops und Online-Portalen und registrierte eine zunehmende
Laufzeit des ETL-Prozesses. Es bestand die Gefahr, dass das zur Verfügung stehende
Zeitfenster für die Beladung des DWH nicht mehr ausreicht. Ein Review des Systems zeigte,
dass die nächtlich zu verarbeitenden Datenmenge die ursprünglichen Erwartungen übersteigt
und die ETL-Prozesse für die Verarbeitung dieser Datenmengen nicht mehr geeignet sind. Als
Hauptursache für die stetige Verlangsamung der ETL-Prozesse wurde festgestellt, dass die ca.
40 Fakttabellen nicht partitioniert waren. Damit die Partitionierung der Fakttabellen effektiv
genutzt werden konnte, mussten auch die zugehörigen ca. 40 Mappings angepasst werden.
Der Aufwand für eine manuelle Änderung wurde auf eine Stunde pro Mapping und Tabelle
geschätzt. Zusätzlich wäre bei einer manuellen Änderung jedes einzelne Mapping explizit zu
testen. Dieser Testaufwand wurde im Schnitt mit ebenfalls einer Stunde beziffert. Somit ergab
sich ein geschätzter Gesamtaufwand von 80 Stunden, also etwa zehn Arbeitstagen.
Mit Hilfe eines für die Durchführung von Massenupdates und die Erzeugung von OMB
Skripten bereits entwickelten Java Programms, konnten die notwendigen Änderungen
größtenteils automatisiert durchgeführt werden. Der Aufwand wurde somit erheblich
reduziert. Statt der kalkulierten zehn Tage, wurden insgesamt nur zwei Tage für die
Umstellung benötigt. Der Aufwand für die Durchführung der Änderungen wurde auf einen
Tag reduziert. Der Testaufwand konnte durch die Automatisierung ebenfalls deutlich, auf nur
einen Tag, reduziert werden. Der drohende Engpass bei der nächtlichen Beladung wurde
somit rechtzeitig vermieden.
OWB Scripting mit OMB Plus und OWB Experts
OWB Scripting ermöglicht das Lesen und Verändern der Objekte im OWB Repository mit
Hilfe der Skript-Sprache OMB Plus. OMB Plus ist eine Erweiterung der Programmiersprache
Tcl, deren Syntax zwar simpel ist, aber auch häufig als ungewöhnlich empfunden wird. OMB
Plus erweitert Tcl um OMB-Befehle (B steht hier für Batch) die den Zugriff auf das OWB
Repository ermöglichen.
Neben den OMB-Befehlen stellt OMB Plus auch noch OMU-Befehle (U steht hier für User
Interface) zur Verfügung. Mit Hilfe der OMU-Befehle können Dialog-Komponenten des
OWB Client für einzelne OWB Objekte aufgerufen werden. So kann z. B. für eine bestimmte
Tabelle der Editor (OMUALTER TABLE) oder der Property-Dialog (OMUPROPERTIES
TABLE) aufgerufen werden. Da es sich bei den Dialogen um die Standarddialoge des OWB
Client handelt, können diese nicht den Bedürfnissen angepasst werden und sind somit nicht
für die Verarbeitung von Massenupdates geeignet.
Die Ausführung der OMB Plus Skripte kann auf zwei Wegen geschehen: in der OMB Plus
Konsole und innerhalb von OWB Experts. OWB Experts ermöglichen den kontextsensitiven
Aufruf von OMB Plus Skripten direkt aus dem OWB Client. So kann beispielsweise ein
Skript für eine bestimmte Tabelle oder ein bestimmtes Mapping aufgerufen werden.
OWB Experts erlauben mit der UI-Komponente "Custom Dialog" eigene Dialoge zu erstellen,
so dass man nicht nur auf die Standarddialoge des OWB Client beschränkt ist. Die
Möglichkeiten der "Custom Dialoge" sind jedoch stark eingeschränkt und damit eher für
einfache Dialoge geeignet. Tabellarische Darstellungen oder Menüs sind dabei nicht möglich.
Bei Auswahl eines Buttons wird außerdem der "Custom Dialog" stets geschlossen, so dass
geschachtelte Dialoge nicht erstellt werden können.
Abb. 1:Nachteile und Grenzen von OMB Plus Skripten und OWB Experts
Aufgrund dieser Restriktionen sind OMB Plus Skripte und OWB Experts ohne Nutzung der
Java API nur bedingt geeignet für die Entwicklung komplexer und komfortabler GUIOberflächen. Mit der Bereitstellung der Java API des OWB hat Oracle eine Möglichkeit
geschaffen, die Nachteile und Restriktionen aufzuheben.
Java API des OWB
Durch die Nutzung der Java API des OWB können die Möglichkeiten von Java ausgeschöpft
und so komplexe und komfortable GUI-Oberflächen für den Zugriff auf das OWB Repository
erstellt werden.
Der OWB nutzt eine große Zahl von JAR-Dateien und stellt mit ihnen eine Vielzahl von
Klassen und Methoden für den Zugriff auf das OWB Repository zur Verfügung. Der Zugriff
kann über zwei Wege erfolgen: der indirekte Zugriff per OMB Plus-Skript und der direkte
Zugriff.
Im Folgenden werden die beiden Zugriffsarten erläutert und die wichtigsten Klassen und
Methoden exemplarisch vorgestellt.
Indirekter Zugriff auf das OWB Repository per OMB Plus-Skripte
Beim indirekten Zugriff auf das OWB Repository wird mit Java ein OMB Plus Skript erzeugt.
Das erzeugte OMB Skript wird an eine Instanz der Klasse OMBEngine übergeben
(Abbildung 2) und von dieser mit der Methode executeStr ausgeführt. Die Verbindung zum
OWB Repository muss dabei vom erzeugten OMB Plus Skript hergestellt werden.
Abb. 2: Indirekter Zugriff mit Java auf das OWB Repository per OMP Plus-Skript
Der in Abbildung 3 dargestellte Programmcode, ermittelt z. B. alle Property-Namen für
Tabellen im OWB-Repository.
Abb. 3: Beispiel-Code für die Ausführung eines OMB Plus-Skripts mit Java
Direkter Zugriff auf das OWB Repository
Beim direkten Zugriff auf das OWB Repository wird für die Kommunikation mit dem OWB
Repository eine Instanz der Klasse RepositoryManager verwendet (Abbildung 4). Damit der
Repository Manager auf das OWB Repository zugreifen kann, muss für diesen zunächst mit
der Methode openConnection eine Verbindung zum Repository hergestellt und anschließend
mit der Methode setWorkingProject das gewünschte Projekt ausgewählt werden.
Abb. 4: Direkter Zugriff mit Java auf das OWB Repository
Abb. 5: Beispiel-Code für den Aufbau der Verbindung zum OWB Repository und die Festlegung des OWB
Projekts
Wurde das Projekt ausgewählt, kann mit den Klassen und Methoden der OWB Java API auf
alle Objekte des Projekts zugegriffen werden. Die beiden folgenden Abbildungen zeigen
exemplarisch die Funktionsweise für das Auslesen von Objektdaten (Abbildung 6) und das
Ändern von Eigenschaften einer Tabelle (Abbildung 7).
Abb. 6: Beispiel-Code für das Auslesen von Objektdaten
Abb. 7: Beispiel-Code für das Ändern von Eigenschaften einer Tabelle
Integration in den OWB Client
OMB Plus Skripte und OWB Experts können direkt im OWB Client ausgeführt werden. Um
ein erstelltes Java-Programm ebenfalls direkt im OWB Client auszuführen, ist es innerhalb
eines OWB Experts aufzurufen. Dies geschieht über ein Java Task, der im OWB Expert
eingefügt wird, wobei das erstellte Java-Programm als JAR-Datei vorliegen muss. Name und
Speicherort der JAR-Datei werden dem Java Task im Parameter CLASS_URL mitgeteilt. Die
Methode, die gestartet werden soll, wird mit Hilfe der Parameter CLASS_NAME und
METHOD_NAME angegeben. Außerdem können mit Hilfe der ARGUMENT_LIST
zusätzliche Parameter an die aufzurufende Methode übergeben werden. Die Parameter können
genutzt werden, um z. B. den aktuellen Kontext, von dem der OWB Expert aufgerufen wurde,
an das Java-Programm weiterzugeben. Somit wird es möglich, neben kontextbezogenen OWB
Experts auch kontextbezogene Java-Programme zu erstellen.
Einsatzmöglichkeiten
Der Einsatz der Java API beim OWB Scripting, erlaubt die Erstellung komplexer und
komfortabler Oberflächen. Zudem wird das OWB Scripting flexibler und die Nutzung
erleichtert, so dass auch Entwickler ohne OMB Plus-Kenntnisse die Vorteile nutzen können.
Massenupdates/Massenkonfiguration
OWB Scripting ist ideal für die Durchführung von Massenupdates geeignet. In vielen
Projekten werden kleine OMB Plus Skripte für diesen Zweck entwickelt. Diese werden
jedoch oft speziell für eine konkrete Problemstellung erstellt und sind deshalb nicht flexibel
einsetzbar. So entsteht nicht selten eine undurchschaubare Ansammlung von Skripten, deren
Wiederverwendbarkeit eingeschränkt ist.
Wird die Funktionalität dieser Skripte stattdessen mit einer benutzerfreundlichen Oberfläche
allen Entwicklern zur Verfügung gestellt, kann die Effizienz bei der Entwicklung von DWHSystemen gesteigert werden. Abbildung 8 zeigt als Beispiel eine solche Oberfläche, wie sie
beim Kunden zum Einsatz kam.
Abb. 8: Beispiel für ein Java-Programm für die Massenupdate-Funktion
Durchsetzung von Projektstandards und Qualitätssicherung
In jedem Projekt ist es sinnvoll Projektstandards zu definieren. So können z. B. für die
jeweiligen OWB-Objekttypen (Tabellen, Mappings, etc.), abhängig vom Modul, oder
Objektnamen Konfigurationsparameter festgelegt werden. In Verbindung mit einer einfach zu
nutzenden Massenupdate-Funktionalität, können diese effektiv durchgesetzt werden. Z. B.
kann auf Knopfdruck ein Abgleich der aktuellen Property-Werte mit den gemäß
Projektstandard empfohlenen Werten stattfinden. Vom Standard abweichende Werte können
hervorgehoben und auf Wunsch automatisch angepasst werden. Die Qualitätssicherung wird
wesentlich erleichtert.
Werden die erstellten Java-Programme mit Hilfe der OWB Experts kontextbezogen
aufgerufen, kann schon beim Erstellen eines Objekts im OWB durch Aufrufen des
entsprechenden OWB Experts die Konfiguration des Objekts automatisch vorgenommen
werden. Auf diesem Weg wird die Einhaltung der Projektstandards sichergestellt. Mit OWB
11g Release 2 können OWB Experts auch innerhalb des Mapping Editors aufgerufen werden,
so dass Projektstandards auch für die einzelnen Operatoren eines Mappings definiert werden
können.
In neuen Projekten kann von Beginn an die Einhaltung von Projektstandards erreicht werden.
Bei bestehenden Projekten kann die Qualitätssicherung unterstützt oder ein Projekt-Review
vereinfacht werden.
Ausblick
Ein weiteres Einsatzszenario könnte die automatische Erzeugung von Mappings auf Basis von
Mapping Templates sein. Denkbar ist auch die Erstellung einer komfortablen Oberfläche für
die Generierung von OMB Skripten für den Transport und das Deployment von OWB
Objekten in unterschiedliche Systemumgebungen.
Kontaktadresse:
Reinhard Mense
ARETO Consulting GmbH
Friedrich Ebert Straße 8
D-51429 Bergisch Gladbach
Telefon:
Fax:
E-Mail
Internet:
+49(0)2204-300878
+49(0)2204-300879
[email protected]
www.areto-consulting.de