Installation Talend Data Services Platform PoT Umgebung

Installation
Talend Data Services Platform
PoT Umgebung
November 2015
Professional Services
Produkt
Talend Data Services Platform
Produktversion
6.0.1
2
PoT-Umgebung
DOKUMENTENHISTORIE
Version
Datum
Autor
Aktion
0.1
17.11.15
Christian
Schmülling
Initiale Erstellung
Beschreibung
3
PoT-Umgebung
Inhaltsverzeichnis
1.
Einleitung ........................................................................................................................................ 7
2.
Infrastruktur.................................................................................................................................... 8
2.1
2.2
3.
3.1
3.2
3.3
3.4
3.5
3.6
3.7
4.
Übersicht der PoT-Umgebung ................................................................................................................ 8
Zugangspunkte der einzelnen Komponenten ........................................................................................ 8
Vorbereitende Schritte ................................................................................................................. 10
Betriebssystem Benutzer...................................................................................................................... 10
Betriebssystemlimitierungen anpassen ............................................................................................... 10
Installation des Java JDK ....................................................................................................................... 11
Java Konfiguration ................................................................................................................................ 11
Prüfung der Java Umgebungsvariablen und Version .......................................................................... 12
Oracle Datenbank ................................................................................................................................. 12
Vorbereitung des Talend-Installer ........................................................................................................ 13
Installation .................................................................................................................................... 15
4.1
Runtime-Umgebung – RTE ................................................................................................................... 15
4.1.1 Erstellen der Logging Tabellen ............................................................. Error! Bookmark not defined.
4.2
Administrative Umgebung – TAC ............................................................. Error! Bookmark not defined.
4.2.1 Activity Monitoring Service .................................................................. Error! Bookmark not defined.
4.2.2 Talend Identity Management............................................................... Error! Bookmark not defined.
5.
Konfiguration ................................................................................................................................ 15
5.1
Runtime Umgebung – RTE........................................................................ Error! Bookmark not defined.
5.1.1 Allgemeine Anpassungen ..................................................................... Error! Bookmark not defined.
5.1.2 JobServer .............................................................................................. Error! Bookmark not defined.
5.1.3 MDM .................................................................................................... Error! Bookmark not defined.
5.1.4 Konfiguration des Loggings .................................................................. Error! Bookmark not defined.
5.1.5 Data Stewardship Console (DSC) .......................................................... Error! Bookmark not defined.
5.1.6 ActiveMQ.............................................................................................. Error! Bookmark not defined.
5.1.7 ESB Infrastruktur .............................................................................................................................. 17
5.1.8 ESB Runtime ......................................................................................... Error! Bookmark not defined.
5.1.9 Logserver .............................................................................................. Error! Bookmark not defined.
5.2
Administrative Umgebung – TAC ......................................................................................................... 28
5.2.1 Allgemeine Vorgehensweise ................................................................ Error! Bookmark not defined.
5.2.2 DQPortal ............................................................................................... Error! Bookmark not defined.
5.2.3 CommandLine ...................................................................................... Error! Bookmark not defined.
5.2.4 TAC ....................................................................................................... Error! Bookmark not defined.
5.2.5 AMC ...................................................................................................... Error! Bookmark not defined.
6.
Test ....................................................................................................Error! Bookmark not defined.
6.1
Runtime Umgebung - RTE ........................................................................ Error! Bookmark not defined.
6.1.1 JobServer .............................................................................................. Error! Bookmark not defined.
6.1.2 MDM .................................................................................................... Error! Bookmark not defined.
6.1.3 DSC ....................................................................................................... Error! Bookmark not defined.
6.1.4 ActiveMQ.............................................................................................. Error! Bookmark not defined.
6.1.5 ESB Infrastruktur und Runtime ............................................................. Error! Bookmark not defined.
4
PoT-Umgebung
6.1.6 LogServer .............................................................................................. Error! Bookmark not defined.
6.2
Administrative Umgebung – TAC ............................................................. Error! Bookmark not defined.
6.2.1 TAC ....................................................................................................... Error! Bookmark not defined.
6.2.2 DQPortal ............................................................................................... Error! Bookmark not defined.
6.2.3 CommandLine ...................................................................................... Error! Bookmark not defined.
7.
Referenzen.................................................................................................................................... 31
5
PoT-Umgebung
Abbildungsverzeichnis
Abbildung 1: PoT-Umgebung – Administrative und Laufzeitkomponenten ........................... 8
Abbildung 3 SVN Verzeichnisstruktur .................................... Error! Bookmark not defined.
Abbildung 4 TAC Benutzerkonfiguration ................................ Error! Bookmark not defined.
Abbildung 5 TAC Audit Konfiguration .................................... Error! Bookmark not defined.
Abbildung 6 TAC CommandLine Konfiguration ..................... Error! Bookmark not defined.
Abbildung 7 TAC ESB Konfiguration ...................................................................................36
Abbildung 8 TAC SAM Konfiguration ...................................................................................36
Abbildung 9 TAC JobConductor Konfiguration ...................... Error! Bookmark not defined.
Abbildung 10 TAC SVN Konfiguration ................................... Error! Bookmark not defined.
Abbildung 11 TAC AMC Konfiguration................................... Error! Bookmark not defined.
Abbildung 12 TAC - Login...................................................... Error! Bookmark not defined.
Abbildung 13 Talend Studio AMC Datenbankverbindung ...... Error! Bookmark not defined.
Abbildung 14 Talend Studio AMC Datenauswertung ............. Error! Bookmark not defined.
Abbildung 15 TAC JobServer Konfiguration .......................... Error! Bookmark not defined.
Abbildung 16 MDM Webanwendung ..................................... Error! Bookmark not defined.
Abbildung 17 DSC Webanwendung ...................................... Error! Bookmark not defined.
Abbildung 18 DSC Task ........................................................ Error! Bookmark not defined.
Abbildung 19 TAC Konfigurationsansicht .............................. Error! Bookmark not defined.
Abbildung 20 Data Quality Portal ........................................... Error! Bookmark not defined.
Abbildung 21 TAC Command Line Ausführungen ................. Error! Bookmark not defined.
6
PoT-Umgebung
1. Einleitung
Dieses Dokument beschreibt die Installation der „Proof of Technology“-Umgebung (PoT),
welche als Testumgebung für den Talend ESB vorgesehen ist.
Die Infrastruktur der PoT-Umgebung ist im Kapitel 2 aufgelistet. Vorbereitende Schritte zur
Installation der Talend-Komponenten sind im Kapitel 3 beschrieben. Die
Installationsbeschreibung befindet sich in Kapitel 4 und besteht aus exemplarischen
Protokollen und Screenshots der Installation. Kapitel 4.2 enthält Beschreibungen der
Konfigurationsschritte die nach der Installation durchgeführt werden müssen. Im Kapitel 6
sind die Prüfschritte zum Testen der Funktionsfähigkeit der installierten PoT-Umgebung
zusammengefasst.
7
PoT-Umgebung
2. Infrastruktur
Die Talend PoT-Umgebung ist auf dem Server vse-ebetrieb-talend vorgesehen. Dieser
nutzt Solaris Sparc 10.1.13 als Betriebssystem.
Zusätzlich wird eine externe Oracle-Datenbank (placeholder_db_server_host) und ein
externer SVN-Server (placeholder_svn_server_host) verwendet.
2.1 Übersicht der PoT-Umgebung
Die folgenden Diagramme geben einen Überblick über die enthaltenen TalendKomponenten.
Abbildung 1: PoT-Umgebung – Administrative und Laufzeitkomponenten
2.2 Zugangspunkte der einzelnen Komponenten
Die folgende Tabelle fasst die wichtigsten Zugangspunkte zu den einzelnen TalendKomponenten zusammen:
Komponente
Beschreibung/Zugangspunkt
JobServer
Laufzeitumgebung für ETL Jobs
Kein direkter Zugang. Wird über TAC angesprochen.
ESB
Infrastruktur
Übersicht der deployten Services
http://vse-ebetrieb-talend:8040/services
ESB Runtime
Übersicht der deployten Services
http://vse-ebetrieb-talend:8041/services
8
PoT-Umgebung
CommandLine
Wird über den TAC angesprochen
TAC
Talend Administration Center – Web Applikation
http://vse-ebetrieb-talend:8080/org.talend.administrator
Tabelle 1: PoT-Umgebung - Wichtige Zugangspunkte zu den Talend-Komponenten
9
PoT-Umgebung
3. Vorbereitende Schritte
Dieser Abschnitt enthält die Beschreibung der Schritte, die vor der Installation der TalendKomponenten durchgeführt werden müssen.
3.1 Systemanforderungen
Die Systemanforderungen müssen entsprechend der Dokumentation erfüllt sein. (/2/
Kapitel 1)
3.2 Betriebssystem Benutzer
Alle Talend-Komponenten laufen unter dem Betriebssystembenutzer „talend“. Dieser
Benutzer muss entsprechend vorher angelegt werden. Es wird erwartet, dass das HomeVerzeichnis des Benutzers unter ‚/export/home/talend‘ zur Verfügung steht.
useradd -d /export/home/talend -m -s /bin/bash -c "Talend Runtime user" talend
3.3 Hostname
Der Solaris Server besitzt einen Hostnamen. Der Hostname muss vom Server aus
auflösbar sein. Er muss auf die IP des Servers zeigen. Ist dies nicht der Fall muss der
Hostname über die locale hosts Konfiguration mit der lokalen IP konfiguriert werden.
3.4 Betriebssystemlimitierungen anpassen
Auf dem Server müssen die Limits für offene Dateien angepasst werden.
Prüfen der aktuellen Einstellungen:
Soft Limits:
bash-3.00# ulimit -Sa
core file size
(blocks, -c)
data seg size
(kbytes, -d)
file size
(blocks, -f)
open files
(-n)
pipe size
(512 bytes, -p)
stack size
(kbytes, -s)
cpu time
(seconds, -t)
max user processes
(-u)
virtual memory
(kbytes, -v)
unlimited
unlimited
unlimited
256
10
8192
unlimited
29995
unlimited
Hard Limits:
bash-3.00# ulimit -Ha
10
PoT-Umgebung
core file size
(blocks, -c)
data seg size
(kbytes, -d)
file size
(blocks, -f)
open files
(-n)
pipe size
(512 bytes, -p)
stack size
(kbytes, -s)
cpu time
(seconds, -t)
max user processes
(-u)
virtual memory
(kbytes, -v)
unlimited
unlimited
unlimited
65536
10
unlimited
unlimited
29995
unlimited
Die Auswertung zeigt, dass dei Soft Limits auf 256 Dateien begrenzt sind. Hier muss eine
Anpassung erfolgen.
Es wird das Solaris Ressource Management zur Anpassung der Werte verwendet.
bash-3.00# projadd -U talend -K 'process.max-filedescriptor=(basic,65536,deny),(privileged,65536,deny)' user.talend
Anschließend muss der Server neugestartet werden, damit die Änderungen angewendet
werden. Die Anpassungen sind nur für den Talend User gültig. Eine Anpassung der Hard
Limits ist in dieser Konfiguration nicht notwendig gewesen.
3.5 Installation des Java JDK
Vor der Installation der Talend-Komponenten muss Java auf dem Server installiert werden.
Installiert wurde die Java Version JDK 8 U67. (jdk-8u65-solaris-sparcv9.tar.gz) Die
Installation erfolgt entsprechend der Oracle Dokumentation. /1/ Es wird die
Installationsvariante über das Archiv gewählt.
Es wird angenommen, dass das Archiv unter /opt/jdk liegt.
cd /opt/jdk
gzip -dc jdk-8u65-solaris-sparcv9.tar.gz | tar xf –
Oracle JDK wurde unter /opt/jdk/jdk1.8.0_65 installiert.
Der Java Symlink sollte angepasst werden, um Anwendungen auf die neue Java
Installation zeigen zu lassen.
unlink /usr/java
ln -sfn /opt/jdk/jdk1.8.0_65 /usr/java
3.6 Java Konfiguration
Alle Talend-Komponenten laufen unter dem Betriebssystembenutzer „talend“. Damit sie die
Java-Installation nutzen können, müssen die entsprechenden Umgebungsvariablen im
Profil des Benutzers „talend“ ergänzt werden. Der aktuelle Nutzer verwendet
standardmäßig die bash Konsole. Dementsprechend muss die Datei .bash_profile
angepasst werden.
Die folgenden 4 Zeilen wurden in der Datei .bash_profile des Benutzers
„talend“ hinzugefügt:
11
PoT-Umgebung
#!/bin/bash
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export JDK_HOME=/usr/java
export PATH=$JAVA_HOME/bin:$PATH
Da alle Server dediziert für die Talend Komponenten genutzt werden, kann die
Verknüpfung zum letzten (/usr/java) genutzt werden.
Der Benutzer root benötigt ebenfalls die Umgebungsvariable JAVA_HOME. Diese muss in
der Datei /.profile hinzugefügt werden.
JAVA_HOME=/usr/java
export JAVA_HOME
3.7 Prüfung der Java Umgebungsvariablen und Version
Die Java_Home Variable und auch die normal verwendete Java Version sollte jetzt auf
Java 8 zeigen.
-bash-3.00$ export
declare -x HOME="/export/home/talend"
declare -x JAVA_HOME="/usr/java/"
declare -x JDK_HOME="/usr/java"
declare -x JRE_HOME="/usr/java/jre"
declare -x LOGNAME="talend"
declare -x MAIL="/var/mail//talend"
declare -x OLDPWD
declare -x PATH="/usr/java//bin:/usr/bin"
declare -x PWD="/export/home/talend"
declare -x SHELL="/bin/bash"
declare -x SHLVL="1"
declare -x SSH_CLIENT="192.168.200.79 9083 22"
declare -x SSH_CONNECTION="192.168.200.79 9083 192.168.150.223 22"
declare -x SSH_TTY="/dev/pts/4"
declare -x TERM="xterm"
declare -x USER="talend"
-bash-3.00$ java -version
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
Es ist sehr wichtig, dass die Umgebungsvariable JAVA_HOME auf die Java 8 installation
zeigt!
3.8 Oracle Datenbank
XE ist die Datenbank, die für die PoT-Umgebung bereitgestellt wurde:
placeholder_db_sid =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = placeholder_db_server_host)(PORT = 1521))
(CONNECT_DATA =
(SERVER = DEDICATED)
12
PoT-Umgebung
(SERVICE_NAME = XE)
)
)
Für den Zugriff auf die Oracle Datenbank ist ein Oracle JDBC Treiber notwendig. Der
Treiber muss manuell heruntergeladen und bereitgestellt werden. Der Treiber muss dem
Betriebsstembenutzer ‘talend’ zugeordnet sein.
In dieser Installation wurde der Treiber ‘ojdbc6.jar’ verwendet. Der Treiber muss von der
Oracle Webseite heruntergeladen werden.
3.8.1 Logging Schemas für Service Activity Monitoring
Log Nachrichten die von der Komponente Service Activitiy Monitoring (SAM) gespiechert
werden sollen, benötigen ein Schema mit ensprechenden Tabellen.
Die Log Daten warden im Schema bfj_tld_log_601 gespeichert.
Es müssen die folgenden SQL Scripte in die Datenbank eingespielt werden:
/opt/talend/Talend-ESB-V6.0.1/add-ons/sam/db/create_oracle.sql
/opt/talend/Talend-ESB-V6.0.1/add-ons/sam/db/create_oracle_ind.sql
3.8.2 Logging Schemas für Event Logging
Log Nachrichten die von der Komponente Event Logging (EL) gespiechert werden sollen,
benötigen ein Schema mit ensprechenden Tabellen.
Die Log Daten warden im Schema bfj_tld_log_601 gespeichert.
Es müssen die folgenden SQL Scripte in die Datenbank eingespielt werden:
/opt/talend/Talend-ESB-V6.0.1/add-ons/event-logging/db/create_oracle.sql
/opt/talend/Talend-ESB-V6.0.1/add-ons/event-logging/db/create_oracle_ind.sql
3.9 Vorbereitung der Talend Installationsdateien
Die Talend Installationsdateien müssen auf dem Server zur Verfügung stehen. Die
Installation erfolgt unter dem Benutzer talend. Der Benutzer muss die entsprechenden
Rechte besitzen, um die Dateien bearbeiten zu können.
Es wird erwartet das die Dateien im Benutzerverzeichnis unter ‘install’ bereitstehen.
Es wird erwartet, dass der Oracle Datenbanktreiber ebenfalls im Verzeichnis
/export/home/talend/install bereitgestellt ist.
Es wird ein Apache Tomcat in der Version 7.0.65 benötigt, der ebenfalls im
Installationsverzeichnis bereitgestellt warden muss.
-bash-3.00$ cd /export/home/talend/install
bash-3.00# ls
Talend-AdministrationCenter-20150908_1633-V6.0.1.zip
Talend-ESB-V6.0.1-20150909162855.zip
Talend-LogServer-V6.0.0.4.zip
13
PoT-Umgebung
Talend-Runtime-V6.0.1-20150909162855.zip
apache-tomcat-7.0.65.zip
ojdbc6.jar
Die Installation erfolgt im verzeichnis /opt/talend. Das Verzeichnis muss entsprechende
Besitz- und Berechtigungskonfigurationen für den Benutzer talend besitzen.
14
PoT-Umgebung
4. Installation
Die Installation wurde gemäß des Talend Installation Guide /2/ durchgeführt. Im Folgenden
sind Logs und Screenshots der einzelnen Installationsschritte dokumentiert.
Die Installtaion wird unter dem Benutzer talend durchgeführt, solange dies nicht anders
gekennzeichnet ist.
4.1 Talend ESB Infrastruktur
Die Talend ESB Instrastruktur wird unter /opt/talend entpackt.
cd /opt/talend
unzip -d /opt/talend /export/home/talend/install/Talend-ESB-V6.0.1-20150909162855.zip
ls -al
Talend-ESB-V6.0.1
Oracle JDBC Treiber installieren
Der Oracle JDBC Datenbanktreiber muss vorher heruntergeladen werden und im System
für den Benutzer ‚talend‘ bereitstehen. In dieser Installation wurde er unter das
Installationsverzeichnis kopiert. Um ihn im ESB verwenden zu können, muss er deployed
werden.
cp /export/home/talend/install/ojdbc7.jar /opt/talend/Talend-ESB-V6.0.1/container/lib/
4.2 Talend ESB Runtime
Die Talend ESB Runtime wird unter /opt/talend entpackt.
cd /opt/talend
unzip -d /opt/talend /export/home/talend/install/Talend-Runtime-V6.0.1-20150909162855.zip
ls -al
Talend-ESB-V6.0.1
Talend-Runtime-V6.0.1
4.3 Talend Administration Center
Das Talend Administration Center (TAC) wird unter /opt/talend entpackt. Zusätzlich zum
TAC wird das Talend Identity Management (TIDM) im Tomcat installiert.
cd /opt/talend
unzip -d /opt/talend /export/home/talend/install/Talend-AdministrationCenter-20150908_1633-V6.0.1.zip
unzip -d /opt/talend /export/home/talend/install/apache-tomcat-7.0.65.zip
chmod u+x /opt/talend/apache-tomcat-7.0.65/bin/*.sh
cd /opt/talend/apache-tomcat-7.0.65/webapps/
mv /opt/talend/Talend-AdministrationCenter-20150908_1633-V6.0.1/org.talend.administrator-6.0.1.war .
mv /opt/talend/Talend-ESB-V6.0.1/add-ons/tidm/syncope* .
cd /opt/talend/apache-tomcat-7.0.65
15
PoT-Umgebung
mv
/opt/talend/Talend-AdministrationCenter-20150908_1633-V6.0.1/endorsed/ .
Oracle JDBC Treiber installieren
Der Oracle JDBC Datenbanktreiber muss vorher heruntergeladen werden und im System
für den Benutzer ‚talend‘ bereitstehen. In dieser Installation wurde er unter das
Installationsverzeichnis kopiert. Um ihn im TAC verwenden zu können, muss er
bereitgestellt werden. Hierzu muss der TAC initial gestartet werden. Es muss gewartet
werden, bis der Tomcat vollständig gestartet ist. Anschließend muss der Tomcat neu
gestartet werden.
/opt/talend/apache-tomcat-7.0.65/bin/startup.sh
cp /export/home/talend/install/ojdbc6.jar /opt/talend/apache-tomcat7.0.65/webapps/org.talend.administrator-6.0.1/WEB-INF/lib/
/opt/talend/apache-tomcat-7.0.65/bin/shutdown.sh
/opt/talend/apache-tomcat-7.0.65/bin/startup.sh
16
PoT-Umgebung
5. Konfiguration
Nach der Installation muss die Konfiguration der einzelnen Komponenten an die
bestehende Umgebung angepasst werden. Dazu gehören z.B. Konfigurationsparameter für
die Oracle-Datenbank, JDBC-Treiber, Memory-Settings, und Hostnamen.
5.1 Talend ESB Infrastruktur
5.1.1 ESB Infrastruktur
Die ESB Infrastruktur und die ESB Runtime verwenden nach der Installation die gleichen
Ports. Zur Konfiguration der Ports muss die jeweilige Komponente gestartet werden. Aus
diesem Grunde muss die ESB Runtime während der Konfiguration der ESB Infrastruktur
unbedingt gestoppt sein.
Konfiguration als Solaris Service
In das Verzeichnis zum Talend ESB wechseln:
cd /opt/talend/Talend-ESB-V6.0.1/container/bin
ESB Infrastruktur starten:
./trun
Installieren des Dienstes mit Hilfe eines Wrappers:
feature:install wrapper
wrapper:install -s AUTO_START -n TALEND-ESB -d Talend-ESB -D "Talend ESB Infrastructure"
Erwartete Ausgabe:
karaf@trun()> feature:install wrapper
karaf@trun()> wrapper:install -s AUTO_START -n TALEND-ESB -d Talend-ESB -D "Talend ESB
Infrastructure"
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/bin/TALEND-ESB-wrapper
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/bin/TALEND-ESB-service
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/etc/TALEND-ESB-wrapper.conf
Creating missing directory: /opt/talend/Talend-ESB-V6.0.1/container/lib/wrapper
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/lib/wrapper/libwrapper.so
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/lib/wrapper/karaf-wrapper.jar
Creating file: /opt/talend/Talend-ESB-V6.0.1/container/lib/wrapper/karaf-wrapper-main.jar
Setup complete. You may wish to tweak the JVM properties in the wrapper configuration file:
/opt/talend/Talend-ESB-V6.0.1/container/etc/TALEND-ESB-wrapper.conf
before installing and starting the service.
Server herunterfahren:
shutdown
Installieren des Dienstes:
17
PoT-Umgebung
Die Konfiguration als Service erfolgt unter dem Benuter root. Zur Service Installation unter
Solaris wird die Service Managemnt Facility (SMF) verwendet. Es muss ein Manifest erstellt
werden.
vi /var/svc/manifest/application/talend-esb.xml
Das Manifest muss entsprechend konfiguriert werden. Ebenfalls wird im Manifest
festgehalten, dass der Dienst unter dem Benutzer talend gestartet wird.
<?xml version="1.0"?>
<!DOCTYPE service_bundle SYSTEM "/usr/share/lib/xml/dtd/service_bundle.dtd.1">
<service_bundle type='manifest' name='tisagent'>
<service
name='application/talend-esb'
type='service'
version='1'>
<create_default_instance enabled='true' />
<single_instance/>
<exec_method
type='method'
name='start'
exec='su talend /lib/svc/method/TALEND-ESB-service start'
timeout_seconds='150'
/>
<exec_method
type='method'
name='stop'
exec='su talend /lib/svc/method/TALEND-ESB-service stop'
timeout_seconds='150' />
<template>
<common_name>
<loctext xml:lang='C'>
Talend ESB infrastructure
</loctext>
</common_name>
<documentation>
<manpage title='Talend ESB infrastructure' section='5'
/>
<doc_link name='talend.com'
uri='http://talend.com'/>
</documentation>
</template>
</service>
</service_bundle>
Entsprechend des Manifestes muss ein Symlink zum Startscript erfolgen:
ln -sn /opt/talend/Talend-ESB-V6.0.1/container/bin/TALEND-ESB-service /lib/svc/method/TALEND-ESBservice
Die Dienstkonfiguration muss importiert werden:
svccfg import /var/svc/manifest/application/talend-esb.xml
Dienst testen:
svcadm enable talend-esb
svcs | grep esb
Das Ergebnis sollte so aussehen:
18
PoT-Umgebung
online
5:33:36 svc:/application/talend-esb:default
Verbindung zum Talend ESB testen mit:
Die Verbindung kann mit dem talend benutzer getestet werden.
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Dienst stoppen:
svcadm enable talend-esb
Konfiguration der ESB Infrastruktur Ports
Die Talend ESB Infrastruktur besitzt die gleichen Defaultports wie die ESB Runtime. Es
werden hier keine Anpassungen durchgeführt. Stattdessen werden die Ports der ESB
Runtime angepasst.
Konfiguration der Speichereinstellungen
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/TALEND-ESB-wrapper.conf
Anpassen der folgenden Werte von:
Initial Java Heap Size (in MB)
#wrapper.java.initmemory=3
# Maximum Java Heap Size (in MB)
wrapper.java.maxmemory=512
zu:
# Initial Java Heap Size (in MB)
wrapper.java.initmemory=512
# Maximum Java Heap Size (in MB)
wrapper.java.maxmemory=1024
Konfiguration der Infrastrukturdienste
Die Infrastrukturdiense sollten in der Kapitelreihenfolge installiert werden.
Oracle Datasource im ESB Infrastruktur Container konfigurieren
Erst bei der Installation der OSGi-Features werden die verwendeten Konfigurationsdateien
angelegt. Aus diesem Grunde werden die Features installiert und anschließend der
Container heruntergefahren. Die Konfiguration erfolgt in den angelegten
Konfigurationsdateien.
Login in den Container:
su – root -c ‚svcadm enable talend-esb‘
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
In der Karaf Shell die folgenden Features installieren:
feature:install tesb-datasource-oracle
19
PoT-Umgebung
Karaf beenden:
logout
su - root –c 'svcadm disable talend-esb'
Konfigurieren der Datenbankverbindungseinstellungen:
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/org.talend.esb.datasource.oracle.cfg
Anpassen der folgenden Werte:
datasource.url= jdbc:oracle:thin:@stdb1.solaris.intern:1521:tldtst
datasource.user=BFJ_TLD_LOG_601
datasource.password=talend
Service Activity Monitoring und Event Logging konfigurieren
Starten des Kontainers
su – root -c ‚svcadm enable talend-esb‘
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Starten der Komponenten
tesb:start-sam
tesb:stop-sam
feature:install tesb-el-elasticsearch
feature:install tesb-el-server
feature:install tesb-el-collector-direct
feature:install tesb-el-rest-service
feature:install tesb-el-sender-rest
feature:install tesb-el-agent
feature:install tesb-el-dlq
feature:install tesb-el-mdc-mapper
config:edit --force org.talend.eventlogging.agent
config:property-set agent.id esbinfra
config:update
feature:install tesb-el-listener-log
feature:install tesb-el-listener-osgi
feature:install tesb-locator-monitor
shutdown
Konfigurationsdatei öffnen:
vi /opt/talend/Talend-5.5.1/esb/container/etc/org.talend.eventlogging.server.cfg
Anpassen der folgenden Werte:
persistence.event.db.active.default = true
persistence.event.db.active.sam=false
persistence.sam.db.active.default=false
search.active.default = false
event.logging.db.datasource=ds-oracle
event.logging.db.dialect=oracleDialect
sam.db.datasource=ds-oracle
sam.db.dialect=oralceDialect
elasticsearch.available = false
20
PoT-Umgebung
Secure Token Service
Starten des Kontainers
su – root -c ‚svcadm enable talend-esb‘
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Starten der Komponenten
tesb:start-sts
Service Locator
Starten der Komponenten
tesb:start-locator
Service Registry
Starten der Komponenten
tesb:start-registry
shutdown
Die Datenbankeinstellungen werden konfiguriert unter:
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/org.talend.esb.registry.repo.xml
Anpassen der folgenden Passagen von:
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/repository"/>
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.FileDataStore"/>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${wsp.home}"/>
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${wsp.home}/db;create=true"/>
<param name="schemaObjectPrefix" value="${wsp.name}_"/>
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/version" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${rep.home}/version/db;create=true"/>
<param name="schemaObjectPrefix" value="version_"/>
</PersistenceManager>
…
Zu:
21
PoT-Umgebung
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="SR_FS_REPO_" />
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.db.DbDataStore">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="minRecordLength" value="1024" />
<param name="maxConnections" value="3" />
<param name="copyWhenReading" value="true" />
<param name="tablePrefix" value="" />
<param name="schemaObjectPrefix" value="SR_DS_REPO_" />
</DataStore>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="SR_FS_WS_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="SR_${wsp.name}_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="SR_FS_VERSION_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_sr_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="SR_VERSION_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
22
PoT-Umgebung
Authorization Repository - XACML Registry
Starten des Kontainers
su – root -c ‚svcadm enable talend-esb‘
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Starten der Komponenten
tesb:start-authz-repo
tesb:start-authz-pdp
shutdown
Die Datenbankeinstellungen werden konfiguriert unter:
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/org.talend.esb.authorization.repo.xml
Anpassen der folgenden Passagen von:
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/repository"/>
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.FileDataStore"/>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${wsp.home}"/>
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${wsp.home}/db;create=true"/>
<param name="schemaObjectPrefix" value="${wsp.name}_"/>
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/version" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${rep.home}/version/db;create=true"/>
<param name="schemaObjectPrefix" value="version_"/>
</PersistenceManager>
…
Zu:
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AR_FS_REPO_" />
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.db.DbDataStore">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="="<REMOVED>" />
23
PoT-Umgebung
<param name="databaseType" value="oracle" />
<param name="minRecordLength" value="1024" />
<param name="maxConnections" value="3" />
<param name="copyWhenReading" value="true" />
<param name="tablePrefix" value="" />
<param name="schemaObjectPrefix" value="AR_DS_REPO_" />
</DataStore>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AR_FS_WS_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="AR_${wsp.name}_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AR_FS_VERSION_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_xacml_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="AR_VERSION_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
Konfigurieren des PDP Ports
Der Port wird konfiguriert unter:
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/org.talend.esb.authorization.pdp.cfg
Anpassen des Wertes:
registryAtomUrl=http://localhost:8040/services/XacmlRegistryAtom
Auxiliary Service
Starten des Kontainers
su – root -c ‚svcadm enable talend-esb‘
24
PoT-Umgebung
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Starten der Komponenten
tesb:start-aux-store
shutdown
Die Datenbankeinstellungen werden konfiguriert unter:
vi /opt/talend/Talend-ESB-V6.0.1/container/etc/org.talend.esb.auxiliary.repo.xml
Anpassen der folgenden Passagen von:
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/repository"/>
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.FileDataStore"/>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${wsp.home}"/>
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${wsp.home}/db;create=true"/>
<param name="schemaObjectPrefix" value="${wsp.name}_"/>
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/version" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${rep.home}/version/db;create=true"/>
<param name="schemaObjectPrefix" value="version_"/>
</PersistenceManager>
…
Zu:
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AX_FS_REPO_" />
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.db.DbDataStore">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="minRecordLength" value="1024" />
<param name="maxConnections" value="3" />
<param name="copyWhenReading" value="true" />
<param name="tablePrefix" value="" />
<param name="schemaObjectPrefix" value="AX_DS_REPO_" />
25
PoT-Umgebung
</DataStore>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AX_FS_WS_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="AX_${wsp.name}_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="AX_FS_VERSION_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_aux_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="AX_VERSION_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
Provisioning Service
Starten des Kontainers
su – root -c ‚svcadm enable talend-esb‘
/opt/talend/Talend-ESB-V6.0.1/container/bin/client
Starten der Komponenten
tesb:start-provision-server
tesb:start-provision-agent
shutdown
Die Datenbankeinstellungen werden konfiguriert unter:
vi org.talend.esb.provisioning.repo.xml
Anpassen der folgenden Passagen von:
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
26
PoT-Umgebung
<param name="path" value="${rep.home}/repository"/>
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.FileDataStore"/>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${wsp.home}"/>
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${wsp.home}/db;create=true"/>
<param name="schemaObjectPrefix" value="${wsp.name}_"/>
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.local.LocalFileSystem">
<param name="path" value="${rep.home}/version" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.DerbyPersistenceManager">
<param name="url" value="jdbc:derby:${rep.home}/version/db;create=true"/>
<param name="schemaObjectPrefix" value="version_"/>
</PersistenceManager>
…
Zu:
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="PR_FS_REPO_" />
</FileSystem>
…
<DataStore class="org.apache.jackrabbit.core.data.db.DbDataStore">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="minRecordLength" value="1024" />
<param name="maxConnections" value="3" />
<param name="copyWhenReading" value="true" />
<param name="tablePrefix" value="" />
<param name="schemaObjectPrefix" value="PR_DS_REPO_" />
</DataStore>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="PR_FS_WS_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="<REMOVED>" />
27
PoT-Umgebung
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="PR_${wsp.name}_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
<FileSystem class="org.apache.jackrabbit.core.fs.db.OracleFileSystem">
<param name="url" value="jdbc:oracle:thin:@stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="<REMOVED>" />
<param name="schema" value="oracle" />
<param name="schemaObjectPrefix" value="PR_FS_VERSION_" />
</FileSystem>
…
<PersistenceManager class="org.apache.jackrabbit.core.persistence.pool.OraclePersistenceManager">
<param name="driver" value="oracle.jdbc.OracleDriver" />
<param name="url" value="jdbc:oracle:thin:stdb1.solaris.intern:1521:xe" />
<param name="user" value="bfj_tld_pro_601" />
<param name="password" value="<REMOVED>" />
<param name="databaseType" value="oracle" />
<param name="schemaObjectPrefix" value="PR_VERSION_" />
<param name="externalBLOBs" value="false" />
</PersistenceManager>
…
5.1.2 ESB Runtime
Die Konfiguration der ESB Runtime muss in der Kapitelreihenfolge erfolgen.
Konfiguration der Runtime Ports
Der Talend ESB und die Talend Runtime nutzen in ihrer Grundeinstelung dieselben Ports.
Um die Ports der ESB Runtime anzupassen muss ein Skript zur aufzeit ausgeführt werden.
Hierzu muss der ESB aus Kapitel Error! Reference source not found. zuerst gestoppt
werden.
Den ESB Service stoppen:
su - root –c 'svcadm disable talend-esb'
Anschließend kann die Talend Runtime gestartet werden.
/opt/talend/Talend-Runtime-V6.0.1/bin/trun
Nachdem der Container viollständig gestartet ist kann in der OSGi Shell die Configuration
für das Configuration Profile C1 angewendet werden. Darin werden alle Ports angepasst.
source scripts/configureC1.sh
Server herunterfahren mit
shutdown
Inhalt des Data Verzeichnisses löschen
rm –rf /opt/talend/Talend-Runtime-V6.0.1/data/*
28
PoT-Umgebung
Die ESB Infrastruktur kann wieder gestartet werden:
su - root –c 'svcadm enable talend-esb'
Konfiguration als Solaris Service
Die Konfiguration als Linux Service muss unter dem Benutzer root durchgeführt werden. In
das Verzeichnis zur Talend Runtime wechseln:
cd /opt/talend/Talend-Runtime-V6.0.1/bin
Runtime starten:
./trun
Installieren des Dienstes mit Hilfe eines Wrappers:
feature:install wrapper
wrapper:install -s AUTO_START -n TALEND-RUNTIME -d Talend-Runtime -D "Talend Runtime"
Erwartete Ausgabe:
karaf@trun()> feature:install wrapper
karaf@trun()> wrapper:install -s AUTO_START -n TALEND-RUNTIME -d Talend-Runtime -D "Talend Runtime"
Creating file: /opt/talend/Talend-Runtime-V6.0.1/bin/TALEND-RUNTIME-wrapper
Creating file: /opt/talend/Talend-Runtime-V6.0.1/bin/TALEND-RUNTIME-service
Creating file: /opt/talend/Talend-Runtime-V6.0.1/etc/TALEND-RUNTIME-wrapper.conf
Creating missing directory: /opt/talend/Talend-Runtime-V6.0.1/lib/wrapper
Creating file: /opt/talend/Talend-Runtime-V6.0.1/lib/wrapper/libwrapper.so
Creating file: /opt/talend/Talend-Runtime-V6.0.1/lib/wrapper/karaf-wrapper.jar
Creating file: /opt/talend/Talend-Runtime-V6.0.1/lib/wrapper/karaf-wrapper-main.jar
Setup complete. You may wish to tweak the JVM properties in the wrapper configuration file:
/opt/talend/Talend-Runtime-V6.0.1/etc/TALEND-RUNTIME-wrapper.conf
before installing and starting the service.
Server herunterfahren:
shutdown
Installieren des Dienstes:
Die Konfiguration als Service erfolgt unter dem Benuter root. Zur Service Installation unter
Solaris wird die Service Managemnt Facility (SMF) verwendet. Es muss ein Manifest erstellt
werden.
vi /var/svc/manifest/application/talend-runtime.xml
Das Manifest muss entsprechend konfiguriert werden. Ebenfalls wird im Manifest
festgehalten, dass der Dienst unter dem Benutzer talend gestartet wird.
<?xml version="1.0"?>
<!DOCTYPE service_bundle SYSTEM "/usr/share/lib/xml/dtd/service_bundle.dtd.1">
<service_bundle type='manifest' name='talendruntime'>
<service
name='application/talend-runtime'
type='service'
version='1'>
<create_default_instance enabled='true' />
29
PoT-Umgebung
<single_instance/>
<exec_method
type='method'
name='start'
exec='su talend /lib/svc/method/TALEND-RUNTIME-service start'
timeout_seconds='150'
/>
<exec_method
type='method'
name='stop'
exec='su talend /lib/svc/method/TALEND-RUNTIME-service stop'
timeout_seconds='150' />
<template>
<common_name>
<loctext xml:lang='C'>
Talend ESB infrastructure
</loctext>
</common_name>
<documentation>
<manpage title='Talend Runtime' section='5'
/>
<doc_link name='talend.com'
uri='http://talend.com'/>
</documentation>
</template>
</service>
</service_bundle>
Entsprechend des Manifestes muss ein Symlink zum Startscript erfolgen:
ln -sn /opt/talend/Talend-Runtime-V6.0.1/bin/TALEND-RUNTIME-service /lib/svc/method/TALEND-RUNTIMEservice
Die Dienstkonfiguration muss importiert werden:
svccfg import /var/svc/manifest/application/talend-runtime.xml
Dienst testen:
svcs | grep runtime
Das Ergebnis sollte so aussehen:
online
7:09:16 svc:/application/talend-runtime:default
Verbindung zur Talend Runtime testen mit:
Die Verbindung kann mit dem talend benutzer getestet werden.
/opt/talend/Talend-Runtime-V6.0.1/bin/client
Dienst stoppen:
svcadm enable talend-runtime
Konfiguration der Speichereinstellungen
vi /opt/talend/Talend-Runtime-V6.0.1/etc/TALEND-RUNTIME-wrapper.conf
30
PoT-Umgebung
Anpassen der folgenden Werte von:
Initial Java Heap Size (in MB)
#wrapper.java.initmemory=3
# Maximum Java Heap Size (in MB)
wrapper.java.maxmemory=512
zu:
# Initial Java Heap Size (in MB)
wrapper.java.initmemory=512
# Maximum Java Heap Size (in MB)
wrapper.java.maxmemory=1024
Konfiguration der Infrastrukturdienste
Die Infrastrukturdiense sollten in der angegebenen Reihenfolge installiert werden.
Starten und Verbinden der Talend Runtime
su - root –c 'svcadm enable talend-runtime'
Nachdem die Talend Runtime vollständig gestartet ist, können die Infrastruktur ClientKomponenten gestartet werden.
tesb:start-el-agent
tesb:start-el-loglistener
tesb:start-el-osgilistener
tesb:start-el-samlistener
tesb:start-el-restsender
Die Defaulkonfiguration trifft auf die PoT Umgebung zu.
5.2 Administration
5.2.1 TAC
Konfiguration als Linux Service
Die Konfiguration als Service erfolgt unter dem Benuter root. Zur Service Installation unter
Solaris wird die Service Managemnt Facility (SMF) verwendet. Es muss ein Manifest erstellt
werden.
vi /var/svc/manifest/application/talend-tac.xml
Das Manifest muss entsprechend konfiguriert werden. Ebenfalls wird im Manifest
festgehalten, dass der Dienst unter dem Benutzer talend gestartet wird.
<?xml version="1.0"?>
<!DOCTYPE service_bundle SYSTEM "/usr/share/lib/xml/dtd/service_bundle.dtd.1">
<service_bundle type='manifest' name='tisagent'>
<service
name='application/talend-tac'
31
PoT-Umgebung
type='service'
version='1'>
<create_default_instance enabled='true' />
<single_instance/>
<exec_method
type='method'
name='start'
exec='su talend -c "cd /opt/talend/apache-tomcat-7.0.65 ; /lib/svc/method/TALEND-TAC-startup.sh"'
timeout_seconds='150'
/>
<exec_method
type='method'
name='stop'
exec='su talend -c "cd /opt/talend/apache-tomcat-7.0.65 ; /lib/svc/method/TALEND-TAC-shutdown.sh"'
timeout_seconds='150' />
<template>
<common_name>
<loctext xml:lang='C'>
Talend Administration Center
</loctext>
</common_name>
<documentation>
<manpage title='Talend Administration Center' section='5'
/>
<doc_link name='talend.com'
uri='http://talend.com'/>
</documentation>
</template>
</service>
</service_bundle>
Entsprechend des Manifestes muss ein Symlink zum Startscript erfolgen:
ln -sn /opt/talend/apache-tomcat-7.0.65/bin/startup.sh /lib/svc/method/TALEND-TAC-startup.sh
ln -sn /opt/talend/apache-tomcat-7.0.65/bin/shutdown.sh /lib/svc/method/TALEND-TAC-shutdown.sh
Die Dienstkonfiguration muss importiert werden:
svccfg import /var/svc/manifest/application/talend-tac.xml
Dienst testen:
svcadm enable talend-tac
svcs | grep tac
Das Ergebnis sollte so aussehen:
online
5:33:36 svc:/application/talend-tac:default
Initialkonfiguration
Vor der Erstanmeldung ist es nötig die Datenbank zu konfigurieren. Außerdem muss die
Lizenz geprüft werden.
In einem Browser muss die TAC Webseite aufgerufen werden:
http://vse-ebetrieb-talend:8080/org.talend.administrator-6.0.1/
32
PoT-Umgebung
Es wird nach einem Administratorpasswort für die Initialkonfiguration gefragt. Dieses lautet
„admin“.
Abbildung 2 TAC Initialkonfiguration – Passwort
Datenbank
Der Datenbanktreiber wurde bereits installiert. Beim Aufruf des TAC müssen
Datenbankeinstellungen angegeben warden.
Die Datenbankeinstellungen müssen auf Oracle geändert werden.
Ip_address = stdb1.solaris.intern
Db_name = XE
Username = bfj_tld_sr_601
Password = <REMOVED>
33
PoT-Umgebung
Abbildung 3 TAC Initialkonfiguration - Datenbank
Lizenz
Über den Button „Set new license“ muss eine Lizenz übergeben werden. Diese wird
hochgeladen und automatisch vom TAC überprüft. Für die Überprüfung ist eine
Internetverbindung vom TAC aus notwendig.
Steht dem TAC keine Internetverbindung zur Verfügung muss den Anweisungen für eine
manuelle Prüfung gefolgt werden.
Konfiguration innerhalb des TACs
Die Konfiguration ist innerhalb des TACs nach Anmeldung mit einem Administratorbenutzer
möglich.
In einem Browser muss die TAC Webseite aufgerufen werden:
http://vse-ebetrieb-talend:8080/org.talend.administrator-6.0.1/
34
PoT-Umgebung
Abbildung 4 TAC Login
Der Administratorzugang lautet “[email protected]” mit dem Passwort “admin”.
Im weiteren Konfigurationsverlauf werden die notwendigen Einstellungen vorgenommen.
Da nicht alle Module genutzt werden, werden einige Konfigurationsprüfungen einen Fehler
melden. Dies ist normal.
Neuen User und Administrator anlegen
Ein Benutzer im TAC kann ein Administrator und/oder ein Entwickler sein. Im Moment
werden nur Administrative Nutzer benötigt. Ein Benutzer kann immer nur einmal gleichzeitig
angemeldet sein. Aus diesem Grunde kann es Sinn machen, weitere Adminitratoren
anzulegen.
Unter Settings > Users, neuen “Talend Benutzer“ anlegen:



„+ Add“ drücken (oben)
Formular ausfüllen (rechts)
o Login muss in Form einer eMail Adresse eingegeben werden
o Ein SVN Zugang wird aktuell nicht benötigt.
o Type „MDM“
o Rolle auswählen
 Administrator
 Operation Manager
 Designer
„Save“ drücken (unten rechts)
Der bestehende Administrator Benutzer sollte angepasst werden, so dass er die Rollen
Administrator, Operation Manager und Designer besitzt.
ESB Einstellungen
Navigieren zu Settings > Configuration.
35
PoT-Umgebung
Abbildung 5 TAC ESB Konfiguration
ServiceLocator und ServiceActivityMonitoring zeigen auf den Server http://tld-rted01.sixt.de.
Abbildung 6 TAC SAM Konfiguration
Die Konfiguration des Nexus muss auf das zentrale Artifact Repository verweisen.
Nexus URL : http://tld-repo-p01.sixt.de:8081/nexus
Benutzername und Passwort müssen entsprechend der Nexus-Konfiguration erfolgen.
Talend IDM
Navigieren zu Settings > Configuration.
Das IdM Bakcend befindet sich innerhalb des TACs.
36
PoT-Umgebung
Der Authorization Service befindet sich in der ESB Infrastruktur.
Runtime Server
Den runtime jobServer konfigurieren.
Server:





Label: tld-rte-d01-runtime
Host: tld-rte-d01.sixt.de
Die Defaultports bleiben bestehen
Talend Runtime: Ja
Defaultprots bleiben bestehen
Save Button drücken.
37
PoT-Umgebung
6. Test
Der Test stellt einen kurzen ‚Smoketest‘ dar, der sicherstellen soll, dass die Komponenten
installiert und lauffähig sind. Runtime Umgebung - RTE
6.1 Testservice
Zum Test werden ein Service und ein Konsumer genutzt. Beide verwednent die Service
Registry und den Service Locator. Über die konfigurierten Policies im TAC werden die
einzelnen Funktionen des ESBs aktiviert. Der Test ist erfolgreich, wenn die erwartete
Ausgabe erreicht wurde.
6.1.1 Service
Es wird ein einfacher EchoService genutzt. Er besitzt eine Operation, die eine Zeichenkette
entgegebnehmen kann und eine als Antwort zurücksendet.
Abbildung 7 Test Service Schnittstelle
6.1.2 Serviceimplementierung
In der Serviceimplementierung wird die Eingabe in der Ausgabe wiederverwendet.
Abbildung 8 Test Service Implementierung Überblick
Zusätzlich wird der Text „Echo“ vor die Antwort gestellt.
38
PoT-Umgebung
Abbildung 9 Test Service Mapping
Die ESB Optionen werden für Service Registry und Service Locator aktiviert.
39
PoT-Umgebung
Abbildung 10 Test Resvice ESB Optionen
6.1.3 Testkonsument
Der Testkonsument besitzt einen vordefinierten Eingabewert. Er sendet “hello” an den
Testservice.
Abbildung 11 Testkonsument Überblick
Im Ausgabemapping wird das aktuelle Datim angehangen. Der Wert wird im Dateisystem
hinterlegt. Die Datei ist Konfiguriertbar unter der Kontextvariable „path“, welche als
Ausgangswert „/tmp/echo_out.txt“ verwendet.
Die ESB Optionen werden für die Service Registry aktiviert.
40
PoT-Umgebung
Abbildung 12 Testkonsument ESB Optionen
6.1.4 Testkonfiguration
TODO
6.1.5 Testdurchfürhung
Konsument und Service liegen bereits in kompilierter Form vor.
Der Service muss zuerst in das Talent Runtime Deploy Verzeichnis kopiert werden.
Anschließend kann der Konsument in das Deploy Verzeichnis kopiert werden.
In der Datei /tmp/echo_out.txt sollte jetzt “Echo hello <AKTUELLES DATUM>” stehen.
41
PoT-Umgebung
7. Referenzen
1. Oralce documentation to install Java on Solaris;
https://docs.oracle.com/javase/8/docs/technotes/guides/install/solaris_jdk.html
2. Talend Data Services Platform Installation Guide 6.0.1;
Talend_DataServices_Platform_IG_6.0.1_EN.pdf
42