Dokumentation der tEXABulkExec
Werbung
Dokumentation der tEXABulkExec This document simply contains the necessary information to fill the build-in help in the Studio. It is not indent to be distributed. Family: Datenbank/Exasolution Allgemeines zum Einsatz Die EXASol Datenbank stellt für das schnelle Massendatenladen den IMPORT Befehl bereit. Diese Befehl kann CSV Dateien importieren und bietet die Möglichkeit unterschiedliche Formate zu berücksichtigen. Fehlerhafte Datensätze zusammen mit den Fehlermeldungen können in eine Lokale Log-Datei oder in eine Log-Tabelle (zu spezifieren) geschrieben. Der Import kann eine festlegbare Anzahl von fehlerhaften Datensätze tolerieren. Die CSV Quelldateien werden per http zum Server transportiert. Die Komponente etabliert zu diesem Zweck einen lokalen http-Server von dem sich die Datenbank die Datei abholt. Wichtig ist hier dass der Port des Servers sich mit jedem neuen Transfer ändert. Es ist also ein transparentes Netzwerk zwischen dem Talend Jobserver un der Datenbank erforderlich wenn man diesen Import verwenden will. Basic Settings: Setting Verwende existierende Verbindung Verbindung Eigenschafts-Typ Host Port Schema Tabelle Aktion auf Tabelle Lokale Datendatei Schema Advanced Settings Description Wenn ausgewählt dann stellt eine tEXAConnection Komponente die Verbindung für diese Komponente bereit Liste der tEXAConnection Komponenten, wähle eine um dessen Verbindung zu nutzen. Die Komponente kann eigene unabhängige Konfigurationsdaten für die Verbindung nutzen oder Konfigurationsdaten aus den Metadaten. Server oder eine Liste von Servern der EXASol Datenbank. EXASol kann in einem Cluster environment laufen. Der Treiber wählt in diesem fall automatisch den aktuellen Server. Standard-Port ist 8563. Dieser Port ist nur für das SQL Interface. Die Datei-Transfers erfolgen über andere Ports die nicht fest stehen. Das Standard-Schema.Tabellen in dem Standardschema können ohne den Schema-Teil im Namen angesprochen werden. Tabellenname ohne Schema. Typischerweise übersetzt die EXASol alle Namen in Großbuchstaben. Wenn explizit Kleinbuchstaben benötigt werden dann muss der Name in doppelten Hochkomma gesetzt werden. Z.B. "\"TEST_data_LOAD\"" Konfiguriere hier die Aktion die vor dem eigentlichen Import durchgeführt werden soll. Setze hier den Pfad+Namen der lokalen Datendatei. Schema der Tabelle. Das Schema muss zu den Spalten in der CSVDatei passen. Setting Additional JDBC Properties Spalten Formate Spalten Trenner Spalten Begrenzer Zeilen Trenner Null Darstellung Überspringe Zeilen Zeichensatz Leerzeichen abschneiden Standard Datumsformat Default Timestamp Format Tausender Trenner Dezimal Trenner Maximale Anzahl tolerierter Fehler Log Error Ziel Description Setze hier zusätzliche JDBC Verbindungs-Parameter. Momentan sind diese Parameter die einzige Möglichkeit die Verbindung zu verschlüsseln indem der Parameter encryption=1 gesetzt wird. Alle key-value Paare werden mit einem Semikolen getrennt. Beispiel: encyption=1;clientname=Talend Für numerische und Zeit-Spalten kann hier das Format festgelegt werden. Column: Schema column Hat Tausender Trenner: Wenn der Textwert in der CSV Datei Tausender-Gruppen-Trenner enthält muss das hier konfiguriert werden. Mit dieser Option wird das erforderliche Format automatisch aus der Länge und Präzision der Schema-Definintion ermittelt. Z.B. Für eine Spalte mit einer Länge von 10 and 2 Nachommastellen folgt folgendes Format: "9G999G999G999D99". Die Formate sind weiter unten erklärt. Alternatives Format: Wenn ein spezielles Format erforderlich ist. (Siehe die Formatbeschreibung weiter unten) Setze hier die Zeichen welches zur Trennung der Spalten dient. Wenn nichts gesetzt ist wir ein einfaches Komma als Trenner angenommen. Setze hier das Zeichen welches die Feldinhalte einfasst. Wird hier nichts gesetzt wird keine Einfassung erwartet. Setze hier das Zeichen für die Zeilentrennung. Wenn nichts spezifiziert ist, wird das UNIX Format angenommen. Setze hier einen String der Null-Werte darstellt, wenn nichts gesetzt ist werden leere Werte als Null interpretiert. Um ggf. vorhandene Kopfzeilen zu überspringen, hier die Anzahl festlegen. Ein Wert 0 bedeutet ab der ersten verfügbaren Zeile wird importiert. Zeichensatz in dem die Textdatei vorliegt. Es stehen 3 verschiedene Methoden zur Verfügung wie mit Leerzeichen am Anfang und Ende der Werte umgegangen werden soll. Wenn nicht für die einzelnen Datums-Spalten festgelegt wird diese Format verwendet. Als Syntax kann sowohl das SQL als auch das Java Format eingesetzt werden. Wenn nicht für die einzelnen Zeitstempel-Spalten festgelegt wird diese Format verwendet. Als Syntax kann sowohl das SQL als auch das Java Format eingesetzt werden. Setze hier das Zeichen welches als Trenner der Tausender verwendet werden soll. In numersichen Formatabgaben ist das das Zeichen was für den Platzhalter "G" eingesetzt wird. Wenn Spalten derartige Zeichen enthalten müssen sie das in den Erweiterten Einstellungen in der Spalten-Konfiguration berücksichtigen! Trennzeichen für die Nachkommastellen. Dieses Zeichen wird für den Platzhalter "D" in den numerischen Formatangaben eingesetzt. Setzt die Anzahl an fehlerhaften Datensätzen ab der der gesamte Import abgebrochen wird. Legen sie hier fest wo die Fehlerinformationen abgelegt werden sollen. Kein Logging: Fehlerhafte Datensätze werden nicht vorgehalten Local log file: Fehlerhafte Datensätze werden in eine lokale LogDatei geschrieben (lokal aus Sicht des Talend Jobs). Logging Tabelle: Fehlerhafte Datensätze werden in eine LogTabelle geschrieben. Falls diese Tabelle noch nicht existiert wird sie angelegt. Lokale Error Log Datei Füge timestamp to the log file name before extension Error Log Table Für den Fall dass eine lokale lokale Log-Datei verwendet werden soll, hier den Pfad festlegen. produces log file name like this: Use current timestamp to build the log table In case of you have choosen as log destination a table: set here the table name. Use for identification reasons in case you use the same error table or file multiple times. Secure Transfer The transfer of the file will be performed over https instead http. Number Formats: Element Digit Examples 9 9999,999 0 0000,000 Description Each 9 stands for a digit of the number. If the number has fewer di- gits, it is padded with leading spacing characters. Each 0 stands for a digit of the number. If the number has fewer di- gits, it is padded with 0(s). Sign S S9999,999 MI 9999,999MI FM FM9999,999 Decimal separators . 999.999 D 999D999 Writes + for positive numbers and - for negative numbers. S may only be used at the beginning or end of the format string. Writes a spacing character for positive numbers and - for negative numbers. MI may only be used at the end of the format string. Removes all superfluous zeros. Writes - for negative numbers and removes all leading and trailing spaces for positive numbers. FM may only be used at the beginning of the format string. Writes a decimal point before the fractional part. Writes the decimal separator from NLS_NUMERIC_CHARACTERS before the fractional part. Group separator , 999,999.999 G 999G999D999 Others eeee EEEE 9.99eeee 9.99EEEE Writes a comma as a group separator at the specified position. Writes the group separator from NLS_NUMERIC_CHARACTERS at the specified position. Scientific notation. Scientific notation. Examples: A column with a length of 8 and precision of 3 will expect this format: "99G999G999D999" You can use a wider format as your values actually expects but not less! Date Formats: Element -: ; . / \ _ CC IYYY,vYYY and IYY,vYY,IY,vY,I,v YYYY and YYY,YY,Y VYYY and VYY,VY,V Q MM MON Meaning Serve as separators or padding characters Century (01-99) Year (0001-9999 in accordance with international standard, ISO 8601) and the last 3,2 or 1 digits Year (0001-9999) and the last 3,2 or 1 digits Year corresponding to the element VW, and the last 3,2 or 1 digits Quarter of the year (1-4) Month (01-12) Month abbreviation (JAN-DEC (ENG) or JAN-DEZ (DEU)) MONTH IW,vW uW VW UW WW J D ID DD DDD DAY DY HH12 HH24 (or HH) AM, A.M., am, a.m. PM, P.M., pm, p.m. MI SS FF[1-9] Month written in full (JANUARY-DECEMBER (ENG) or JANUARDEZEMBER (DEU)) Week in the year (01-53, Mo-Su, week 01 of the year contains the 4th of January, previous days count to previous year, in accordance with international standard, ISO 8601) Week in the year (00-53, Mo-Su, week 01 of the year contains the 4th of January, previous days count to week 00) Week in the year (01-53, Su-Sa, week 01 of the year starts with the first sunday, previous days count to to previous year) Week in the year (00-53, Su-Sa, week 01 of the year starts with the first sunday, previous days count to week 00) Week in the year (01-53, the first day of the year is the beginning of the week) Julian Date (number of days since January 1, 4713 BC) Day of week (1-7, starting from the day specified by the parameter NLS_FIRST_DAY_OF_WEEK - see also ALTER SYSTEM) ISO day of week (1-7, starting from Monday) Day (01-31) Day in the year (001-365 or 001-366) Weekday written in full (MONDAY-SUNDAY (ENG) or MONTAGSONNTAG (DEU)) Weekday abbreviation (MON-SUN (ENG) or MO-SO (DEU)) Hour (01-12) Hour (00-23) Meridian indicator Similar to AM Minute (00-59) Second (00-59) Fraction of a second (e.g. milliseconds at FF3) Scenario 1: Simple import of a csv file: Drag an drop a table from a metadata under a EXASol connection to your job. This example assumes you have a table TEST_ALL_TYPES. Than choose a local file to import. Take care the file column structure matches with the schema of the table. You can reorder the schema columns to match the columns in the csv file. Columns not existing in the csv file can be removed in the schema (as long as they are not essential of cours). In the advanced settings you can configure the csv file format options: The first (VAL_INT) column use the alternate format and the column in the middle (VAL_BIGINT) a generated format.
