ecount – Tipps und Tricks beim Importieren 6. Mai 2010 – Zürich - BusinessCafe „Tipps und Tricks beim Importieren“ Ralf Kamphues, Systemberater Daniel Widmer, System Ingenieur Import Datenflüsse / Zusammenh. ComImport KomA Datenimport ecountDateiimport IMAP A POP3 B FTP C Format X Format Y Kanäle Datenquelle 1 GHI Datenquelle 2 HTTP D Format Z Ablage [koma] ./config Konfiguration Jobs ./config.properties comimport[.cmd¦.sh] typ. alle 5..10 Minuten Linien ./config/import/ ../config.properties ../datenimport.ini ./[filter].properties, z.B.: ./ebix.properties datenimport[.cmd¦.sh] [Datenbank] Stammdatenautomatik Gerätehistorie (Datenimport) Datei-Import [xy]… Import File Workflow KOMA: comimport KomA <liest> config.properties Job: <liest> comimport[.cmd¦.sh] Import -> Kommunikationseinstellungen (Formate, Verbindungen) ecount /esales Datenbank Import -> Konfigurationsautomatisierung (Abfragezyklus, wichtige Konteneinstellungen) Import -> Kommunikationseinstellungen Read-only: Verhindert das „Löschen“ der Dateien!. Ecount muss zusätzliche Informationen ablegen um sich die Dateien zu merken, welche bereits importiert wurden! Kommunikationseinstellungen - Formate Format wie in Import-Verzeichnis wie in datenimport.ini datenimport.ini Import -> Kommunikationsautomatisierung Import-Kommunikation - Konten Kommunikationseinstellungen - Verbindung Kommunikationseinstellungen - Format Für Ermittelung von AntwortAdressen erforderlich comimport - zu beachten: Mit „zip“ Format wird sichergestellt, dass Konten-Attribute (Nachrichtenadresse, Datenquelle, Betreff…) erhalten bleiben. Mit Attribut „Server“ kann ein Import-Konto einem KomaServer zugewiesen werden. Dies ermöglicht statische Lastverteilung auf mehrere KomA-Installationen – Config.properties: importcom.comserver = 1 Hinweis: Das Skript „comimport“ beendet sich nie selbsständig, sondern muss explizit gestoppt werden. Der Skript comimport_console kann mit eigenem DebugLevel für manuelle Analyse gestartet werden. KOMA: datenimport KomA datenimport.ini config.properties <liest> Job: <schreibt> Zwischentabelle datenimport[.cmd¦.sh] ecount /esales Datenbank Import -> Importdateien (Zwischentabelle) Hier können bereits erste Probleme erkannt werden! ecount - Importdateien Datei von ComImport – Konto 4 Format EDI ID der ImportDatei Verbindung zur importierten EmailNachricht datenimport - zu beachten: Gepackte (zip,gz) Dateien sollen über comimport importiert werden (Zeichensatzproblematik!) Die Reihenfolge der Imports wird über die Reihenfolge der Einträge im „datenimport.ini“ festgelegt. ZIP Dateien sind für den Datenimport transparent. Der Datenimport kann für die Formate CSV und Excel mit dem Import-Konfigurator (lizenzpflichtig) komfortabel bearbeitet werden. Der Skript datenimport_console kann mit eigenem DebugLevel für manuelle Analyse gestartet werden. ecount: „Datei-Import“ Job Datenbank - Jobs: Datei-Import [xy] Import File Workflow ecount /esales Zwischentabelle ecount /esales Datenbank Wird übertragen wenn: - GHI vorhanden oder „Datensumpf“ - Stammdatenautomatik eingerichtet Import -> Importüberwachung - Zwischentabelle Statistik - Problembehaftete Kanäle - Unzugeordnete Kanäle - Import Fehlerarten usw. Daten welche nicht zugeordnet oder fehlerhaft sind, verbleiben in der Zwischentabelle Analyse ecount: „Datei-Import“ – zu beachten: Wenn der Import zeitkritisch ist, muss das Timing der Jobs richtig gewählt werden. Imports sollten regelmässig überwacht werden, und Regeln hinterlegt werden, wie mit fehlerhaften oder nicht importierten Zeitreihen zu verfahren ist. Z.b. „aussteuern“ oder manuell löschen. Unverarbeitete Daten verbleiben in der Zwischentabelle und können zu erheblichen Datenmengen anwachsen. (Backup, Performanceverlust, Ressourcennutzung) Stammdatenautomatik Ermöglicht automatische Erstellung von - Zählpunkten - Linien - Gerätehistorien vorausgesetzt die Daten enthalten die für die automatische Generierung erforderlichen Informationen. Die Parametrierbarkeit muss pro Datenquelle lizensiert werden. SDAT Importe nutzen bereits ausgiebig die Möglichkeiten der Stammdatenautomatik …Stammdatenautomatik… SDA Baukasten Zählpunkte Linien Zwischentabelle Gerätehistorien ecount /esales ecount /esales Datenbank Stammdatenautomatik… Wir sind für Sie da… Ralf Kamphues, Systemberater Tel.: +41 79 72 73 137 Email: [email protected] Daniel Widmer, System Ingenieur Tel.: +41 79 570 24 46 Email: [email protected] …für Fragen – jetzt oder auch später! Copyright Weitergabe und Vervielfältigung dieser Publikation oder von Teilen daraus sind, zu welchem Zweck und in welcher Form auch immer, ohne die ausdrückliche schriftliche Genehmigung durch die Robotron Datenbank-Software GmbH nicht gestattet. In dieser Publikation enthaltene Informationen können ohne vorherige Ankündigung geändert werden. Die von der Robotron Datenbank-Software GmbH oder deren Vertriebsfirmen angebotenen Softwareprodukte können Softwarekomponenten auch anderer Softwarehersteller enthalten. Microsoft®, WINDOWS®, NT®, EXCEL®, Word®, PowerPoint® und SQL Server® sind eingetragene Marken der Microsoft Corporation. IBM®, DB2®, DB2 Universal Database, OS/2®, Parallel Sysplex®, MVS/ESA, AIX®, S/390®, AS/400®, OS/390®, OS/400®, iSeries, pSeries, xSeries, zSeries, z/OS, AFP, Intelligent Miner, WebSphere®, Netfinity®, Tivoli®, Informix und Informix® Dynamic ServerTM sind Marken der IBM Corporation in den USA und/oder anderen Ländern. ORACLE® ist eine eingetragene Marke der ORACLE Corporation. UNIX®, X/Open®, OSF/1® und Motif® sind eingetragene Marken der Open Group. Citrix®, das Citrix-Logo, ICA®, Program Neighborhood®, MetaFrame®, WinFrame®, VideoFrame®, MultiWin® und andere hier erwähnte Namen von Citrix-Produkten sind Marken von Citrix Systems, Inc. HTML, DHTML, XML, XHTML sind Marken oder eingetragene Marken des W3C®, World Wide Web Consortium, Massachusetts Institute of Technology. JAVA® ist eine eingetragene Marke der Sun Microsystems, Inc. JAVASCRIPT® ist eine eingetragene Marke der Sun Microsystems, Inc., verwendet unter der Lizenz der von Netscape entwickelten und implementierten Technologie. MarketSet und Enterprise Buyer sind gemeinsame Marken von SAP AG und Commerce One. SAP, SAP Logo, R/2, R/3, mySAP, mySAP.com und weitere im Text erwähnte SAP-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der SAP AG in Deutschland und anderen Ländern weltweit. robotron*ecount, robotron*esales, robotron*eportal, robotron*SEA, robotron*EdifactKonverter und weitere im Text erwähnte Robotron-Produkte und -Dienstleistungen sowie die entsprechenden Logos sind Marken oder eingetragene Marken der Robotron DatenbankSoftware GmbH in Deutschland und anderen Ländern weltweit. Alle anderen Namen von Produkten und Dienstleistungen sind Marken der jeweiligen Firmen