Integration Services
Werbung
Integration Services – Übersicht Integration Services – Übersicht Integration Services stellt umfangreiche integrierte Tasks, Container, Transformationen und Datenadapter für die En twicklung von Geschäftsanwendu ngen bereit. Ohne eine einzige Codezeile zu schreiben, können Sie SSIS -Lösungen erstellen, die komplexe Geschäftsprobleme mithilfe von ETL und Business Intelligence lösen, SQL Se rver-Datenbanken verwalten und SQL Server-Objekte zwischen Instanzen von SQL Se rver kopieren. Zusammenführen von Daten aus heterogenen Datenspeichern Auffüllen von Data Warehouses und Data Marts Cleanup und Standardisierung von Daten Integrieren von Business Intelligence in einen Datentransformationsprozess Automatisieren administrativer Funktionen und des Vorgangs zum Laden von D aten Typische Verwendungen von SQL Server Integration Services Integration Services stellt umfangreiche integrierte Tasks, Container, Transformationen und Datenadapter für die Entwicklung von Geschäftsanwendungen bereit. Ohne eine einzige Codezeile zu schreiben, können Sie SSIS-Lösungen erstellen, die komplexe Geschäftsprobleme mithilfe von ETL und Business Intelligence lösen, SQL Server-Datenbanken verwalten und SQL Server-Objekte zwischen Instanzen von SQL Server kopieren. Die folgenden Szenarien beschreiben typische Verwendungen von SSIS -Paketen. Zusammenführen von Daten aus heterogenen Datenspeichern Daten werden in der Regel in vielen ver- Quellen und das Zusammenführen zu einem schiedenen Datenspeichersystemen gespei- einzelnen, konsistenten Dataset ist eine Her- chert. Das Extrahieren von Daten aus diesen ausforderung. Für diese Situation gibt es ve rschiedene Ursachen. Beispiel: Viele Organisationen archivieren Informationen, die in LegacyDatenspeicherungssystemen gespeichert sind. Diese Daten mögen für alltägliche Geschäftsabläufe keine Rolle spielen. Für die Trendanalyse, bei der Daten über einen langen Zeitraum gesammelt werden müssen, können sie allerdings wichtig sein. Die Abteilungen einer Organisation verwenden verschiedene Datenspeicherungstechnologien zum Speichern der Betriebsdaten. Das Paket muss möglicherweise Da- ten aus Kalkulationstabellen sowie relationalen Datenbanken extrahieren, damit die Daten zusammengeführt werden können. Die Daten sind möglicherweise in Datenbanken gespeichert, die für dieselben Daten verschiedene Schemas verwenden. Das Paket muss möglicherweise den Datentyp einer Spalte ändern oder Daten aus mehreren Spalten zu einer einzelnen Spalte zusammenfassen, damit die Daten zusammengeführt werden können. Integration Services kann auf ein breites Dateien und Analysis Services-Projekte mög- Spektrum von Datenquellen zugreifen, ein- lich. schließlich mehrerer Quellen in einem ein- Integration Services schließt Quellkompo- zelnen Paket. Ein Paket kann mithilfe von nenten .NET- und OLE DB-Anbietern auf relationale Kalkulationstabellen, XML-Dokumenten so- Datenbank zugreifen und mithilfe von ODBC- wie Tabellen und Sichten in relationalen Da- Treibern auf viele Legacydatenbanken. Au- tenbank Daten aus der Datenquelle extrahie- ßerdem ist der Zugriff auf Flatfiles, Excel- ren, auf die das Paket zugreift. ein, die aus Flatfiles, Excel- Im nächsten Schritt werden die Daten meist angewendet wurden, werden die Daten in mithilfe der Transformationen von Integrati- der Regel in mindestens ein Ziel geladen. on Services transformiert. Nachdem die Da- Integration Services schließt Ziele zum Laden ten in kompatible Formate transformiert von Daten in Flatfiles, Rohdateien und relati- wurden, können sie physisch zu einem ein- onale Datenbanken ein. Die Daten können zelnen Dataset zusammengeführt werden. außerdem in ein Recordset im Arbeitsspei- Nachdem die Daten erfolgreich zusammen- cher geladen und von anderen Paketelemen- geführt und Transformationen auf die Daten ten abgerufen werden. Auffüllen von Data Warehouses und Data Marts Die Daten in Data Warehouses und Data tenquelle einen separaten Prozess zu ver- Marts werden normalerweise häufig aktuali- wenden. siert, und die typische Arbeitsauslastung ist Das Aktualisieren von Daten in Data Wa- sehr hoch. Integration Services schließt einen Task ein, rehouses und Data Marts kann komplex sein. der Daten per Massenladen direkt aus einer lerweise langsam veränderliche Dimensio- Flatfile in SQL Server-Tabellen und -Sichten nen, die mit einem Datentransformations- lädt. Darüber hinaus ist eine Zielkomponente prozess möglicherweise schwierig zu verwal- vorhanden, die als letzten Schritt eines ten sind. Der Assistent für langsam veränder- Transformationsprozesses Daten per Mas- liche Dimensionen automatisiert die Unter- senkopieren in eine SQL Server-Datenbank stützung für langsam veränderliche Dimensi- lädt. onen. Mit diesem Assistenten werden die Ein SSIS-Paket kann so konfiguriert werden, SQL-Anweisungen dynamisch erstellt, die dass es erneut gestartet werden kann. Das Datensätze einfügen und aktualisieren, ver- heißt, das Paket kann von einem vordefinier- bundene Datensätze aktualisieren und Tabel- ten Prüfpunkt aus (ein Task oder ein Contai- len neue Spalten hinzufügen. ner im Paket) ausgeführt werden. Die Mög- Darüber hinaus können Tasks und Transfor- lichkeit des Neustarts eines Pakets kann viel mationen in Integration Services-Paketen Zeit sparen, insbesondere wenn das Paket Cubes und Dimensionen von Analysis Ser- Daten aus sehr vielen Quellen verarbeitet. vices verarbeiten. Wenn das Paket Tabellen Mithilfe von SSIS-Paketen können Sie die in der Datenbank aktualisiert, auf der ein Dimensions- und Faktentabellen in der Da- Cube basiert, können Sie mit Tasks und tenbank laden. Falls die Quelldaten für eine Transformationen von Integration Services Dimensionstabelle in mehreren Datenquel- den Cube automatisch verarbeiten sowie len gespeichert sind, kann das Paket die Da- Dimensionen verarbeiten. Durch das auto- ten zu einem einzelnen Dataset zusammen- matische Verarbeiten der Cubes und Dimen- führen und die Dimensionstabelle in einem sionen sind die Daten für Benutzer in beiden einzelnen Prozess laden, statt für jede Da- Umgebungen stets auf dem aktuellen Stand: Beide Datenspeichertypen enthalten norma- Für Benutzer, die auf Informationen in den nen gespeichert sind, kann das SSIS-Paket Cubes und Dimensionen zugreifen, und für Funktionen berechnen, wie z. B. SUM, AVG Benutzer, die auf Daten in einer relationalen und COUNT. Eine SSIS-Transformation kann Datenbank zugreifen. relationale Daten pivotieren und in ein weni- Integration Services kann außerdem Funkti- ger normalisiertes Format transformieren, onen berechnen, bevor die Daten in das Ziel das mit der Tabellenstruktur im Data Wa- geladen werden. Falls in den Data Warehou- rehouse kompatibler ist. ses und Data Marts aggregierte Informatio- Cleanup und Standardisierung von Daten Für Daten ist unabhängig davon, ob sie in eine OLTP (Online Transaction Processing)- oder eine OLAP-Datenbank (Online Analytic Processing), eine Excel-Kalkulationstabelle oder eine Datei geladen werden, vorher ein Cleanup und eine Standardisierung erforderlich. Das Update von Daten kann aus folgenden Gründen erforde rlich sein: Daten stammen aus mehreren Abteilungen einer Organisation, die jeweils unterschiedliche Konventionen und Standards verwenden. Bevor die Daten verwendet werden können, müssen sie möglicherweise umformatiert werden. Beispielsweise kann es sein, dass der Vor- und Nachname in einer einzelnen Spalte zusammengefasst werden muss. Die Daten sind gemietet oder gekauft. Bevor die Daten verwendet werden können, ist möglicherweise eine Standardisierung und ein Cleanup erforderlich, um Unternehmensstandards zu erfüllen. Dies trifft beispielsweise zu, wenn eine Organisation überprüfen möchte, ob in allen Datensätzen die gleichen Abkürzungen für den Staat oder die gleichen Produktnamen verwendet werden. Daten sind gebietsschemaspezifisch. Beispielsweise können in den Daten verschiedene Formate für Datum/Uhrzeit und Zahlen verwendet werden. Wenn Daten von unterschiedlichen Gebietsschemas zusammengeführt werden, müssen sie vor dem Laden in ein einzelnes Gebietsschema konvertiert werden, um die Beschädigung der Daten zu vermeiden. integrierte ständigen Namen verketten und anschlie- Transformationen ein, die Sie Paketen hinzu- ßend die Zeichen in Großbuchstaben ändern. fügen können, um ein Cleanup und eine Ein Paket von Integration Services kann au- Standardisierung von Daten vorzunehmen, ßerdem ein Cleanup für Daten ausführen, die Groß-/Kleinschreibung von Daten zu än- indem die Werte in Spalten durch Werte aus Integration Services schließt dern, Daten in einen anderen Datentyp oder einer Verweistabelle ersetzt werden, wobei ein anderes Format zu konvertieren oder mithilfe einer genauen Suche oder einer neue Spaltenwerte basierend auf Ausdrü- Fuzzysuche nach Werten in einer Verweista- cken zu erstellen. Beispielsweise könnte das belle gesucht wird. Paket die Spalten für Vorname und Nachname zu einer einzelnen Spalte mit dem voll- Häufig wendet ein Paket zunächst eine genaue Suche an. Falls ein Fehler gemeldet wird, wird dann eine Fuzzysuche ausgeführt. Eine andere Transformation führt ein Beispielsweise versucht das Paket zuerst Cleanup für Daten aus, indem ähnliche Wer- mithilfe des Primärschlüsselwerts des Pro- te in einem Dataset gruppiert werden. Hier- dukts einen Produktnamen in der Verweista- mit können doppelte Datensätze identifiziert belle zu suchen. Wenn bei dieser Suche kein werden, die nicht ohne weitere Auswertung Produktname zurückgegeben wird, wird die in die Datenbank eingefügt werden sollten. Suche erneut ausgeführt, dieses Mal jedoch Wenn z. B. Adressen in Kundendatensätzen mithilfe der Fuzzyübereinstimmung für den verglichen werden, werden möglicherweise Produktnamen. doppelte Kunden identifiziert. Integrieren von Business Intelligence in einen Datentransformationsprozess Für einen Datentransformationsprozess ist mengefasst, konvertiert und verteilt werden. integrierte Logik erforderlich, um dynamisch Dabei kann es sogar sein, dass Daten basie- auf die zugegriffenen und verarbeiteten Da- rend auf einer Bewertung von Spaltenwerten ten zu reagieren. Möglicherweise müssen die abgelehnt werden müssen. Daten basierend auf Datenwerten zusamZu diesem Zweck muss die Logik im SSIS -Paket möglicherweise die folgenden Au fgaben ausführen: Zusammenführen von Daten aus mehreren Datenquellen. Auswerten von Daten und Anwenden von Datenkonvertierungen. Teilen eines Datasets in mehrere Datasets basierend auf Datenwerten. Anwenden unterschiedlicher Aggregationen auf verschiedene Teilmengen eines Datasets. Laden von Datenteilmengen in verschiedene oder mehrere Ziele. Integration Services stellt Container, Tasks Business Intelligence in Pakete integrieren. und Transformationen zum Integrieren von Beispielsweise können mit dem Wert eines Business Intelligence in SSIS-Pakete bereit. Container unterstützen die Wiederholung Eingabeparameters die Daten gefiltert wer- von Workflows durch Aufzählen für Dateien Transformationen können Ausdrücke aus- oder Objekte und durch Auswerten von Aus- werten und dann basierend auf den Ergeb- drücken. Ein Paket kann Daten auswerten nissen Zeilen in einem Dataset an verschie- und Workflows basierend auf Ergebnissen dene Ziele senden. Nachdem die Daten ge- wiederholen. Wenn z. B. die Daten vom ak- teilt wurden, kann das Paket verschiedene tuellen Monat stammen, führt das Paket Transformationen auf jede Teilmenge des bestimmte Tasks aus; andernfalls werden Datasets anwenden. Beispielsweise kann ein andere Tasks ausgeführt. Tasks, die Eingabe- Ausdruck eine Datumsspalte auswerten, die parameter verwenden, können ebenfalls Verkaufsdaten für den entsprechenden Zeit- den, die ein Task abruft. raum hinzufügen und anschließend nur die Transformationsgruppe die Daten zusam- Zusammenfassungsinformationen speichern. menfassen, während eine andere Transfor- Sie können auch ein Dataset an mehrere mationsgruppe die Daten erweitert, indem Ziele senden und dann verschiedene Grup- Werte in Verweistabellen gesucht und Daten pen von Transformationen auf dieselben aus anderen Quellen hinzugefügt werden. Daten anwenden. Beispielsweise kann eine Automatisieren administrativer Funktionen und des Vorgangs zum Laden von Daten Administratoren automatisieren häufig ad- nachdem Sie Transformationen auf die Spal- ministrative Funktionen. Dazu zählen das tendaten angewendet haben. Sichern und Wiederherstellen von Daten- Mit einem Integration Services-Paket können banken, das Kopieren von SQL Server- andere Pakete ausgeführt werden. Eine Da- Datenbanken und den darin enthaltenen tentransformationslösung, die viele admi- Objekten, das Kopieren von SQL Server- nistrative Funktionen einschließt, kann in Objekten sowie das Laden von Daten. Hierzu mehrere Pakete aufgeteilt werden, um das können Pakete von Integration Services ver- Verwalten und Wiederverwenden der Pakete wendet werden. Integration Services enthält speziell entwor- zu vereinfachen. fene Tasks für das Kopieren von SQL Server- nen auf verschiedenen Servern ausführen Datenbankobjekten, wie z. B. Tabellen, Sich- müssen, können Sie Pakete verwenden. Ein ten und gespeicherten Prozeduren; für das Paket kann mithilfe von Schleifen eine Enu- Kopieren von SQL Server-Objekten, wie z. B. meration für die Server ausführen und die- Datenbanken, Anmeldenamen und Statisti- selben Funktionen auf mehreren Computern ken; und für das Hinzufügen, Ändern und ausführen. Zur Unterstützung der Administ- Löschen von SQL Server-Objekten und - ration von SQL Server wird in Integration Daten Services ein Enumerator bereitgestellt, der mithilfe von Transact-SQL- Falls Sie dieselben administrativen Funktio- Anweisungen. eine Iteration für SMO-Objekte (SQL Server Die Administration einer OLTP- oder OLAP- Management Objects) ausführt. Beispiels- Datenbankumgebung schließt oft das Mas- weise kann ein Paket mithilfe des SMO- senladen von Daten ein. Integration Services Enumerators enthält mehrere Tasks, die das Massenkopie- Funktionen für jeden Auftrag in der Jobs- ren von Daten vereinfachen. Mit einem Task Auflistung einer Installation von SQL Server können Sie Daten aus Textdateien direkt in ausführen. SQL Server-Tabellen und -Sichten laden. Mit SSIS-Pakete können außerdem mithilfe von einer Zielkomponente können Sie Daten in Aufträgen des SQL Server-Agents geplant SQL Server-Tabellen und -Sichten laden, werden. dieselben administrativen
