Integration Services

Werbung
Integration Services – Übersicht
Integration Services – Übersicht
Integration Services stellt umfangreiche integrierte Tasks,
Container, Transformationen und Datenadapter für die En twicklung von Geschäftsanwendu ngen bereit. Ohne eine einzige
Codezeile zu schreiben, können Sie SSIS -Lösungen erstellen, die
komplexe Geschäftsprobleme mithilfe von ETL und Business
Intelligence lösen, SQL Se rver-Datenbanken verwalten und SQL
Server-Objekte zwischen Instanzen von SQL Se rver kopieren.

Zusammenführen von Daten aus heterogenen Datenspeichern

Auffüllen von Data Warehouses und Data Marts

Cleanup und Standardisierung von Daten

Integrieren von Business Intelligence in einen Datentransformationsprozess

Automatisieren administrativer Funktionen und des Vorgangs zum Laden von D aten
Typische Verwendungen von SQL Server Integration Services
Integration Services stellt umfangreiche integrierte Tasks, Container, Transformationen und
Datenadapter für die Entwicklung von Geschäftsanwendungen bereit. Ohne eine einzige Codezeile zu schreiben, können Sie SSIS-Lösungen erstellen, die komplexe Geschäftsprobleme mithilfe von ETL und Business Intelligence lösen, SQL Server-Datenbanken verwalten und SQL Server-Objekte zwischen Instanzen von SQL Server kopieren.
Die folgenden Szenarien beschreiben typische Verwendungen von SSIS -Paketen.
Zusammenführen von Daten aus heterogenen Datenspeichern
Daten werden in der Regel in vielen ver-
Quellen und das Zusammenführen zu einem
schiedenen Datenspeichersystemen gespei-
einzelnen, konsistenten Dataset ist eine Her-
chert. Das Extrahieren von Daten aus diesen
ausforderung.
Für diese Situation gibt es ve rschiedene Ursachen. Beispiel:
Viele Organisationen archivieren Informationen,
die
in
LegacyDatenspeicherungssystemen gespeichert
sind. Diese Daten mögen für alltägliche Geschäftsabläufe keine Rolle spielen. Für die
Trendanalyse, bei der Daten über einen
langen Zeitraum gesammelt werden müssen, können sie allerdings wichtig sein.
Die Abteilungen einer Organisation verwenden verschiedene Datenspeicherungstechnologien zum Speichern der Betriebsdaten. Das Paket muss möglicherweise Da-
ten aus Kalkulationstabellen sowie relationalen Datenbanken extrahieren, damit die
Daten zusammengeführt werden können.
Die Daten sind möglicherweise in Datenbanken gespeichert, die für dieselben Daten verschiedene Schemas verwenden. Das
Paket muss möglicherweise den Datentyp
einer Spalte ändern oder Daten aus mehreren Spalten zu einer einzelnen Spalte zusammenfassen, damit die Daten zusammengeführt werden können.
Integration Services kann auf ein breites
Dateien und Analysis Services-Projekte mög-
Spektrum von Datenquellen zugreifen, ein-
lich.
schließlich mehrerer Quellen in einem ein-
Integration Services schließt Quellkompo-
zelnen Paket. Ein Paket kann mithilfe von
nenten
.NET- und OLE DB-Anbietern auf relationale
Kalkulationstabellen, XML-Dokumenten so-
Datenbank zugreifen und mithilfe von ODBC-
wie Tabellen und Sichten in relationalen Da-
Treibern auf viele Legacydatenbanken. Au-
tenbank Daten aus der Datenquelle extrahie-
ßerdem ist der Zugriff auf Flatfiles, Excel-
ren, auf die das Paket zugreift.
ein,
die
aus
Flatfiles,
Excel-
Im nächsten Schritt werden die Daten meist
angewendet wurden, werden die Daten in
mithilfe der Transformationen von Integrati-
der Regel in mindestens ein Ziel geladen.
on Services transformiert. Nachdem die Da-
Integration Services schließt Ziele zum Laden
ten in kompatible Formate transformiert
von Daten in Flatfiles, Rohdateien und relati-
wurden, können sie physisch zu einem ein-
onale Datenbanken ein. Die Daten können
zelnen Dataset zusammengeführt werden.
außerdem in ein Recordset im Arbeitsspei-
Nachdem die Daten erfolgreich zusammen-
cher geladen und von anderen Paketelemen-
geführt und Transformationen auf die Daten
ten abgerufen werden.
Auffüllen von Data Warehouses und Data Marts
Die Daten in Data Warehouses und Data
tenquelle einen separaten Prozess zu ver-
Marts werden normalerweise häufig aktuali-
wenden.
siert, und die typische Arbeitsauslastung ist
Das Aktualisieren von Daten in Data Wa-
sehr hoch.
Integration Services schließt einen Task ein,
rehouses und Data Marts kann komplex sein.
der Daten per Massenladen direkt aus einer
lerweise langsam veränderliche Dimensio-
Flatfile in SQL Server-Tabellen und -Sichten
nen, die mit einem Datentransformations-
lädt. Darüber hinaus ist eine Zielkomponente
prozess möglicherweise schwierig zu verwal-
vorhanden, die als letzten Schritt eines
ten sind. Der Assistent für langsam veränder-
Transformationsprozesses Daten per Mas-
liche Dimensionen automatisiert die Unter-
senkopieren in eine SQL Server-Datenbank
stützung für langsam veränderliche Dimensi-
lädt.
onen. Mit diesem Assistenten werden die
Ein SSIS-Paket kann so konfiguriert werden,
SQL-Anweisungen dynamisch erstellt, die
dass es erneut gestartet werden kann. Das
Datensätze einfügen und aktualisieren, ver-
heißt, das Paket kann von einem vordefinier-
bundene Datensätze aktualisieren und Tabel-
ten Prüfpunkt aus (ein Task oder ein Contai-
len neue Spalten hinzufügen.
ner im Paket) ausgeführt werden. Die Mög-
Darüber hinaus können Tasks und Transfor-
lichkeit des Neustarts eines Pakets kann viel
mationen in Integration Services-Paketen
Zeit sparen, insbesondere wenn das Paket
Cubes und Dimensionen von Analysis Ser-
Daten aus sehr vielen Quellen verarbeitet.
vices verarbeiten. Wenn das Paket Tabellen
Mithilfe von SSIS-Paketen können Sie die
in der Datenbank aktualisiert, auf der ein
Dimensions- und Faktentabellen in der Da-
Cube basiert, können Sie mit Tasks und
tenbank laden. Falls die Quelldaten für eine
Transformationen von Integration Services
Dimensionstabelle in mehreren Datenquel-
den Cube automatisch verarbeiten sowie
len gespeichert sind, kann das Paket die Da-
Dimensionen verarbeiten. Durch das auto-
ten zu einem einzelnen Dataset zusammen-
matische Verarbeiten der Cubes und Dimen-
führen und die Dimensionstabelle in einem
sionen sind die Daten für Benutzer in beiden
einzelnen Prozess laden, statt für jede Da-
Umgebungen stets auf dem aktuellen Stand:
Beide Datenspeichertypen enthalten norma-
Für Benutzer, die auf Informationen in den
nen gespeichert sind, kann das SSIS-Paket
Cubes und Dimensionen zugreifen, und für
Funktionen berechnen, wie z. B. SUM, AVG
Benutzer, die auf Daten in einer relationalen
und COUNT. Eine SSIS-Transformation kann
Datenbank zugreifen.
relationale Daten pivotieren und in ein weni-
Integration Services kann außerdem Funkti-
ger normalisiertes Format transformieren,
onen berechnen, bevor die Daten in das Ziel
das mit der Tabellenstruktur im Data Wa-
geladen werden. Falls in den Data Warehou-
rehouse kompatibler ist.
ses und Data Marts aggregierte Informatio-
Cleanup und Standardisierung von Daten
Für Daten ist unabhängig davon, ob sie in eine OLTP (Online Transaction Processing)- oder eine
OLAP-Datenbank (Online Analytic Processing), eine Excel-Kalkulationstabelle oder eine Datei
geladen werden, vorher ein Cleanup und eine Standardisierung erforderlich.
Das Update von Daten kann aus folgenden Gründen erforde rlich sein:
Daten stammen aus mehreren Abteilungen
einer Organisation, die jeweils unterschiedliche Konventionen und Standards verwenden. Bevor die Daten verwendet werden
können, müssen sie möglicherweise umformatiert werden. Beispielsweise kann es
sein, dass der Vor- und Nachname in einer
einzelnen Spalte zusammengefasst werden
muss.
Die Daten sind gemietet oder gekauft. Bevor die Daten verwendet werden können,
ist möglicherweise eine Standardisierung
und ein Cleanup erforderlich, um Unternehmensstandards zu erfüllen. Dies trifft
beispielsweise zu, wenn eine Organisation
überprüfen möchte, ob in allen Datensätzen die gleichen Abkürzungen für den Staat
oder die gleichen Produktnamen verwendet werden.
Daten sind gebietsschemaspezifisch. Beispielsweise können in den Daten verschiedene Formate für Datum/Uhrzeit und Zahlen verwendet werden. Wenn Daten von
unterschiedlichen Gebietsschemas zusammengeführt werden, müssen sie vor dem
Laden in ein einzelnes Gebietsschema konvertiert werden, um die Beschädigung der
Daten zu vermeiden.
integrierte
ständigen Namen verketten und anschlie-
Transformationen ein, die Sie Paketen hinzu-
ßend die Zeichen in Großbuchstaben ändern.
fügen können, um ein Cleanup und eine
Ein Paket von Integration Services kann au-
Standardisierung von Daten vorzunehmen,
ßerdem ein Cleanup für Daten ausführen,
die Groß-/Kleinschreibung von Daten zu än-
indem die Werte in Spalten durch Werte aus
Integration
Services
schließt
dern, Daten in einen anderen Datentyp oder
einer Verweistabelle ersetzt werden, wobei
ein anderes Format zu konvertieren oder
mithilfe einer genauen Suche oder einer
neue Spaltenwerte basierend auf Ausdrü-
Fuzzysuche nach Werten in einer Verweista-
cken zu erstellen. Beispielsweise könnte das
belle gesucht wird.
Paket die Spalten für Vorname und Nachname zu einer einzelnen Spalte mit dem voll-
Häufig wendet ein Paket zunächst eine genaue Suche an. Falls ein Fehler gemeldet
wird, wird dann eine Fuzzysuche ausgeführt.
Eine
andere
Transformation
führt
ein
Beispielsweise versucht das Paket zuerst
Cleanup für Daten aus, indem ähnliche Wer-
mithilfe des Primärschlüsselwerts des Pro-
te in einem Dataset gruppiert werden. Hier-
dukts einen Produktnamen in der Verweista-
mit können doppelte Datensätze identifiziert
belle zu suchen. Wenn bei dieser Suche kein
werden, die nicht ohne weitere Auswertung
Produktname zurückgegeben wird, wird die
in die Datenbank eingefügt werden sollten.
Suche erneut ausgeführt, dieses Mal jedoch
Wenn z. B. Adressen in Kundendatensätzen
mithilfe der Fuzzyübereinstimmung für den
verglichen werden, werden möglicherweise
Produktnamen.
doppelte Kunden identifiziert.
Integrieren von Business Intelligence in einen Datentransformationsprozess
Für einen Datentransformationsprozess ist
mengefasst, konvertiert und verteilt werden.
integrierte Logik erforderlich, um dynamisch
Dabei kann es sogar sein, dass Daten basie-
auf die zugegriffenen und verarbeiteten Da-
rend auf einer Bewertung von Spaltenwerten
ten zu reagieren. Möglicherweise müssen die
abgelehnt werden müssen.
Daten basierend auf Datenwerten zusamZu diesem Zweck muss die Logik im SSIS -Paket möglicherweise die folgenden Au fgaben
ausführen:
Zusammenführen von Daten aus mehreren
Datenquellen.
Auswerten von Daten und Anwenden von
Datenkonvertierungen.
Teilen eines Datasets in mehrere Datasets
basierend auf Datenwerten.
Anwenden unterschiedlicher Aggregationen auf verschiedene Teilmengen eines
Datasets.
Laden von Datenteilmengen in verschiedene oder mehrere Ziele.
Integration Services stellt Container, Tasks
Business Intelligence in Pakete integrieren.
und Transformationen zum Integrieren von
Beispielsweise können mit dem Wert eines
Business Intelligence in SSIS-Pakete bereit.
Container unterstützen die Wiederholung
Eingabeparameters die Daten gefiltert wer-
von Workflows durch Aufzählen für Dateien
Transformationen können Ausdrücke aus-
oder Objekte und durch Auswerten von Aus-
werten und dann basierend auf den Ergeb-
drücken. Ein Paket kann Daten auswerten
nissen Zeilen in einem Dataset an verschie-
und Workflows basierend auf Ergebnissen
dene Ziele senden. Nachdem die Daten ge-
wiederholen. Wenn z. B. die Daten vom ak-
teilt wurden, kann das Paket verschiedene
tuellen Monat stammen, führt das Paket
Transformationen auf jede Teilmenge des
bestimmte Tasks aus; andernfalls werden
Datasets anwenden. Beispielsweise kann ein
andere Tasks ausgeführt. Tasks, die Eingabe-
Ausdruck eine Datumsspalte auswerten, die
parameter verwenden, können ebenfalls
Verkaufsdaten für den entsprechenden Zeit-
den, die ein Task abruft.
raum hinzufügen und anschließend nur die
Transformationsgruppe die Daten zusam-
Zusammenfassungsinformationen speichern.
menfassen, während eine andere Transfor-
Sie können auch ein Dataset an mehrere
mationsgruppe die Daten erweitert, indem
Ziele senden und dann verschiedene Grup-
Werte in Verweistabellen gesucht und Daten
pen von Transformationen auf dieselben
aus anderen Quellen hinzugefügt werden.
Daten anwenden. Beispielsweise kann eine
Automatisieren administrativer Funktionen und des Vorgangs
zum Laden von Daten
Administratoren automatisieren häufig ad-
nachdem Sie Transformationen auf die Spal-
ministrative Funktionen. Dazu zählen das
tendaten angewendet haben.
Sichern und Wiederherstellen von Daten-
Mit einem Integration Services-Paket können
banken, das Kopieren von SQL Server-
andere Pakete ausgeführt werden. Eine Da-
Datenbanken und den darin enthaltenen
tentransformationslösung, die viele admi-
Objekten, das Kopieren von SQL Server-
nistrative Funktionen einschließt, kann in
Objekten sowie das Laden von Daten. Hierzu
mehrere Pakete aufgeteilt werden, um das
können Pakete von Integration Services ver-
Verwalten und Wiederverwenden der Pakete
wendet werden.
Integration Services enthält speziell entwor-
zu vereinfachen.
fene Tasks für das Kopieren von SQL Server-
nen auf verschiedenen Servern ausführen
Datenbankobjekten, wie z. B. Tabellen, Sich-
müssen, können Sie Pakete verwenden. Ein
ten und gespeicherten Prozeduren; für das
Paket kann mithilfe von Schleifen eine Enu-
Kopieren von SQL Server-Objekten, wie z. B.
meration für die Server ausführen und die-
Datenbanken, Anmeldenamen und Statisti-
selben Funktionen auf mehreren Computern
ken; und für das Hinzufügen, Ändern und
ausführen. Zur Unterstützung der Administ-
Löschen von SQL Server-Objekten und -
ration von SQL Server wird in Integration
Daten
Services ein Enumerator bereitgestellt, der
mithilfe
von
Transact-SQL-
Falls Sie dieselben administrativen Funktio-
Anweisungen.
eine Iteration für SMO-Objekte (SQL Server
Die Administration einer OLTP- oder OLAP-
Management Objects) ausführt. Beispiels-
Datenbankumgebung schließt oft das Mas-
weise kann ein Paket mithilfe des SMO-
senladen von Daten ein. Integration Services
Enumerators
enthält mehrere Tasks, die das Massenkopie-
Funktionen für jeden Auftrag in der Jobs-
ren von Daten vereinfachen. Mit einem Task
Auflistung einer Installation von SQL Server
können Sie Daten aus Textdateien direkt in
ausführen.
SQL Server-Tabellen und -Sichten laden. Mit
SSIS-Pakete können außerdem mithilfe von
einer Zielkomponente können Sie Daten in
Aufträgen des SQL Server-Agents geplant
SQL Server-Tabellen und -Sichten laden,
werden.
dieselben
administrativen
Herunterladen