Testdatenmanagement Konzepte

Testdatenmanagement
Konzepte
BIZDATAX IST EIN PRODUKT VON
Kurzdarstellung
Testdatenmanagement (TDM), als Teil der
Qualitätssicherung (QS), steht mehr denn je im Fokus
von IT-Organisationen, da sie die Vorteile einer TDMstrukturierten Vorgehensweise, wie kürzere Testzyklen,
geringere damit zusammenhängende Betriebs- und
Speicherkosten, bessere Testqualität und Testabdeckung
erkennen. Darüber hinaus spielt TDM eine bedeutende
Rolle bei der Einhaltung der Datenschutzrichtlinien.
Wonach Organisationen suchen, ist eine End-to-End TDM Lösung, die Verwaltung
von Datenschutzrichtlinien, Sensitive Data Discovery, leistungsstarke
Datenanonymisierung, synthetische Datengenerierung und DatenSubsetting, performante Laufzeitumgebung, umfangreiche Reporting- und
Integrationsmöglichkeiten, die für hochkomplexe Szenarien konzipiert sind,
umfasst.
BizDataX TDM Lösung erfüllt diese Anforderungen durch die Umsetzung einer
Reihe von innovativen Konzepten in Tools, die konzipiert sind, um unterschiedliche
TDM-Benutzerrollen zu unterstützen. Business-Stakeholder verwenden
BizDataX Portal zur Verwaltung von Datenschutzrichtlinien, für Sensitive
Data Discovery und um alle Arten von Berichten zu erhalten. Implementierer
verwenden BizDataX Designer, um innerhalb des visuellen Workflow-Editors
Datentransformationsregeln basierend auf Richtlinien umzusetzen, und das
Operationsteam nutzt BizDataX Runtime, um nach Bedarf Testdaten zu erstellen.
BizDataX fügt sich nahtlos in den Testprozess ein und verbessert so dessen
Qualität und Effizienz, während es gleichzeitig erhebliche Kosteneinsparungen
ermöglicht.
2
www.BizDataX.com
Einführung
Testdatenmanagement (TDM) ist ein integraler Bestandteil
des Testprozesses und unterstützt diesen in allen seinen
Phasen, indem es eine schnelle Bereitstellung der Testdaten
zu den niedrigsten möglichen Kosten ermöglicht, wobei Sie
mit öffentlichen Datenschutzbestimmungen und denen
der Industrie konform bleiben. TDM trägt auch zu anderen
Disziplinen, wie Data Governance, Knowledge Management,
Testumgebungsmanagement und Business Intelligence bei und
hilft damit, die Prozesseffizienz zu steigern, die allgemeine Qualität
der Daten zu verbessern und Risiken zu minimieren.
Hier die wichtigsten Konzepte einer durchdachten Testdatenmanagement Lösung:
• Beinahe reale Daten
• Policy Management
• Sensitive Data Discovery
• Produktive Testdatenbereitstellung
• Leistungsstarker Testdatenregeln
Designer
• Testdatenerzeugung durch
Anonymisierung, Subsetting und
synthetischen Datenerzeugung
• Unterstützung für eine Vielzahl von
Quellen- und Zieldatenbanken
• Unterstützung für die Datenanalyse und
Äquivalenzklassen
• Testdaten Projekt Management
• Unterstützung für DrittanbieterTestmanagement und
Testautomatisierungstools
• Enterprise Funktionen (Skalierbarkeit,
rollenbasierte Sicherheit ..)
• Dokumentation- und
Archivierungsfunktionen
Ziel dieses Dokuments ist es, Ihnen ein
besseres Verständnis für jede dieser
Schlüsselkonzepte zu verschaffen und
Informationen darüber, wie die BizDataX
Testdatenmanagement Lösung diese
Konzepte umsetzt.
BIZDATAX PORTAL
3
www.BizDataX.com
Beinahe reale Daten
Das Konzept der beinahe realen (‘near real‘) oder
ausreichend realistischen Daten beruht auf der Tatsache,
dass die Testdaten, in Bezug auf die Datenqualität und
Datensemantik, so viel wie möglich den Daten in den
Produktionsdatenbanken ähneln sollten (oder den Daten,
die erwartungsgemäß in den Szenarien der realen Welt
verwendet werden). Dies ist ein Schlüsselkonzept in einem
Testprozess, nämlich die Sicherstellung der Korrelation
zwischen der kontrollierten Testumgebung und den realen
Szenarien.
BizDataX setzt viele Datengenerierungs- und DatenanonymisierungsMethoden und Algorithmen ein, welche die Bereitstellung von realistischen
Daten ermöglichen. Einige von ihnen sind Listen der Wiederbeschaffungswerte,
nationale Identifikationsnummern, Generatoren von Finanzwerten, Generatoren
von Telefonnummern, E-Mails und viele andere.
EIN BIZDATAX WORKFLOW BEISPIEL
4
www.BizDataX.com
Policy Management
Unter Verwendung von Produktivdaten Testdaten
zu erzeugen, ist eine häufige und oft bevorzugte
Methode der Testdatenbereitstellung. Nebst der
vielen positiven Aspekten dieser Vorgehensweise gibt
es Datenschutzrichtlinien, die berücksichtigt werden
müssen.
Ein wichtiger Teil des BizDataX Portals ist ein Modul zur Verwaltung von
Richtlinien, in dem Benutzer eine beliebige Anzahl von Richtlinien aufstellen und
Datentransformations-/Maskierungsregeln zuweisen können. Gespeicherte
Richtlinien können als Input für das Sensitive Data Discovery-Modul und für
Compliance-Berichte verwendet werden.
BIZDATAX PORTAL – POLICY MANAGEMENT
5
www.BizDataX.com
Sensitive Data Discovery
In einer hochkomplexen IT-Landschaft mit einer Reihe
von verschiedenen Datenbanken sind erhebliche
Anstrengungen erforderlich, um alle Daten, die in
Bezug auf Datenschutz oder geschäftliche Bedeutung
sensitiv sind, zu finden. Sensitive Daten können überall
auf den Datenbanken verborgen sein, in gut benannten
und nicht so gut bekannten Datenbankspalten, in
Anmerkungen, in Info-Feldern sowie in strukturierten
oder unstrukturierten Inhalten. Ein leistungsfähiges
Sensitive Data Discovery-Modul wäre daher eine
große Hilfe. Aufgefundene sensitive Daten würden
in der Implementierungsphase, wie von den
Datenschutzrichtlinien festgelegt, behandelt werden.
Das Sensitive Data Discovery-Modul von BizDataX unterstützt die Suche nach
sensitiven Daten mit mehreren Methoden: Durchsuchen des MetadatenWörterbuchs, Durchsuchen der Produktionsdaten mit Datenmustern oder mit
Regular Expressions und Suche nach sensitiven Daten über den Fremdschlüssel.
BIZDATAX PORTAL – SENSITIVE DATA DISCOVERY
6
www.BizDataX.com
Produktive
Testdatenbereitstellung
Abhängig von den Business Szenarien könnten Testdaten täglich, ja sogar stündlich benötigt
werden. In einem komplexen Umfeld von Business Anwendungen wird der Bedarf an “justin-time”-relevanten Testdaten sehr hoch sein. Dies kann erhebliche Kosten für Hardware und
ausgebildete Arbeitskräfte, die verantwortlich sind für die Bereitstellung von Testdaten in
Testteams, mit sich bringen.
BizDataX wird von Grund auf dafür entwickelt, möglichst schnellen Testdaten Workflow
Design und Ausführung der Testdaten Jobs zu ermöglichen. Sie können komplexe Testdaten
Szenarien mit Hilfe vom BizDataX Designer erstellen, sie in BizDataX Runtime einsetzen und
Milliarden von Testdatensätze generieren, und all das innerhalb von Stunden. Einmal erstellte
Testdaten Jobs können beliebig viele Male ausgeführt werden. Besondere Sorgfalt wird
angewendet zur Beschleunigung der Ausführung der Jobs. BizDataX Runtime Engine analysiert
Testdatengenerierung Regeln, um den optimalen Ausführungsplan zu ermitteln und die
bestmögliche Leistung mit paralleler Ausführung und Paging von großen Datenmengen zu
erreichen.
Runtime
Host
Flat file
XML
Management
Console
Designer
Host
Test
Databases
Host
BIZDATAX DESIGNER UND RUNTIME
7
www.BizDataX.com
Leistungsstarker Testdatenregeln
Designer
Jede TDM Lösung benötigt eine intuitive und effiziente Möglichkeit, um Regeln für die
Testdatengenerierung zu entwerfen. Hier scheitern heutzutage die meisten Lösungen.
Um alle realen Szenarien abzudecken, kann Ihr Regeln Designer nicht nur auf eine Reihe
von vordefinierten Regeln für eine bestimmte Branche oder nur Skriptsprachen festgelegt
werden, oder noch schlimmer (Ausbildungskosten) proprietäre Sprache als Erweiterungspunkt
verwenden. Sowohl die Benutzerschnittstelle (UI) als auch die Benutzererfahrung (UX) spielen
ebenfalls eine sehr wichtige Rolle bei der Auswahl der richtigen Lösung.
BizDataX Designer fügt sich in die Microsoft Visual Studio Umgebung und den Workflow
Editor als ein Add-In ein. Assistenten und visuelle Hinweise unterstützen den Prozess
der Regeldefinition. Drag-n-Drop hilft die allgemeinen Parameter festzulegen, das
Eigenschaftenfenster ist dazu da, die Details festzulegen. Die Regeln sind visuell konzipiert mit
domänenspezifischer Terminologie. Man braucht nicht über Tabellen, Views, SQL, Schleifen,
Cursor, Transaktionen und ähnliches nachdenken. BizDataX dehnt sich natürlich auf die .NETPlattform aus, indem es vollständige Unterstützung bietet für Programmiersprachen wie C #,
JavaScript usw.
Durch den wirksamen
Einsatz der Microsoft
Entwicklungsplattform,
beschleunigt BizDataX die
Workflow Entwicklung
der Testdatengenerierung,
verkürzt die
Ausbildungskurve und
verringert die Gesamtkosten
des Testdatenmanagements.
BIZDATAX DESIGNER
8
www.BizDataX.com
Testdatenerzeugung
durch Anonymisierung,
Subsetting und synthetischen
Datenerzeugung
BizDataX ermöglicht die Bereitstellung von Testdaten durch die Kombination
von Funktionsvielfalt der Anonymisierung (Data Masking), Subsetting und
den Fähigkeiten der synthetischen
Datenerzeugung. Wenn Produktivdaten
anonymisiert werden, wenn sie von Grund auf
erzeugt werden oder bei einer Kombination von
beidem, verwendet das System integrierte:
Real data
Masked data
• Listen der Wiederbeschaffungswerte:
Personennamen mit Land/Region und
Geschlechtsattributen, Orte, Postleitzahlen,
Straßen, Banken ...
• Nationale IdentifikationsnummerGeneratoren (AHV, SSN... )
• Generatoren von Finanzwerten:
Kreditkartennummern, Kontonummern, IBAN
• Generatoren von Telefonnummern, E-Mails ...
• ‘Data Shuffling‘ Modul
• Vorlagen mit Platzhaltern die verwendet
werden, um Freitextfelder auszufüllen
• Formeln zur Datumsverschiebung
• Bedingte Konstrukte zur Behandlung von
Sonderfällen
• und vieles mehr...
Viele alltägliche Testverfahren sind in der Lage
zu funktionieren und von der Verwendung
einer sehr kleinen Teilmenge von ursprünglich
riesigen Datenmengen zu profitieren. Kleinere
Datenbanken senken die Investitionen in
Hardware- und Software-Lizenzen, die
benötigt werden, um eine parallele Test Infrastruktur aufzubauen.
9
www.BizDataX.com
Unterstützung für eine
Vielzahl von Quellen-und
Zieldatenbanken
In vielen TDM Szenarien ist der Zugriff auf Produktivdaten
nötig, um Testdaten zu erzeugen. Produktivdaten werden
in der Regel in vielen verschiedenen
Datenbanksystemen gespeichert, und
dadurch könnte der Zugriff auf Daten
mit irgendeiner Art von hausgemachtem,
skriptbasierten Ansatz sehr schwierig
sein. Unterstützung für verschiedene
Datenbanken ist ein Muss für eine gute
TDM-Lösung.
BizDataX kann die Verbindung zu einer Vielzahl von
Datenquellen herstellen, einschließlich relationalen und
Legacy-Datenbanken. Es kann auch eine Verbindung
zu Flat Files, Excel-Dateien, MS SQL Analyse-ServicesProjekten und XML schaffen. Eine direkte Verbindung
zu verschiedenen Datenbanksystemen wird durch die
Möglichkeit ergänzt, Daten auf eine ‘staging’ Datenbank zu
übertragen, um den Kerntestdatengenerierungsprozess
vom ETL-Prozess zu trennen.
Die daraus entstehende Testdatenbank kann in einer
Vielzahl von Datenbankformaten erstellt werden.
Außerdem wahrt BizDataX die Referenzdatenintegrität über
Datenbank- und Systemgrenzen hinweg.
EIN BIZDATAX WORKFLOW BEISPIEL MIT ZUGRIFF AUF
ORACLE, DB2 UND SQL SERVER DATENBANKEN
10
www.BizDataX.com
Unterstützung für
die Datenanalyse und
Äquivalenzklassen
Eine TDM-Lösung muss fähig sein, Produktivdaten zu analysieren, um
Testdatengenerierungsregeln gemäß den Geschäftsregeln genau zu definieren. Eine gründliche
Datenanalyse ist die Grundlage für den erfolgreichen und effizienten Testablauf. Es ermöglicht
die Ermittlung relevanter Daten, die benötigt werden, um Testfälle zu vervollständigen, das
spart Zeit und erhöht die Qualität des Vorgangs. Es hilft auch Testdatenmengen zu optimieren
und damit ein einfacheres Datenbankmanagement und niedrigere Hardwarekosten zu schaffen.
BizDataX kann die Verbindung zu einer Vielzahl von Datenquellen herstellen, die Datenbank
Schemata importieren und Metadaten Analyse ermöglichen. BizDataX ermöglicht auch
die Definition von Kriterien für die Ermittlung der Äquivalenzklassen. Datensatzgruppen
können analysiert werden, um spezielle Fälle zu identifizieren und eine hundertprozentige
Testfallabdeckung zu erreichen. Die Kriterien werden dann vom BizDataX Subsetting Modul
verwendet, um die
minimale Teilmenge
der entsprechenden
Originaldaten zu
extrahieren oder
von Generatoren zur
Erzeugung synthetischer
Daten, die auf bestimmte
Testszenarien abzielen.
DATENANALYSE UND
ÄQUIVALENZKLASSEN
11
www.BizDataX.com
Testdaten Projekt Management
Da sich die Anwendung und die zugrundeliegende Datenbank
ändert, müssen auch die Testdatengenerierungsregeln, von Zeit
zu Zeit aktualisiert werden. Eine gute TDM-Lösung sollte eine
Testdatenregeln Versionierung ermöglichen, um AnwendungsUpgrades, Transparenz und Wiederverwendbarkeit zu
unterstützen, vor allem, wenn es um die Prüfung älterer Versionen
der gleichen Anwendung geht (was natürlich häufig vorkommt).
BizDataX integriert sich in den SoftwareEntwicklungszyklus. Mit BizDataX können
Sie Änderungen in Testdaten Projekte
einchecken, genauso so wie sie jegliche
Änderung am Quellcode der Anwendung
einchecken könnten; Testdatenregeln
wären so immer auf dem neuesten
Stand und Veränderungen könnten in
Ihrem Quellcode-Verwaltungssystem
nachverfolgt werden. Die Versionierung
von Testdatenregeln arbeitet mit
Standard Technologien wie dem Microsoft
Team Foundation Server, Git, Subversion
und vielen andere Source Code
Management Lösungen.
TESTDATEN PROJEKTBAUM UND TESTDATEN
JOB AUSFÜHRUNG HISTORY
12
www.BizDataX.com
Unterstützung
für DrittanbieterTestmanagement und
Testautomatisierungstools
Organisationen berichten, dass sie von 100 Minuten der manuellen
Testausführungszeit zwischen 50 und 75 für die Suche und Vorbereitung
geeigneter Testdaten aufwenden müssen. Trotzdem sind sie dann immer
noch nicht in der Lage, eine stabile Testautomatisierung zu erreichen in
Ermangelung zuverlässiger Testdatenkontrolle. Testmanagement-und
Testautomatisierungslösungen können stark von der Integration mit TDMLösungen profitieren, weil sie, wenn sie effizient zusammen verwendet werden,
die Testausführungszeiten erheblich erhöhen könnten.
Zusätzlich zur Erzeugung von Testdaten, kann BizDataX zu Testdatenausgabe
für Testfälle konfiguriert werden und Daten für Testmanagement und
Testautomatisierungs-Tools liefern, so wie Microsoft Test Manager, HP UnifiedFunctional Testing, Tricentis Tosca, imbus Test Bench usw.
Test data
Data labeled
for test cases
Other TM/TA
tools
BIZDATAX INTEGRATION SZENARIEN
13
www.BizDataX.com
Enterprise-Funktionen
(Skalierbarkeit, rollenbasierte
Sicherheit ..)
Die Verarbeitung von TB großen Datenmengen in einer Enterprise Umgebung erfordert
Unterstützung für Features, wie z.B. das rollenbasierte Sicherheitsmodell, die Fähigkeit,
Testdatengenerierung Jobs auf mehrere Hosts zu skalieren, Jobausführung Statusprotokoll,
um nur einige zu nennen. Diese Funktionen haben ihren Preis und es gibt sie nicht
standardmäßig in jeder TDM-Lösung auf dem Markt.
Wie bereits im Abschnitt “Produktive Testdatenbereitstellung” erwähnt, ist die BizDataX
Runtime eine ‘Enterprise level‘ Anwendung, die rollenbasierte Sicherheit und andere Enterprise
Funktionen unterstützt und sie passt perfekt in eine komplexe IT-Landschaft.
BizDataX Runtime kann auf einem einzelnen oder auf mehreren Systemen installiert werden,
virtualisiert werden, und zentral verwaltet werden mit Industrie-Standard-Tools wie Microsoft
Management Console.
BIZDATAX RUNTIME
14
www.BizDataX.com
Dokumentations- ,
Protokollierungs- und
Archivierungsfunktionen
Um datenschutzrechtlichen Bestimmungen und Unternehmensrichtlinien zu entsprechen,
muss eine TDM Lösung die Dokumentation aller Schritte innerhalb eines Testdaten Projekts
ermöglichen. Diese Dokumentation sollte externe und interne Audits ermöglichen, damit die
Regeln und Workflows zur Erzeugung von Testdaten auf einfache Weise bestätigt werden.
Darüber hinaus sollte eine TDM Lösung alle Ausführungen von Testdatengenerierungsjobs
protokollieren, um die Transparenz und Rückverfolgbarkeit innerhalb des Testprozesses zu
unterstützen. Sobald das Testdaten Projekt zu
Ende ist, sollte es für die Unterstützung der
Erzeugung historischer Testdaten archiviert
und per Bedarf wiederhergestellt werden.
BizDataX unterstützt die Dokumentierung
eines jeden einzelnen Schritts innerhalb des
BizDataX Testdaten Projekts.
Beispiele für Berichte enthalten:
• Anforderungen Dokument enthält
Informationen über alle projektbezogenen
Datenschutzrichtlinien (Policies).
• Sensitive Data Discovery Dokument listet
alle, innerhalb der Datenbank gefundene
sensitive Daten auf, wie auch die
Implementierungs-Hinweise
• Job Execution Bericht stellt detaillierte
Information zu BizDataX Job
Ausführungsstatus dar.
• Workflow Implementation Dokument
enthält Workflow Abbildungen mit
Umsetzungs-Anweisungen und
Anmerkungen.
BIZDATAX JOB BERICHT
BizDataX ermöglicht Versionierung, Archivierung und
Wiederherstellung einer beliebigen Anzahl von BizDataX Testdaten Projekte, um historische
Testdaten neu zu erstellen.
15
www.BizDataX.com
BizDataX Dienstleistungen
Es sind die Menschen und die Tools, die den Unterschied
machen!
Unser Professional Services Team wird Ihnen helfen, den Testdatenmanagement
Prozess und die BizDataX Lösung optimal zu nutzen. Sie werden Ihnen behilflich
sein bei der Aufbereitung Ihrer Testdaten Umgebung und Ihre Testdaten gemäß
Ihrer Bedürfnissen bewerten, BizDataX an Ihre Testdaten Nutzungsszenarien
anpassen und neue Testdatengenerierung Algorithmen für Ihre spezifischen
Anforderungen (z. B. branchenspezifische Datenanonymisierungsregeln)
zur Anwendung bringen. Sie werden auch Ihre Test Profis ausbilden für den
selbständigen Entwurf, Einsatz und die Durchführung von TestdatengenerierungAufträgen.
Das Professional-Services-Portfolio schließt ein:
Test Data
Assesment
Proof of
Concept
Custom Workflow
and Algorithms
Implementation
BizDataX Solution
Installation
BizDataX
Workshops
16
www.BizDataX.com
EIN PRODUKT VON EKOBIT
BizDataX ist eine End-to-End Testdatenmanagement Lösung, welche die schnelle
und kostengünstige Bereitstellung von Testdaten in hoch komplexen IT Systemen
ermöglicht:
• rechtzeitige Lieferung von
realistischen Testdaten
• Übereinstimmung mit
Datenschutzbestimmungen
• Unterstützung der Umsetzung
aller Testdaten Szenarien mit
visuellen Design-Tools
Rufen Sie Uns An:
+41 76 579 16 41
+385 1 6312 635
Ekobit d.o.o.
Koturaška 69
10000 Zagreb, Kroatien, EU
www.ekobit.com
• nahtlose Integration mit
gängigen Testmanagement- und
Testautomatisierungstools
• Erhöhung der
Testvorgangseffizienz bei
gleichzeitiger Kostensenkung
Email: [email protected]
www.BizDataX.com
BizDataX Vertriebspartner DACH Region
Herr Dragan Kinkela
aminodata GmbH
Gartenstrasse 23
5400 Baden, Schweiz
www.aminodata.com