für Angebotsaufforderung
Werbung
Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung Projekt-Kurzname Berichtswesen Rahmenvertrag Projekt-Bezeichnung: Systembetreuung und Weiterentwicklung des individuell angepassten Berichtssystems DeltaMaster Inhalt 1. 2. 3. Einführung .............................................................................................................. 2 Berichtssysteminfrastruktur ...................................................................................... 2 Aufgaben ................................................................................................................ 4 3.1. Fortschreiben der Systemdokumentation ............................................................. 5 3.1.1. Berechtigungskonzept ................................................................................. 5 3.1.2. Schnittstellenkonzept .................................................................................. 5 3.2. Optimierung bestehender Berichte ...................................................................... 6 3.2.1. Beispiele .................................................................................................... 6 3.3. Bearbeitung von Fehlern (Bugs) und Erweiterungen (Change Requests - CR) ........ 7 3.3.1. Anforderungsmanagement .......................................................................... 8 3.4. Neuentwicklung - Quality Assurance Prozess...................................................... 10 3.4.1. DeltaMaster Weboption/ Repository ........................................................... 10 3.4.2. Update DeltaMaster Version 6.x ................................................................. 10 3.4.3. Integration neuer Datenquellen ................................................................. 10 3.5. DWH-Struktur und Server-Konfiguration Optimierung ......................................... 10 3.6. Migration auf Version 2014 .............................................................................. 13 3.6.1. Olap & DB Schemas in DEV ....................................................................... 14 3.6.2. Olap & DB Schemas in QS ......................................................................... 14 3.6.3. Olap & DB Schemas in PROD ..................................................................... 15 3.7. Laufzeit-, Fehleranalyse und Monitoring ............................................................ 16 3.7.1. Laufzeitanalyse ......................................................................................... 16 3.7.2. Monitoring ............................................................................................... 16 3.7.3. Fehleranalyse ........................................................................................... 17 4. Anforderung an die Qualitätskonzepte ..................................................................... 17 4.1. Die Qualitätskriterien im Überblick .................................................................... 18 Version: 1.0 Seite 1 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 1. Einführung Die BIM Berliner Immobilienmanagement GmbH (BIM) wurde 2003 als 100-prozentige Tochtergesellschaft des Landes Berlin gegründet. Im Auftrag des Landes ist sie für Vermietung, Bewirtschaftung, Optimierung und Verkauf von insgesamt ca. 4.500 landeseigenen Immobilien verantwortlich. Auf der Grundlage der transparenten Liegenschaftspolitik berücksichtigt die BIM verstärkt stadtentwicklungs-, wirtschafts-, wohnungs- und kulturpolitische Belange Berlins. Darüber hinaus sichert sie Grundstücke für den Eigenbedarf der wachsenden Stadt und ebnet damit den Weg für eine nachhaltige Stadtentwicklung. Durch ein ressortübergreifendes Gebäudemanagement kann die BIM die Verwaltung und Bewirtschaftung der Immobilien effizient gestalten und so beträchtliche Einsparungen für das Land Berlin erzielen. Derzeit kümmern sich rund 420 Mitarbeiterinnen und Mitarbeiter der BIM, in zehn Fachbereichen und drei Stabstellen, um die optimale Verwaltung dieser Immobilien und um die Zufriedenheit der Kunden. Für die Verwaltung der „Wirtschaftseinheiten“ in Bezug auf Bewirtschaftung, Baumaßnahmen und Mietverträge werden im Wesentlichen diese Systeme eingesetzt: - SAP S4/HANA (FI, CO, AA, MM, RE-FX) - conjectFM, ein angepasstes CAFM-System (Computer-Aided Facility Management) - FM-Portal, mehrere .NET Portale auf Basis von conjectFM - Sharepoint zum Informationsaustausch für verschiedene Fragestellungen - FlowFact und YadeGIS für ALK-, ALB-Stammdaten und vertriebliche Prozesse - DeltaMaster für Analysen und Berichte 2. Berichtssysteminfrastruktur Es werden drei Datenbanksysteme (DEV -Development, QS - Test und PROD – Produktion) auf insgesamt fünf Servern betreut. Alle Datenbanken und Olap-Cubes werden durch die BIM betrieben und jegliche Entwicklungsarbeiten finden somit ausschließlich in der BIMSystemlandschaft statt. Jeder der derzeit fünf Datenbank-Schemas und fünf Olap-Cubes werden individuell behandelt. Der Auftragnehmer greift per Internetportal, mit Hilfe einer RSA Token Authentifizierung (kein VPN), auf die Infrastruktur der BIM zu: - Entwicklungssystem (virtuell): Windows Server 2008 R2, Microsoft SQL Server 2008 R2 (SP1) QS-/ Produktivsystem (physisch): Windows Server 2008 R2, Microsoft SQL Server 2008 R2 (SP1) App-Server (virtuell): Integration Services für Produktivsystem, Windows Server 2008 Delta Master Lizenzserver (virtuell): Windows Server 2003 Version: 1.0 Seite 2 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung - Webserver: Delta Master Web Option, Windows Server 2008 Microsoft Terminal Server für die Client-Installation und Zugriff durch Anwender Die BIM stellt die Infrastruktur für die zu entwickelnde Anwendung während der Projektlaufzeit zur Verfügung. Das beinhaltet die für die Entwicklung notwendigen Werkzeuge sowie die für das Projekt und den Betrieb notwendigen Server. - Microsoft Windows Server 2008 oder 2012ff, physisch und virtuell - Microsoft SQL Server 2008 und 2014ff, physisch und virtuell - Speichersysteme (SAN) - Microsoft Visual Studio 2008 oder Microsoft Visual Studio 2015ff - SQL Server Integration Services (SSIS) - DeltaMaster Modeler - Xtract IS – SAP ETL Anwendung - Data Converter – ETL Anwendung Für den Produktivbetrieb ist aktuell von folgenden Anforderungen auszugehen: - Speicherbedarf: ca. 2 TB - Anzahl Datenbanken/Olap: fünf DBs, fünf produktive Olaps - SSIS Ladezeiten ca. 6 Stunden täglich, 9 Stunden am Samstag aufgrund längerer Zeitintervalle beim Abzug aus dem ERP-System - ca. 250 Dimensions- und Faktentabellen insgesamt - Anzahl User: 30 intern (tägliche, gleichzeitige und intensive Nutzung) - Daten dürfen ausschließlich auf Servern der BIM GmbH gespeichert werden o Ausnahmen sind die temporäre Speicherung auf mobilen Endgeräten - Das Produktivsystem soll möglichst ausfallsicher sein o der Betrieb soll bis auf geplante Wartungen permanent gewährleistet sein – 365 Tage, 24 h pro Tag o bis zu 24 h zusammenhängende Nichtverfügbarkeit sind zulässig - Backup o Bei Ausfall der Anwendung darf der Datenverlust nicht über den Tag des Ausfalls hinausgehen. o Das Backupverfahren ist so zu konzipieren, dass mind. eine Sicherung außerhalb der Dialogzeiten (werktäglich 6:00 – 22:00 Uhr) auf Bandlaufwerken (stellt die BIM) erfolgen kann. o Das Backup der drei Systeme soll täglich erfolgen. Backups sollen versetzt laufen. - Monitoring: das Produktivsystem ist in folgenden Bereichen zu überwachen o Verfügbarkeit inkl. Fehlerwarnung o Performance inkl. der Möglichkeit, die Ergebnisse entsprechend aufzubereiten o Benutzung inkl. der Möglichkeit, die Ergebnisse entsprechend aufzubereiten Version: 1.0 Seite 3 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3. Aufgaben Der Auftragnehmer verpflichtet sich, dem Auftraggeber gegenüber Leistungen bis zu 100 PT pro Jahr zu erbringen. Diese sollen gleichmäßig über das Jahr verteilt werden. Komplexe Konzeptionen oder Entwicklungen sollen vom Auftragnehmer in den Räumlichkeiten der BIM umgesetzt und/oder übergeben werden. Dafür sind ca. 30% des Auftragsgesamtvolumens einzuplanen. Die durchschnittlichen Umsetzungszeiten pro Monat sollen regelmäßig im Voraus zwischen Auftraggeber und Auftragnehmer abgestimmt werden. Zu den Aufgaben des Auftragnehmers zählen folgende Punkte: - Change Request Umsetzung - Ressourcenüberwachung - Treffen nach Bedarf mit Vertretern des Auftraggebers - Regelmäßige Aufwandsübersicht und Berichterstattung an den Auftraggeber - Dokumentation und Präsentation von Arbeitsergebnissen Zu den Aufgaben des Auftraggebers zählen folgenden Punkte: - Release Planung und Durchführung - Change Request Definition und Freigabe - Change Request Ansprechpartner bei offenen Fragen - Change Request bündeln und priorisieren - Koordination der Aufgaben des Auftraggebers Version: 1.0 Seite 4 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.1. Fortschreiben der Systemdokumentation 3.1.1. Berechtigungskonzept Neben der Benutzerverwaltung soll auch die Berechtigungsvergabe der Ressourcen innerhalb der Anwendung DeltaMaster und auf Datenbankebene erarbeitet, umgesetzt und dokumentiert werden. Folgende Anforderungen sollen berücksichtig werden: - Datenschutz, s. Fehler! Verweisquelle konnte nicht gefunden werden. - anonyme Accounts sollen vermieden werden - Übernahme der Benutzer und Berechtigungen in Test-/ Entwicklungssystem - Einführung und Dokumentation der Berechtigungen und soweit vorhanden Rollen, Sammelrollen, Benutzer, Benutzergruppen etc. 3.1.2. Schnittstellenkonzept Das Schnittstellenkonzept beschreibt alle Datenschnittstellen zu externen Systemen hinsichtlich ihrer Struktur, Übertragungswege, Übertragungsmittel und Übertragungsbedingungen. Die internen Schnittstellen werden im Umsetzungskonzept beschrieben. In einer grafischen Übersicht müssen die Systemgrenzen dargestellt werden. Daraus wird abgeleitet, was zu den internen bzw. externen Schnittstellen gehört. Zusätzlich müssen alle Schnittstellen (tabellarisch) aufgelistet werden. Schnittstellenname Kurzbeschreibung Quelle bzw. Ziel Anschließend erfolgt die Beschreibung der einzelnen Schnittstellen bezüglich: - Anforderungen und Rahmenbedingungen o Zeitliche Rahmenbedingungen z.B. Aktivierungsdatum o Mengengerüst; Welche Datenmengen pro Zeiteinheit? o Performanceanforderungen o Datenaktualität und Verfügbarkeit; Welche Daten sind in welchem Zeitfenster zu übertragen? Hat das Auswirkungen auf die Infrastruktur (z.B. Hot Standby)? o Aufbewahrungsfristen der Daten / Verweildauer; Wie lange dürfen und müssen die Daten aufbewahrt werden? Wo müssen die Daten aufbewahrt werden? o Sicherheitsanforderungen; Welche Sicherheitsanforderungen sind zu erfüllen? Welche Datensicherheit und –Konsistenz sind gefordert? Welcher Zugriffsschutz ist gefordert? Version: 1.0 Seite 5 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung o Logging; Welche Logs sind erforderlich? Welche Aussagen sollen sie enthalten? Welche Aufbewahrungsfristen der Logs? Wer benötigt welche Rückmeldungen? - Beschreibung der Schnittstelle o Aufgabe der Schnittstelle; detaillierte Beschreibung der Schnittstelle. Wozu dient sie? Typ (Import / Export), Quelle / Ziel o Datenstruktur / -formate o Dateninhalte und –Beziehungen - Technische Angaben o Schnittstellenarchitektur; grafische Darstellung der Serviceobjekte, des Datenflusses und des Übertragungsverfahrens. o Serviceobjekte; Beschreibung der beteiligten Komponenten an der Datenübertragung. Wenn die Komponenten bereits im Infrastrukturkonzept beschrieben sind, reicht hier ein Verweis. Es werden nur zusätzliche Serviceobjekte beschrieben. Das gleiche gilt bei Mitbenutzung bereits vorhandener Komponenten. o Konvertierung o Automatisierungsgrad (manuell, halbmanuell, vollautomatisch) 3.2. Optimierung bestehender Berichte Mit dem Produkt Deltamaster der Firma Bissantz wurde für die BIM im Jahre 2008 ein sehr leistungsstarkes und flexibles Analyse- und Berichtswerkzeug eingeführt. Durch die Integration der Daten aus unseren Softwareanwendungen nach Deltamaster wird die Aktualität der Informationen und der Übersichtlichkeit gewährleistet. Es werden Daten verständlicher aufbereitet und besser auswertbar gestaltet. Zusätzlich wird die Bedienung durch das Auffinden von Daten erleichtert. 3.2.1. Beispiele Bitte gestalten Sie beispielhaft folgende zwei Berichte mit der Delta Master 6.x Version nutzerfreundlicher: Berichtsanlage 1 Version: 1.0 Seite 6 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung Berichtsanlage 2 Erläuterung zu den präsentierten Dimensionen und Fakten: Die Budgets haben immer einen Plan- und Freigabe-Wert. Diese gelten immer für das komplette Jahr. Solange ein Budget nur geplant ist, kann dieses nicht genutzt werden. Erst nach der Freigabe tritt ein Budget in Kraft. Es ist wichtig, die Differenz zwischen Plan und tatsächlicher Bedarf (Freigabe) schnell zu erkennen, damit ein nicht genutztes Plan-Budget in ein anderes Thema umgeleitet werden kann. Die Budgets Top- (Ebene1), Projekt- (Ebene2), Maßnahme-Budget (Ebene3), präsentieren eine Hierarchie. Das Budget auf der höheren Ebene deckelt das Budget auf den unteren Ebenen. Somit kann man auf jeder Ebene nur so viel ausgeben, wie übergeordnet freigegeben wurde. Bei Top-, Projekt-, Maßnahme-Budget wird nach Budgetherkunft unterschieden („Budget – ungeplant“, „Budget – ungeplant GL“ …). Das Maßnahme-Budget wird zusätzlich an eine Wirtschaftseinheit (Immobilie) oder Kostenstelle geknüpft. Übernahmetranche („externe Mieter“, „Feuerwehr“ …) ist die Bezeichnung der Herkunft einer Wirtschaftseinheit zum Zeitpunkt ihrer Übernahme in unser Portfolio. 3.3. Bearbeitung von Fehlern (Bugs) und Erweiterungen (Change Requests CR) Im Rahmen des Vertrages ist eine mehrstufige Entwicklungs-/ Test- und Produktivsystemumgebung zu betreuen. Auf Basis dieser Infrastruktur existiert ein Changemanagementprozess, welcher für die Test- und Betriebsphasen die Abbildung eines mehrstufigen und nachvollziehbaren Entwicklungs- und Freigabeprozesses ermöglicht. Durchschnittlich fallen 90 Tickets, davon 70 CR und 20 Fehler, pro Jahr an. Bei Change Requests haben wir einen Entwicklungszyklus von zwei Monaten. Bei der Fehlerbehebung haben wir eine Reaktionszeit von maximal einem Werktag. Version: 1.0 Seite 7 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung Anpassungsvorschläge können von Auftragnehmer und Auftraggeber initiiert werden. Das passiert in Form einer vollständig dokumentierten Anfrage, in dem dafür vorgesehenen Change Request- & Fehler-Systems. Aktuell setzten wir im Rahmen der Planung und Dokumentation ein System auf Basis Sharepoint ein, mit dem sowohl die BIM als auch der Auftragnehmer arbeiten. Es ist geplant, dieses System auf Jira Software umzustellen. Auch damit sollen sowohl die BIM als auch der Auftragnehmer arbeiten. Jede Systemanpassung seitens Auftragnehmer muss immer von Auftraggeber freigegeben werden. Teil der Beauftragung ist die Aufwandschätzung, sowie die Einschätzung zu dem ungefähren Umsetzungszeitraum seitens Auftragnehmer. Zusatzaufwände sind rechtzeitig, vor Überschreitung der ursprünglichen Aufwandsschätzung, beim Auftraggeber anzumelden. Diese müssen nachvollziehbar begründet werden. Die Zusatzaufwände müssen explizit von Auftraggeber freigegeben werden. Andernfalls besteht kein Anspruch auf Vergütung. Bei jedem CR, Fehler oder der Integration neuer Datenquellen und Fachthemen, erwarten wir eine Implementierung, die bezüglich der Laufzeiten optimiert ist. Die Einhaltung der Modellierungs-Standards von Bissantz und der BIM, bei einer Neuentwicklung bzw. Weiterentwicklung der Software Delta Master, setzen wir voraus. Denn nur so kann der Systemintegrität gewährleistet werden. Die Entwicklung des DWHs und OLAP wird gänzlich dem Auftragnehmer überlassen. Konzepte werden gemeinsam erarbeitet und abgestimmt und durch Auftraggeber und Auftragnehmer freigegeben. Komplexe Test-Szenarien werden gemeinsam durchgeführt und auftretenden Fehler werden gemeinsam abgestimmt und bearbeitet bis ein Ergebnis vorliegt. Lösungen die tiefere Kenntnisse der Quellsystemen und Daten Logik voraussetzen, werden ausschließlich von Auftraggeber bereitgestellt und vom Auftragnehmer technisch geprüft. Releases werden immer nach dem Vier-Augen-Prinzip durchgeführt. Alle Skripte werden in Zusammenarbeit erstellt und nur nach der Zustimmung des Auftragnehmers ausgeführt. Ein konstanter Know How Transfer ist somit beidseitig zwingend notwendig. 3.3.1. Anforderungsmanagement Zu den Aufgaben des Auftragnehmers zählt auch das Anforderungsmanagement mit folgenden Punkten: - Bewertung der Anforderungen - Aufzeigen von Abhängigkeiten und Konflikten - Erarbeitung von Verbesserungsvorschläge oder Alternativlösungen - Dokumentation der Fragestellungen und Lösungsvorschläge im Rahmen des Change Request Prozesses - Paketieren und Bereitstellen der Lösungen - Ausführliche und nachvollziehbare Dokumentation der Lösungsansätzen nach der Entwicklungsphase Zu den Aufgaben des Auftraggebers zählt auch das Anforderungsmanagement mit folgenden Punkten: Version: 1.0 Seite 8 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung - Erfassung und Beschreibung der Anforderungen für die Entwicklung Fachliche Unterstützung bei Fragen zur Datenqualität/Bedeutung CR Priorisierung Festlegen von Terminen in Abstimmung mit dem Auftragnehmer Die CRs werden kategorisiert um kleine Anpassungen an den selbe DWH Teil bündeln zu können. Es werden komprimierte CR Beschreibungen geliefert. Alle folge Änderungen werden mit Datum und Autor historisiert. Fragestellungen zur CR werden ausschließlich im Changemanagementsystem festgehalten. Alle CRs gehen durch folgende Phasen bis zu Abnahme: - Offen – CR vom Auftraggeber angefordert - In Bearbeitung – CR Abstimmung mit und Freigabe vom Auftragnehmer - Entwicklung abgeschlossen – CR wurde von Auftragnehmer implementiert - Abgeschlossen – CR wurde von Auftraggeber abgenommen Dazu kommen zwei Sonderstati: - Gelöscht – CR wird nicht umgesetzt - Wartet – CR kann noch nicht umgesetzt werden Testberichte, Hilfs-SQLs und andere testrelevante Informationen werden von Auftraggeber und Auftragnehmer erstellt und ausschließlich in die dafür vorgesehene Stelle in SharePoint (Übersicht Fragen) zur Verfügung gestellt. Bitte erläutern Sie ihren internen Fehler- und Change Request-Bearbeitungsprozess? Wie erfolgt die Abstimmung der Anforderungen zwischen Auftraggeber und Auftragnehmer, wie Version: 1.0 Seite 9 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung die Umsetzung und das Rollout? Bitte beschreiben Sie die Funktionen der beteiligten Mitarbeiter auf Auftragnehmer Seite. Welche Reaktions- und Lösungszeiten bei Fehlern in SSIS Jobs, P_Transform_All, Olap Cube Verarbeitung etc. können Sie sicherstellen? 3.4. Neuentwicklung - Quality Assurance Prozess Die Weiterentwicklung/Neuentwicklung soll eine sehr gute Performance sicherstellen. Die Daten werden in einem dreistufigen ETL-Prozess verarbeitet: - SRC (Source Schema) - SA (Staging Area) - DWH (Normalisierte Daten). Dafür haben wir ein Scheduling SSIS Paket (ETL Root), 3 Import Pakete, c.a. 140 Derived Pakete und c.a. 270 Load Pakete. Insgesamt betreuen wir aktuell ca. 420 aktive SSIS Pakete. Wie stellen Sie sicher, dass die Neuentwicklung die geforderten Funktionalitäten enthält, Performanceoptimiert ist und gleichzeitig die vorhandenen Strukturen intakt bleiben? 3.4.1. DeltaMaster Weboption/ Repository Ein zukünftiges Projekt in Delta Master ist die Einrichtung der Delta Master Weboption für die unternehmensweite Nutzung. Ziel ist es, durch die Verwendung des DeltaMaster Repository von der flexiblen Nutzerrollenverwaltung zu profitieren und eine kürzere Berichtsreaktionszeit im Vergleich zur Terminal Server Lösung, die momentan in Nutzung ist, zu erreichen. Eine Statistik zur Berichtsnutzung (nicht personalisiert) mit Hilfe der Repository Log soll die Reduktion der Berichtsanzahl ermöglichen. 3.4.2. Update DeltaMaster Version 6.x Mit Delta Master Version 6.x, bietet Bissantz zusätzliche Komfortfunktionen für die Berichtsadministratoren und vereinfacht die Bedienung für die Nutzer. Da aktuell Delta Master 5.6.4 bei BIM eingesetzt wird, soll das Upgrade auf Version 6.x geplant werden. Bei der Durchführung dieses Projektes soll der Auftragnehmer unterstützen. 3.4.3. Integration neuer Datenquellen Einige Datenquellen, die durch Neu- bzw. Weiterentwicklung von Drittsystemen entstehen, sind noch nicht in DeltaMaster integriert. Als zukünftige Aufgaben sehen wir die Beratung zu den von uns erstellten Konzepten für die Anbindungen an das bestehende Berichtssystem. 3.5. DWH-Struktur und Server-Konfiguration Optimierung Zu diesen Aufgaben zählen die Weiterentwicklung, das Aufräumen des Systems (Löschung obsoleter Entwicklungen), SSIS Laufzeit-, DWH Struktur-, Olap Model-Optimierung sowie die Anreichung der zentralen Dokumentationsspeicher. Die Config Einstellungen werden nicht in den SSIS Paketen gespeichert sondern in einer Tabelle im DWH-Schema administriert. Bei der SRC Stufe werden die SRC Schema Tabellen getruncated und mit den aktuellen Daten der Quellensystemen befüllt. Hierfür haben wir drei SSIS Import Pakete. Diese sind Version: 1.0 Seite 10 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung quellsystemspezifisch aufgebaut. Import conjectFM (Datenquelle CFM), Import SAP (Datenquelle SAP), Import Man (manuelle Tabellen). Teil der SCR Stufe sind die SSIS Derived Pakete. Hier werden von vordefinierten Quelltabellen eigenständige Dimensionstabellen erstellt. Diese werden bereits in die SRC Schema zur Verfügung gestellt. Grundlogik der SRC SSIS Pakete ist, das Quelldaten immer 1:1 importiert werden. Wir haben eine Nameskonvention für die Tabellen im SRC Schema implementiert: 1. Quellsystem-Name (z.B. CFM, SAP…) 2. Mandant (z.B. BIM) 3. Quelltabellenname 4. DER Falls Dimensionstabellen von eine Quelltabelle extrahiert werden müssen. (Derived mit Select distinct Spalte from Quelltabelle) 5. Name der Spalte die derived wird SA Schema enthält jeweils drei Tabellen pro DWH Tabelle (DWH Schema). Wir haben eine Nameskonvention für die Tabellen im der SA Schema implementiert: 1. Schema (dq1, dq2, dq3) 2. tblerr 3. Name der Dimensionstabelle (Zieltabelle) in DWH - Mark Source Records (DQ1 Tabellen) Quelldaten Überprüfung (z.B. Doppelte Daten, kein Primärschlüssel) Data Converter (DQ2 Tabellen) SSIS zusätzliches Add on. Datenformat Konvertierung. Lookups (DQ3 Tabellen) Sucht den FK_BK der Zieltabelle in der Quelltabelle BK und schreibt dessen ID von der Quelltabelle in die FK_ID der Zieltabelle. DQ1 Tabellen enthalten Datensätze, die einen Primary Key Fehler aufweisen. Dieser Fehler ist gravierend, somit werden die Datensätze mit DQ1 Fehler nicht in das DWH Schema übertragen. DQ2 sollte bei korrekter Entwicklung nicht vorhanden sein. Hiermit werden Data Convertion Fehler gefiltert. Diese Fehler sind nicht gravierend. Beim Auftreten des Fehlers werden die Datensätze in das SA Area geschrieben und werden trotzdem in das DWH Area mit Anpassungen weitergeleitet. Fehlerhafte Informationen werden durch Platzhalter ersetzt. Der Platzhalter, z.B. für Nvarchar Werte ist „#“, bei Datumsfelder „1900“. DQ3 sind Lookup Fehler, dabei findet der Lookup keinen entsprechenden ID (FK_ID). Diese werden wie die DQ2 Fehler trotzdem in DWH importiert. Als Platzhalter wird „#“ für FK_BK und 0 für FK_ID verwendet. DWH sowie der SA Area werden von den dafür erstellten SSIS Load Paketen befühlt. Das Befühlen findet gleichzeitig statt. Es gibt ein Load Paket pro DWH Tabelle. Die Erstellung neuer SSIS Load Pakete wurde von unserem aktuellen Auftragnehmer automatisiert. Zum Version: 1.0 Seite 11 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung Einsatz kommt der sogenannten Package Builder. Für diesen werden folgende Tabellen in DWH Schema verwaltet: - tblPackage - enthält den Namen des Pakets, Zieltabellename und die Primary key Spalte - tblPackageattribute – hier werden die Attribute einer Dimensions definiert - tblPackagelookup – verwaltet die Lookup Variablen in Nutzung - tblPackageattributecalculation – speichert vordefinierte Kalkulationen, falls genutzt in den Load Paket in Frage. - tblSourcetable – liefert das Mapping zwischen Quelltabelle, Zieltabelle und Zielpaket Der Package Builder arbeitet mit Hilfe von Variablen, die jedem Load Paket die gleiche Struktur vergeben. Die Werte der Variablen werden von den oben genannten Tabellen bezogen. Alle anderen SSIS Pakete (Import; Derived) werden manuell angepasst/erstellt. Da unser System kontinuierlich gewachsen ist und sogar Daten von Jahr 2006 bereitstellen kann, ist dessen Laufzeit-Optimierung unabdingbar. Unsere DWH Tabellen sind teilweise sehr langsam geworden und beeinflussen die Endnutzer zunehmend negativ. Unsere größte Tabelle hat 101 Spalten, viele davon mit Format nvarchar (255). Ein „select * from“ bei 10 Mio. Datensätzen braucht z.B. 15 Min. Welche Tests würden Sie durchführen um die Gründe der langen Laufzeiten zu identifizieren (Server, DWH etc.)? Beschreiben Sie kurz die Tests und erklären Sie, warum Sie diese durchführen würden. Bitte geben Sie eine Einschätzung zum Aufwand, in PT, für die Ausführung dieses Auftrages. Version: 1.0 Seite 12 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.6. Migration auf Version 2014 Der Produktivserver für das DWH und OLAP läuft aktuell auf Microsoft SQL-Server 2008 R2 Enterprise. Geplant ist einen Umstieg auf Version 2014. Bitte beschreiben Sie, wie die von Ihnen empfohlene Migrationsstrategie aussehen sollte? Sie können gerne Beispiele aus Ihrem Arbeitsalltag verwenden. Bitte geben Sie eine Einschätzung zum Aufwand, in PT, für die Ausführung dieses Auftrages. Version: 1.0 Seite 13 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.6.1. Olap & DB Schemas in DEV 3.6.2. Olap & DB Schemas in QS Version: 1.0 Seite 14 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.6.3. Olap & DB Schemas in PROD Version: 1.0 Seite 15 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.7. Laufzeit-, Fehleranalyse und Monitoring 3.7.1. Laufzeitanalyse Angenommen P_Transform_All ist heute langsam. Wie finden Sie heraus, welche Prozedur/View/Tabelle die Laufzeit negativ beeinflusst hat? Angenommen die Olap Cube Verarbeitung ist langsam. Wie werten Sie die Erstellungszeiten einzelnen Dimensionen und Fakten aus? Bitte beschreiben Sie anhand konkreter Probleme und fügen Sie Beispiele zu durchgeführten Analysen und eine Beschreibung der Problemlösung bei. 3.7.2. Monitoring Bitte beschreiben Sie einen von Ihnen erfolgreich eingesetzten Monitoring Prozesses (verwendete Software, Staging Schemas/Tabellen, Fehler Analyse etc.). Fügen Sie bitte Screenshots und gegeben falls SQL-Code bei. Version: 1.0 Seite 16 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 3.7.3. Fehleranalyse Wie analysieren sie aufgetretene Fehler? Welcher Detailgrad der Fehleranalyse ist möglich (u.a. SSIS Job, Schritt, Element, Spalte/Zeile Ebene)? 4. Anforderung an die Qualitätskonzepte Im Abschnitt „Qualität“ in unsere Bewertungsmatrix ist pro Kriterium ein Konzept zu erstellen. Die maximale Anzahl Seiten pro Kriterium ist zu beachten. Falls bei mindestens einem Kriterium die Mindespunktzahl (1 – unbefriedigend) nicht erreicht wird, führt das zum Ausschluss vom Verfahren. Qualität hat 50% Gewichtung als Bewertungskriterium für die finale Angebotsauswertung. Qualitätskriterium Konzeptanforderung Optimierung bestehender Berichte 2 Seiten, (mind. unbefriedigend) (Pflichtenheft Punkt 3.3.) Bearbeitung von Fehlern (Bugs) und Erweiterungen (CR) (Pflichtenheft Punkt 3.4.) Neuentwicklung - Quality Assurance Prozess (Pflichtenheft Punkt 3.5.) DWH-Struktur und Server-Konfiguration Optimierung (Pflichtenheft Punkt 3.6.) Migration auf Version 2014 (Pflichtenheft Punkt 3.7.) Laufzeit-, Fehleranalyse und Monitoring (Pflichtenheft Punkt 3.8.) Version: 1.0 halbe Seite, (mind. unbefriedigend) 2 Seiten, (mind. unbefriedigend) 2 Seiten, (mind. unbefriedigend) 2 Seiten, (mind. unbefriedigend) 4 Seiten, (mind. unbefriedigend) Seite 17 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 4.1. Die Qualitätskriterien im Überblick Beschreibung Bitte gestalten Sie beispielhaft folgende zwei Berichte mit der Delta Master 6.x Version nutzerfreundlicher: (Berichtsanlage 1 & Berichtsanlage 2 in Pflichtenheft) 2.1 2.2 Optimierung bestehender Berichte (Pflichtenheft Punkt 3.3.) Bearbeitung von Fehlern (Bugs) und Erweiterungen (CR) (Pflichtenheft Punkt 3.4.) Erläuterung zu den präsentierten Dimensionen und Fakten: Die Budgets haben immer einen Plan- und Freigabe-Wert. Diese gelten immer für das komplette Jahr. Solange ein Budget nur geplant ist, kann dieses nicht genutzt werden. Erst nach der Freigabe tritt ein Budget in Kraft. Es ist wichtig, die Differenz zwischen Plan und tatsächlicher Bedarf (Freigabe) schnell zu erkennen, damit ein nicht genutztes Plan-Budget in ein anderes Thema umgeleitet werden kann. Die Budgets Top- (Ebene1), Projekt- (Ebene2), Maßnahme-Budget (Ebene3), präsentieren eine Hierarchie. Das Budget auf der höheren Ebene deckelt das Budget auf den unteren Ebenen. Somit kann man auf jeder Ebene nur so viel ausgeben, wie übergeordnet freigegeben wurde. Bei Top-, Projekt-, Maßnahme-Budget wird nach Budgetherkunft unterschieden („Budget – ungeplant“, „Budget – ungeplant GL“ …). Das Maßnahme-Budget wird zusätzlich an eine Wirtschaftseinheit (Immobilie) oder Kostenstelle geknüpft. Übernahmetranche („externe Mieter“, „Feuerwehr“ …) ist die Bezeichnung der Herkunft einer Wirtschaftseinheit zum Zeitpunkt ihrer Übernahme in unser Portfolio. Bitte erläutern Sie ihren internen Fehler- und Change Request-Bearbeitungsprozess? Wie erfolgt die Abstimmung der Anforderungen zwischen Auftraggeber und Auftragnehmer, wie die Umsetzung und das Rollout? Bitte beschreiben Sie die Funktionen der beteiligten Mitarbeiter auf Auftragnehmer Seite. Welche Reaktions- und Lösungszeiten bei Fehlern in SSIS Jobs, P_Transform_All, Olap Cube Verarbeitung etc. können Sie sicherstellen? 2.3 Neuentwicklung - Quality Assurance Prozess (Pflichtenheft Punkt 3.5.) Version: 1.0 Wie stellen Sie sicher, dass die Neuentwicklung die geforderten Funktionalitäten enthält, Performanceoptimiert ist und gleichzeitig die vorhandenen Strukturen intakt bleiben? Seite 18 von 19 Pflichtenheft zur Erstellung der Qualitätskonzepte für Angebotsaufforderung 2.4 DWH-Struktur und Server-Konfiguration Optimierung (Pflichtenheft Punkt 3.6.) 2.5 2.6 Migration auf Version 2014 (Pflichtenheft Punkt 3.7.) Laufzeit-, Fehleranalyse und Monitoring (Pflichtenheft Punkt 3.8.) Da unser System kontinuierlich gewachsen ist und sogar Daten von Jahr 2006 bereitstellen kann, ist dessen Laufzeit-Optimierung unabdingbar. Unsere DWH Tabellen sind teilweise sehr langsam geworden und beeinflussen die Endnutzer zunehmend negativ. Unsere größte Tabelle hat 101 Spalten, viele davon mit Format nvarchar (255). Ein „select * from“ bei 10 Mio. Datensätzen braucht z.B. 15 Min. Welche Tests würden Sie durchführen um die Gründe der langen Laufzeiten zu identifizieren (Server, DWH etc.)? Beschreiben Sie kurz die Tests und erklären Sie, warum Sie diese durchführen würden. Bitte geben Sie eine Einschätzung zum Aufwand, in PT, für die Ausführung dieses Auftrages.# Bitte beschreiben Sie, wie die von Ihnen empfohlene Migrationsstrategie aussehen sollte? Sie können gerne Beispiele aus Ihrem Arbeitsalltag verwenden. Bitte geben Sie eine Einschätzung zum Aufwand, in PT, für die Ausführung dieses Auftrages. Laufzeitanalyse Angenommen P_Transform_All ist heute langsam. Wie finden Sie heraus, welche Prozedur/View/Tabelle die Laufzeit negativ beeinflusst hat? Angenommen die Olap Cube Verarbeitung ist langsam. Wie werten Sie die Erstellungszeiten einzelnen Dimensionen und Fakten aus? Bitte beschreiben Sie anhand konkreter Probleme und fügen Sie Beispiele zu durchgeführten Analysen und eine Beschreibung der Problemlösung bei. Monitoring Bitte beschreiben Sie einen von Ihnen erfolgreich eingesetzten Monitoring Prozesses (verwendete Software, Staging Schemas/Tabellen, Fehler Analyse etc.). Fügen Sie bitte Screenshots und gegeben falls SQL-Code bei. Fehleranalyse Wie analysieren sie aufgetretene Fehler? Welcher Detailgrad der Fehleranalyse ist möglich (u.a. SSIS Job, Schritt, Element, Spalte/Zeile Ebene)? Version: 1.0 Seite 19 von 19
