Archivierung von Daten aus relationalen Datenbanken im
Werbung
Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Archivierung von Daten aus relationalen Datenbanken im Schweizerischen Bundesarchiv 13. Tagung des Arbeitskreises "Archivierung von Unterlagen aus digitalen Systemen" vom 27./28. April im Staatsarchiv St. Gallen 28. April 2009 – Dr. Krystyna W. Ohnesorge Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Zur Orientierung GEVER Programm des Bundes und die digitale Archivierung im BAR SIARD Format und SIARD Suite für die Archivierung von relationale Datenbanken Digitale Archivierung im BAR – Ausblick 2009 Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 2 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Zur Orientierung GEVER Programm des Bundes und die digitale Archivierung im BAR (Programm ARELDA) SIARD Format und SIARD Suite für die Archivierung von relationale Datenbanken Digitale Archivierung im BAR – Ausblick 2009 Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 3 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Programm GEVER Bund - Zeitplan 2007 2008 2009 Bericht & Bericht & Aktionsplan Aktionsplan 2010 2011 M1 Leitung und Steuerung GEVER-Programm Bund (GSK, BAR) Leitung und Steuerung GEVER-Programm Bund (GSK, BAR) M2 Parlamentarische (weitere BR- und Parlamentarische (weitere BR- und … Vorstösse Parlamentsgeschäfte … Vorstösse Parlamentsgeschäfte Bundesrats- und Parlamentsgeschäfte auf elektronischer Basis M3 (Laufende GEVER-Projekte) GEVER-Projekte in den Departementen und in der Bundeskanzlei GEVER-Projekte in den Departementen und in der Bundeskanzlei M4 Führungsleitfaden Führungsleitfaden Records Management Records Management M5 Einführung Realisierung und der Digitalen Archivierung (ARELDA) Startphase Betrieb Digitale Archivierung Startphase Betrieb Digitale Archivierung Vorstudie Vorstudie M6 Konzept Konzept Zentrales Verzeichnis der Akten, Daten und Dokumente Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 4 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung E-Archiv – Statistik per Ende 2008 Grösse des digitalen Archivguts ~ 12.5 TB Anzahl digitaler Ablieferungen ~ 250 (davon 21 DB) Grösse der Ablieferungen kleinste, grösste Median 122 KB, 3.5 TB 15 MB Anzahl Files pro Ablieferung kleinste, grösste Median Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 1, 400 400’000 5 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Information Data Life Cycle Vermittlung Enstehungszeitraum Schutzfrist 10 Jahre + 20 Jahre + 1989 50 30 Jahre bis 10 Jahre 1999 ewig Ablieferung ans BAR 2009 2029 2049 Abgabe spätestens nach 10 Jahren Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 6 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Digitales Archivgut Digitales Dossier Datenbank Datei-Sammlungen Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 7 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Strategisches Programm ARELDA 2007 2008 M5 Einführung Realisierung und der Digitalen Archivierung (ARELDA) 2009 2010 2011 Startphase Betrieb Digitale Archivierung Startphase Betrieb Digitale Archivierung Digitale Dossiers aus GEVER Daten aus relationalen Datenbanken Datei-Sammlungen Ab 2009 wird ein Standard-Archivierungsprozess für digitale Unterlagen etabliert Das BAR ist ein zuverlässiger Partner für die digitale Archivierung und den nachhaltigen Zugang zum Archivgut Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 8 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Schwerpunkt Realisierung ARELDA Aktenführende Ämter Gever Systeme Bundesarchiv Benutzer Management Archiv Schnittstellen Gever für BAR Planungstool analoge Unterlagen Archiv Information Management Office Automation ERP Systeme Findmittel AIS Suchen Verzeichniseinheiten Akzessionen Dossierinformationen etc. in der Archivtektonik Themenorientiertes Suchen (DWH) Textorientiertes Suchen (Search Engine) Zugang Replikation Gever Aufbereitung Gever Öffentlichkeit Magazin andere digitale Unterlagen Digitales Magazin Textdokumente Präsentationen Bilder Tonaufnahmen Preservation Planning Aufbereitung Dokumente GIS Metadata Data Management Dissipation Workbench Internet Portal Fachanwendungen Submission Workbench Digitales Magazin Analoges Magazin Zentrale Geverablage Metadata Fachanwendung DIR GIS ? Ingest Access Dokumenten Staging Datenbanken Aufbereitung Datenbanken Archival Storage AIP eMails IDC AIP IDC Ämter Digital Information Repository Datenbank Plattform (RDBMS, SQL-Tools) Administration Web Sites Intranet Portal Datenbanken WebSites ? Infrastruktur Digitale Archivierung Workflow/ Transaktionen Infrastrukturdienste Digitale Zertifikate IDA BAR Applikationslandschaft basic components Version 0.3 BAR_Applikationslandsschaft_20001119.vsd Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 9 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Mit ARELDA per 31.12.08 erreicht PackageHandler: Ein Werkzeug, um SIPs lesen, deren Metadaten editieren und im Fall von File Ablieferungen auch SIPs erstellen zu können. DIR: Eine Anwendung zur Einlagerung, Verwaltung und Auslagerung von SIPs in einem digitalen Archiv. Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 10 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Archivtaugliche Dateiformate Die vom BAR als archivtauglich definierten Dateiformate Textdaten (unstrukturiert) Druckbare Dokumente Tabellarische Daten Relationale Datenbanken Rasterbilder Audiodaten Videodaten TEXT PDF/A CSV SIARD TIFF WAVE MPEG/4 Merkblatt des BAR „Archivfachliche Dateiformate – Standards für die Archivierung digitaler Unterlagen“ (Stand: Juli 2007): http://www.bar.admin.ch/dienstleistungen/00516/00517/index.html?lang=de Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 11 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Pilotprojekt Dap – 2005 / 2006 Beratung & Bewertung Übernahme Bewirtschaftung (Zurück-) Vermittlung DAp: Datenbank Archivierungsprozess Zusammenarbeit mit verschiedenen Ämter (Schwerpunkt EJPD) Einsatz des Software-Prototyps SIARD Archivierung von relationalen Datenbanken: über 20 Datenbanken behandelt (inkl. Beratung) und davon 8 archiviert Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 12 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Pilotprojekte GAp – 2008 GAp: GEVER Archivierungsprozess Zusammenarbeit mit GS-EVD und Fabasoft Design und Prototyp der Archivschnittstelle für Fabasoft Zusammenarbeit mit BIT: Design der Archivschnittstelle für GEVER Office 2007: Proof of Concept Projekt: Zusammenarbeit mit ISB Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 13 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Zur Orientierung GEVER Programm des Bundes und die digitale Archivierung im BAR SIARD Format und SIARD Suite für die Archivierung von relationale Datenbanken Digitale Archivierung im BAR – Ausblick 2009 Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 14 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Archivierung von relationalen DB Heutzutage werden in der schweizerischen Bundesverwaltung Fachanwendungen hauptsächlich mit relationalen Datenbanken eingesetzt Das Schweizerische Bundesarchiv hat eine normative Beschreibung eines Datenformat für die langfristige Erhaltung von relationalen Datenbanken entwickelt – SIARD Format Das SIARD Format wurde im Mai 2008 als das offizielle Format des EU-Projektes Planets angenommen: www.planets-project.eu Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 15 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Das SIARD Format Das SIARD Format ist nur das Langzeitspeicherformat für eine spezielle Sorte von Datenbanken – von relationalen DB Es ist unabhängig von Paketstruktur wie SIP (Submission Information Package), AIP (Archival Information Package) und DIP (Dissemination Information Package) des OAIS Modells Eine DB im SIARD Format kann als Teil eines Archivpakets zusammen mit anderen Unterlagen (Dokumentation, Datenmodell, etc.) archiviert werden Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 16 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Das SIARD Format Das SIARD Format beruht im Wesentlichen auf den ISO Standards SQL:1999, XML und UNICODE sowie dem Industriestandard ZIP Eine im SIARD Format archivierte relationale DB wird als eine einzige Datei abgelegt – als ein einziges unkomprimiertes ZIPArchiv (ZIP) Sämtliche DB-Inhalte werden in einer Kollektion von XML-Dateien gespeichert. Einzige Ausnahme sind grosse BLOB- und CLOBDaten, die in separaten binären Dateien gespeichert aber in den XML-Dateien referenziert werden Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 17 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Archivierung von relationalen DB Wenn Struktur und Inhalt einer DB ins SIARD-Format übersetzt werden, wird es später jederzeit möglich sein, auf die DBDaten zuzugreifen, selbst wenn die ursprüngliche DB-Software nicht mehr verfügbar oder nicht mehr lauffähig sein wird Im Rahmen des Projektees ARELDA wurde die Anwendung SIARD Suite entwickelt, welche Inhalte relationaler Datenbanken archiviert Das offene SIARD-Datenbankformat kann unabhängig von der Anwendung SIARD Suite verwendet werden Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 18 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Das SIARD Format und die SIARD Suite SiardFromDb (upload) SIARD Suite SiardEdit (examine and edit meta data) SiardToDb (download) DB SIARD file Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 19 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Voraussetzungen SIARD Suite ist platformunabhängig Lauffähig unter Windoms, Linux, Mac… Korrekt installiertes JAVA 1.5 und höher Installation SIARD Suite kann jederzeit ab USB Stick, CD-ROM oder Netzwerklaufwerk gestartet werden Ohne spezielles Installationprogramm Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 20 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Voraussetzungen SIARD Suite ist vorzugsweise für die folgenden Datenbanktypen konzipiert & weitere… Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 21 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Beschränkungen SIARD Format unterliegt folgenden Beschränkungen: Die Grösse der SIARD Datei kann ca. 18 ExaBytes nicht überschreiten (ZIP64-Beschränkung) Die Anzahl der Dateien kann ca. 4 Milliarden nicht überschreiten (ZIP64-Beschränkung) Die Gesamtheit der Metadaten der DB muss im JAVASpeicher Platz haben Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 22 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Zur Orientierung GEVER Programm des Bundes und die digitale Archivierung im BAR (Programm ARELDA) SIARD Format und SIARD Suite für die Archivierung von relationale Datenbanken Digitale Archivierung im BAR – Ausblick 2009 Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 23 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Digitale Archivierung – Ausblick 2009 Projekt ARELDA wird im Sommer 2009 abgeschlossen Æ Betriebsorganisation „Dienst Digitale Archivierung“ etabliert Stabilisierung und Weiterentwicklung der IT Lösung und Ausbau des Vermittlungsteils September 2009: Durchführung der 1. Ausbildung digitale Archivierung für die BV: http://www.bar.admin.ch/dienstleistungen/00516/00714/index.html?lang=de Mai - Dezember 2009: Durchführung einer Veranstaltungsreihe zum Thema digitale Archivierung: http://www.bar.admin.ch/aktuell/00568/00781/index.html?lang=de Vorstudie Archivierung von GIS-Daten (Zusammenarbeit mit Swisstopo; Abschluss im Oktober 2009) Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 24 Eidgenössisches Departement des Innern EDI Schweizerisches Bundesarchiv BAR Ressort Innovation und Erhaltung Danke für die Aufmerksamkeit! Archivierung von relationalen Datenbanken – Lösungsansätze des BAR St. Gallen, 28. April 2009 – Dr. Krystyna W. Ohnesorge, BAR 25
