White Paper: Große Dateien und Volumes im BS2000/OSD
Werbung
Große Dateien und Volumes im BS2000/OSD Dateien / Volumes größer 32 GB Ausgabe Seiten Februar 2011 8 Im Datenbereich ist nach wie vor ein jährliches prozentuales Wachstum im größeren zweistelligen Bereich zu beobachten. Dieses Wachstum hat zum einen Auswirkungen auf die Dateigrößen, und zum anderen müssen die Daten auf Volumes / Magnetplattengeräten gespeichert werden. Die physikalische Kapazität von Magnetplatten liegt heute bei 1 Terabyte pro Magnetplatte (SATA II-Laufwerke in Symmetrix V-Max, ETERNUS DX400/DX8000 und CLARiiON CX-4). Eine weitere Steigerung in der Zukunft ist abzusehen. BS2000/OSD stellt sich diesen Herausforderungen, indem die Grenzen für Dateien und Volumes von zuvor 32 Gigabyte (bis BS2000/OSD V4.0) aufgehoben werden. Ab BS2000/OSD V5.0 unterstützt das BS2000 Dateien und Volumes mit einer Kapazität bis zu 4 Terabyte (4.000 Gigabyte). Seit BS2000/OSD-BC V6.0B werden nochmals größere Datenkonfigurationen unterstützt. Die maximale Anzahl der Dateien pro Pubset wurde verdoppelt, und der von einem Benutzer in einem SM-Pubset belegte Platz kann die bisherige Grenze von 4 TB überschreiten. Inhalt Zusammenfassung Einführung großer Objekte im Rechenzentrum Katalogerweiterung in BS2000/OSD-BC V6.0B Größere Datenkonfigurationen durch Katalogerweiterung Anzeige der aktuellen Katalogsituation Automatische Vergrößerung des Katalogs Anpassungen in den SW-Produkten DRV, JV, SCA, SHC-OSD und SPACEOPT Erweiterte Unterstützung großer SM-Pubsets in BS2000/OSD-BC V6.0B Unterstützung großer Dateien in Anwender-Programmen Grundlagen, Assemblerschnittstellen Höhere Programmiersprachen (Compiler), LMS, EDT Datenhaltungssysteme Dienstprogramme zur Unterstützung großer Dateien Ablauffähigkeit von Programmen in Konfigurationen mit großen Dateien BS2000/OSD-Softwareprodukte für Konfigurationen mit großen Dateien Große Volumes 2 3 3 3 4 4 4 4 5 5 5 6 6 7 8 8 White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 2 / 8 Zusammenfassung BS2000/OSD ermöglicht ab der Version 5.0 Pubsets zu definieren, die Volumes und Dateien größer 32 GB enthalten: große Volumes und große Dateien. Programme, die mit großen Dateien arbeiten sollen, müssen überprüft und bei Bedarf modifiziert werden: Für die Nutzung großer Dateien in Anwenderprogrammen stehen zwar seit OSD V1 entsprechend erweiterte Benutzerschnittstellen des DMS (Assemblermakros mit 4 Byte-Feldern) zur Verfügung; diese werden in den Anwenderprogrammen aber oftmals noch nicht verwendet. Auch die Semantik der Programme ist nun darauf auszurichten, Blockzähler u.ä. in 4 Byte-Feldern zu verarbeiten. BS2000/OSD bietet ab der Version 5.0 neue Sprachmittel auf JCL- und Programmebene an, um große Dateien gezielt anzusprechen. Programme in höheren Programmiersprachen, die große Dateien bearbeiten sollen, benötigen zur Produktion und zum Ablauf bestimmte neuere Versionen von C, COBOL, CRTE oder Java; C-Programme müssen darüber hinaus entsprechend modifiziert werden (Nutzung des 64-Bit-API). Das Datenbank-Management-System SESAM/SQL-Server unterstützt ab der Version V3.1B bis zu 64 Gbytes große Dateien unter BS2000/OSD ab V5.0. Das Datenbank-Management-System UDS/SQL unterstützt ab der Version V2.3B bis zu 128 Gbytes große Dateien unter BS2000/OSD ab V5.0. Die zurzeit aktuelle Oracle Database 10gR2 unterstützt auch im BS2000 so genannte „Bigfile Tablespaces“, die die im BS2000 mögliche Dateigröße von 4 TB voll ausnutzen können. In Konfigurationen mit großen Dateien sind Anwenderprogramme, die keine großen Dateien öffnen, in der Regel unverändert ablauffähig. In wenigen Fällen kann wegen des anderen Formats einiger Verwaltungsinformationen eine Anpassung erforderlich sein. Fujitsu stellt für BS2000/OSD-BC ab V5.0 eine vollständige Softwarekonfiguration seiner BS2000-Softwareprodukte bereit, die in einer Umgebung mit großen Dateien ablauffähig ist. Große Volumes können an S- , SX- und SQ-Servern an den über Fibre Channel angeschlossenen externen PlattenspeicherSubsystemen (Symmetrix, ETERNUS DX400/DX8000 und CLARiiON CX4) konfiguriert werden. Die Einführung großer Volumes auf Basis von BS2000/OSD ab V5.0 kann kompatibel erfolgen; es sind keine Anpassungen in Anwenderprogrammen erforderlich. Zur Erleichterung des Umstiegs auf große Dateien und große Volumes ist ein Handbuch „Dateien und Volumes größer 32 GB“ verfügbar, in dem der technische Sachverhalt umfassend beschrieben ist. Für dieses Handbuch wurde zur BS2000/OSD V8.0 ein neuer Stand aufgelegt. White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 3 / 8 Einführung großer Objekte im Rechenzentrum Die Einführung großer Objekte erfolgt über neue Pubsettypen. Es gibt zwei neue Klassen von Pubsets für große Objekte. Die erste Klasse erlaubt große Volumes, beschränkt aber die zulässige Dateigröße auf 32 GB. Diese Pubsets verhalten sich aus Anwendersicht nahezu wie konventionelle Pubsets. Sie sind jedoch erst ab OSD V5.0 importierbar. Die zweite Klasse erlaubt sowohl große Volumes als auch große Dateien. Große Objekte werden sowohl auf SF- (Single Feature) als auch auf SM-(System Managed) Pubsets angeboten, auf Privatplatten sind keine großen Objekte möglich. Die Eigenschaften eines Pubsets bezüglich großer Volumes und Dateien werden bei der Generierung des Pubset mit SIR-IP festgelegt und können nicht mehr in die Richtung weniger umfassender Unterstützung großer Objekte geändert werden. Bestehende Pubsets können mit dem Kommando /SET-PUBSET-ATTRIBUTES zu großen Pubsets ohne und mit Unterstützung großer Dateien hochgestuft werden. StandardPubsets LARGE-O BJECTS Pubsets (SM /SF) (SM /SF) LARGE-FILES-ALLO W ED=*FALSE LARGE-FILES-ALLO W ED=*TRUE Files < 32 G B V olum es < 32 G B Files < 32 G B,V olum es >=32 G B Files >= 32 G B,V olum es >=32 GB Der neue Operand LARGE-VOLUMES des Kommandos /SET-PUBSET-ATTRIBUTES gibt an, ob der Pubset Volumes > 32 Gigabyte enthalten darf. Mit der Angabe LARGE-VOLUMES=*ALLOWED(LARGE-FILES=*ALLOWED) werden sowohl große Volumes als auch große Dateien erlaubt. Dabei sind folgende Upgrades, und nur diese, möglich: Standard-Pubset -> Large-Objects-Pubset ohne große Dateien Standard-Pubset -> Large-Objects-Pubset mit großen Dateien Large-Objects-Pubset ohne große Dateien -> Large-Objects-Pubset mit großen Dateien Die Erweiterung der Dateikapazität erfolgt nur für Nicht-Pamkey-Dateien. Der Home-Pubset wird von der Unterstützung von Dateien größer als 32 GB ausgenommen. Katalogerweiterung in BS2000/OSD-BC V6.0B Größere Datenkonfigurationen durch Katalogerweiterung Jedes Pubset besitzt einen Katalog, in dem die Allokierungen der Dateien und die Jobvariablen in Katalogeinträgen hinterlegt sind (Dateikatalog TSOSCAT). Der Katalog eines Pubsets umfasste in den BS2000-Versionen V5.0 und V6.0A maximal 16184 4K-Blöcke bei Large-Object-Pubsets (bzw. 8192 4K-Blöcke bei konventionellen Pubsets). Dies entspricht ca. 120ooo - 160ooo Dateien / JVs (bzw. ca. 60ooo - 80ooo Dateien / JVs). Ist dieser Platz ausgeschöpft, so können keine neuen Kennungen mehr im Pubset eingerichtet werden. Auch kann für bereits existierende Benutzer das Neuanlegen oder das Vergrößern von Dateien scheitern. In der BS2000/OSD-BC V6.0B wurde die Größe des Katalogs verdoppelt. Genauer: Es erfolgte eine Erweiterung des Katalogs um 98% (15.808 zusätzliche Katalogblöcke für Volsets und SF-Pubsets). Im SM-Pubset zerfällt der Katalog in Teilkataloge. Jedes Volume Set besitzt einen Katalog für die Katalogeinträge der im Volume Set enthaltenen Dateien. Zusätzlich werden 3 Spezialkataloge für die Katalogeinträge der Privatplatten-/Band-Dateien, der Jobvariablen und der migrierten/nicht-allokierten Dateien des SM-Pubsets geführt. In BS2000/OSD-BC ab V6.0B können die SM-Pubset-Spezialkataloge erweitert werden, indem weitere Spezialkataloge dynamisch über ein zusätzliches Kommando (ADD-CATALOG-FILE) hinzugefügt werden. Maximal sind jeweils 100 Teilkataloge möglich. Für diesen erweiterten Katalog wurde zusätzlich zu den beiden bisherigen Katalogformaten "normal" und "large" (implizit, für Pubsets mit Objekten > 32 GB) ab BS2000/OSD-BC V6.0B ein drittes Format eingeführt: "extra large". Das Katalogformat "extra large" ist optional und zu den bisherigen Formaten nicht kompatibel, d.h., wird es für einen Pubset genutzt, so ist mit diesem White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 4 / 8 Pubset ein Rückstieg in eine ältere BS2000-Version nicht mehr möglich. Pubsets mit Katalogformat „extra large“ können in BS2000/OSD-BC < V6.0B nicht mehr importiert werden. Pubsets können beim Importieren oder beim Einrichten mit SIR in "extra large"-Pubsets konvertiert werden. Hinweis: Large-Objects-Pubsets für große Volumes oder große Dateien sind unabhängig von Pubsets mit Katalogformat „extra large“ einsetzbar. D.h. auch ein Pubset mit einem „extra large“ Katalog erlaubt standardmäßig keine großen Volumes und Dateien. Anzeige der aktuellen Katalogsituation Das Kommando SHOW-PUBSET-CATALOG-ALLOCATION gibt den Katalogtyp (normal, large, extra large), den Belegungsgrad pro Katalog (Nutzung/Dateigröße) und die Erweiterbarkeit pro Katalog aus. Automatische Vergrößerung des Katalogs Ist ein Katalog zu 90% belegt, nimmt das System automatisch eine Katalogvergrößerung vor, sofern das ohne Wechsel des Katalogformats möglich ist. Für Spezialkataloge im "extra large"-Format wird dann ein neuer Teilkatalog angelegt, wenn keiner der bereits existierenden Teilkataloge vergrößert werden kann. Anpassungen in den SW-Produkten DRV, JV, SCA, SHC-OSD und SPACEOPT Die Unterstützung des Katalogformats „extra-large“ erfolgt in den Produktversionen DRV ab V3.1 und SHC-OSD ab V5.0. Die Unterstützung einer 6-stelligen Anzahl von JVs erfolgt ab der Korrekturversion JV V14.0C. Für die Produkte SCA und SPACEOPT wurden mit BS2000/OSD-BC V6.0B zur Unterstützung des Katalogformats „extra large“ Korrekturversionen zur Verfügung gestellt: SCA V15.0B und SPACEOPT V3.0B. Erweiterte Unterstützung großer SM-Pubsets in BS2000/OSD-BC V6.0B Die maximale Größe eines Volume Set beträgt 4 TB, die maximale Gesamtgröße eines SM-Pubset damit 255 * 4 TB (Gut 1.000 TB). Ab der BS2000/OSD-BC V6.0B kann der von einem Benutzer in einem SM-Pubset belegte Platz die vorherige Grenze von 4 TB überschreiten. Hierzu wird das Kommando MODIFY-USER-PUBSET-ATTRIBUTES bei den Operanden PERM-SPACELIMITS, TEMP-SPACE-LIMITS und WORK-SPACE-LIMITS im Parameter TOTAL-SPACE um den Wert *UNLIMITED erweitert. Das Space-Kontingent des Benutzers wird beim Kommando SHOW-USER-ATTRIBUTES angezeigt. Bei SHOW-FILEATTRIBUTES wird der Speicherplatz in Einheiten zu tausend PAM-Seiten ausgegeben, wenn der bisherige Maximalwert von 4 TB überschritten ist. White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 5 / 8 Unterstützung großer Dateien in Anwender-Programmen Grundlagen, Assemblerschnittstellen Zur Unterstützung großer Dateien und großer Volumes werden mit BS2000/OSD-BC ab V5.0 innerhalb des Betriebssystems generell 4-Byte-Blocknummern und 4-Byte-Zähler für Datei- und Plattengrößen verwendet. Programme, die große Dateien bearbeiten sollen, müssen mit diesen 4-Byte-Feldern zurechtkommen. Zwar werden seit OSD V1 an allen Benutzerschnittstellen (FSTAT, UPAM) 4-Byte Blocknummern und Blockzähler verwendet, die Nutzung dieser Schnittstellenversionen kann aber nicht durchgängig vorausgesetzt werden. Außerdem können semantische Abhängigkeiten und Annahmen bestehen (Beispiel: In NK-ISAM wurde bisher eine 4-byte Blocknummer zur Darstellung spezieller Objekte verwendet.) Deshalb wird zur Einführung großer Dateien standardmäßig eine harte Strategie erzwungen. Es wird unterstellt, dass jedes Programm, das auf große Dateien zugreifen soll, daraufhin geprüft werden muss, ob es von seiner Semantik her mit großen Dateien zurecht kommt, um unbeabsichtigter Verfälschung von Daten vorzubeugen. Das System verhindert ein unkontrolliertes Überschreiten der 32 GB-Grenze, indem für die Eröffnung großer Dateien eine spezielle Funktion angeboten wird und genutzt werden muss. Sowohl an der OPEN-Schnittstelle als über die Kommandoschnittstelle /ADD-FILE-LINK bzw. die Programmschnittstelle FILE wird ein Parameter eingeführt, mit dem signalisiert werden kann, ob große Dateien zulässig sind. Höhere Programmiersprachen (Compiler), LMS, EDT Für Programme in den höheren Programmiersprachen C, COBOL und Java ist die Bearbeitung ( Lesen, Schreiben ) von Dateien >32 GB ab BS2000/OSD V5.0 möglich, wenn die Anwendung mit einer der folgenden Kombinationen von Compilern und Laufzeitsystem neu produziert wurde: Laufzeitsystem: C-Programm: COBOL-Programm: Java-Programm: CRTE ab V2.3C C/C++ ab C3.0C (nur C API (open64, ... ), kein C++ IOSTREAM) COBOL85 ab V2.2B, COBOL2000 ab V1.0 JENV ab V1.4 Alle Programme, die mit älteren Versionen von Compiler und/oder Runtimesystem oder mit anderen Compilern des BS2000 Programmiersystems erzeugt wurden, können keine großen Dateien (>32 GB) bearbeiten. Sie sind aber mit dieser Einschränkung nach wie vor ablauffähig, auch auf Systemkonfigurationen mit großen Volumes oder großen Dateien. Compilierung Sowohl die Sourcedateien der BS2000 Compiler als auch die direkt von ihnen erzeugten Ausgabedateien (Objektmodule, Listingdateien, Diagnosedateien, ... ) können keine großen Dateien sein; allenfalls Bibliothekselemente < 32 GB in einer Bibliothek > 32 GB. Die bisher für die einzelnen BS2000-Compiler geltenden Ressourcenbeschränkungen haben sich für BS2000/OSD V5.0 nicht geändert und gelten weiterhin. Der Ressourcenverbrauch bei der Compilierung eines Programms ist stark von der individuellen Programmausprägung abhängig und lässt sich nicht in allgemein gültigen Grenzwerten für Dateigrößen, Source- oder Listingzeilen etc beziffern. Im praktischen Einsatzfall treten Ressourcenengpässe bei den einzelnen Compilern schon sehr viel früher auf, als dass die bisherige maximale vom BS2000/OSD unterstützte Dateigröße von 32 GB auch nur annähernd erreichbar wäre. Beim Überschreiten von Ressourcenbegrenzungen werden von den einzelnen Compilern, wie zuvor schon, aussagekräftige Fehlermeldungen ausgegeben. LMS/PLAM, EDT, SHOW-FILE PLAM wurde mit V3.3A so erweitert, dass Bibliotheken große Dateien sein können. Bibliothekselemente unterliegen in ihrer Größe keiner zusätzlichen Einschränkung. LMS und LMSCONV wurden mit V3.3A bzw. V3.3B so erweitert, dass große Dateien als Elemente in Bibliotheken aufgenommen und als Datei wieder extrahiert werden können. EDT V16.6 und V17.0 im Kompatibilitätsmodus unterstützen eine maximale Dateigröße von < 26 GB und lehnen das Öffnen großer Dateien ab. Die EDT V17.0 kann im Unicodemodus große Dateien im physikalischen Modus bearbeiten. Dabei liest EDT die zu bearbeitendfe Datei stückweise in den Hauptspeicher ein. Der lesende Zugriff auf größere Dateien (auch Dateien > 32 GB) ist mit SHOW-FILE möglich. POSIX-Filesystem, NFS Große Dateisysteme und Dateien können mit POSIX ab A33 unter BS2000/OSD V4/V5 lokal auf dem BS2000 eingerichtet werden; d.h. lokal via ufs wird unter BS2000/OSD-BC V4.0 eine maximale Dateigröße von 32 GB-1 unterstützt, mit POSIX A33 unter BS2000/OSD-BC V5.0 unterstützt das lokale Dateisystem eine maximale Dateigröße von 1024 GB-1. POSIX A33 wurde mit Korrekturpaket 2/2002 im August 2002 freigegeben. NFS V3.0 unterstützt 64-Bit-Systeme mit großen Dateien. White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 6 / 8 Datenhaltungssysteme Die Produktivdaten der Kunden sind überwiegend in Datenbanken abgelegt. Die Datenbanken und Datenhaltungssysteme (SESAM, UDS, ORACLE, LEASY, GOLEM) unterstützen große Dateien soweit dies notwendig und sinnvoll ist. Bei großen Dateien ist zu berücksichtigen, dass die DB-Administrationstätigkeiten für Dateien dieser Größe entsprechend längere Zeiten benötigen (lange Sicherungsläufe und Recoveryzeiten) und den 24-Stunden-Betrieb belasten können. Diese Problematik kann für Daten auf Symmetrix-Speichersystemen dadurch entschärft werden, dass man Sicherung und Verarbeitung mit Hilfe von HSMS Concurrent COPY und den Symmetrix-Funktionen TimeFinder/Mirror (BCV) oder TimeFinder/Clone (Clone in HSMS V8.0B und BS2000/OSD-BC V7.0) parallelisieren kann. Dies wird z.B. bei der SESAM/SQL Online-Sicherung mit HSMS unterstützt. Auch UDS/SQL und Oracle erlauben eine Online-Sicherung unter Nutzung der Timefinder-Funktionalität der Symmetrix-Speichersysteme. Wenn eine solche Parallelisierung nicht möglich ist, kann ein Aufsplitten der Benutzerdaten auf mehrere Dateien sinnvoll sein. SESAM/SQL Beim Einsatz von BS2000/OSD ab V5.0 unterstützt SESAM/SQL-Server ab V3.1B den Zugriff auf Datenbankdateien, die bis zu 64 Gigabytes groß sein können. SESAM/SQL ab V4.0 erlaubt das Aufsplitten einer Tabelle auf bis zu 16 Partitionen. Da eine Partition bis zu 64 Gigabytes groß sein kann, kann eine Tabelle 1024 Gigabytes groß sein. Die Lieferfreigabe von SESAM/SQL V4.0 ist im Januar 2006 erfolgt. ORACLE Die zur Zeit aktuelle Oracle Database 10gR2 unterstützt auch im BS2000 so genannte „Bigfile Tablespaces“, die die im BS2000 mögliche Dateigröße von 4 TB voll ausnutzen können. Beim Einsatz früherer ORACLE-Versionen bestanden jedoch in der Praxis auch keine Engpässe, weil ORACLE die Tablespaces über mehrere Dateien verteilt und damit die einzelne Datei nicht in die Nähe der 32 GB-Grenze kommt. UDS/SQL Beim Einsatz von BS2000/OSD ab V5.0 unterstützt UDS/SQL ab V2.3B den Zugriff auf Datenbankdateien, die bis zu 128 Gigabytes groß sein können. Die Lieferfreigabe von UDS/SQL V2.3B erfolgte im Juli 2003. LEASY Bis auf weiteres keine Unterstützung großer Dateien. Die derzeitige Kapazitätsgrenze von 32 GB wird als ausreichend erachtet. GOLEM In der GOLEM V9.2 (Freigabe 7.2001) wurde die Kapazität der größten GOLEM-Datei (Z-Datei) von 8 auf 32 GB vervierfacht. Es ist nicht zu erwarten, dass Anwender in der nächsten Zeit an diese Kapazitätsgrenze stoßen werden. Dienstprogramme zur Unterstützung großer Dateien Für das Management und die Bearbeitung von Dateien stehen dem Systemverwalter und dem Anwender eine Reihe von Dienstprogrammen wie HSMS, ARCHIVE, PERCON, SORT, SPACEOPT,... zur Verfügung. Zur Unterstützung von Dateien/Volumes größer 32 GB wurden neue Versionen dieser systemnahen SW-Produkte angeboten. HSMS/ARCHIVE ab V6.0 Ab OSD V5.0 werden im BS2000 Dateien und Volumes >= 32 GB in eigens dafür attributierten Pubsets unterstützt. HSMS/ARCHIVE ab V6.0 stellen hierfür z.B. sicher, dass große Dateien nicht in kleineren BS2000-Versionen eingespielt werden können, große Dateien nur in den dafür vorgesehenen Behältern eingespielt werden, frühere HSMS-Versionen diese neuen Pubsets sicher behandeln können, die Eigenschaft "große Platte" sich nicht auf den Sicherungsbestand auswirkt, so dass kleine Dateien auf großen Platten wie zuvor (kleine Dateien auf kleinen Platten) behandelt werden können. PERCON ab V2.7 PERCON unterstützt große Dateien. Dies wird an der Eingabe-Oberfläche von PERCON nicht sichtbar; alle PERCONAusgaben von Satzzählern oder Blockzählern (in Meldungen oder auf *SYSOUT) sind von 8 Ziffern auf 16 Ziffern erweitert. SORT ab V7.8 SORT unterstützt große Dateien, d.h. Eingabedateien können >32 GB sein und SORT kann Ausgabe-, Arbeits- und Hilfsdateien > 32 GB anlegen. Seit V7.8B, Lieferfreigabe mit KP 2/2002, unterstützt SORT große POSIX-Dateien. SPACEOPT ab V2.0 SPACEOPT kann große Dateien sowie kleine Dateien auf großen Pubsets reorganisieren. White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 7 / 8 openFT ab V9.0 Die Unterstützung von Dateien > 32 GB erfolgte mit openFT V9.0 (Freigabe Februar 2004). Ab V9.0A ist es möglich, Dateien zu übertragen und mit File-Management zu verwalten, die bis zu 4TB groß sind. interNet Services/FTP ab V3.4 Die Unterstützung von Dateien > 32 GB durch FTP erfolgte mit interNet Services (INETSERV) ab V3.4 (Freigabe Januar 2011). Ab V3.4 kann FTP große Dateien übertragen. Ablauffähigkeit von Programmen in Konfigurationen mit großen Dateien Die Existenz von großen Dateien unter BS2000/OSD-BC ab V5.0 kann in bestimmten Fällen Auswirkungen haben auf Programme, die selbst direkt keine großen Dateien bearbeiten: Bei Verwendung alter Versionen (710, 800) der FSTAT-Schnittstelle führen auch Aufrufe mit teilqualifiziertem Dateinamen oder Wildcards zu Fehler, wenn sich in der Treffermenge Dateien >= 32 GB befinden. Die Varianten FSTAT 710/800 liefern bei Angabe der Operanden SHORT bzw. LONG als Ausgabe die Kataloginformation im Format der BS2000 V10.0. Die Extentliste und die Datenfelder für File-Size und Last-Page-Pointer werden bei der Ausgabe nur mit 3 Bytes dargestellt. Aufrufe dieser Varianten, die zu einem Überlauf der 3-Byte Datenfelder führen, werden zurückgewiesen (Returncode DMS0576). Zu beachten ist in diesem Zusammenhang, dass der Defaultwert der FSTAT-Schnittstellenversion VERSION=710 ist (aus Kompatibilitätsgründen). FSTAT ... Version=[ 710 | 800],...[ SHORT | LONG] Struktur des Katalogeintrags IDCE IDCEFSZ IDCELPP Filename IDCEX IDVT IDEE VSN LHP PHPPHP inkompatibel in Pubsets mit large_objects =*true , large _files_allowed =*true inkompatibel in Pubsets mit large_objects=*true, large_files_allowed=*false Um mit der Existenz von großen Dateien zurechtzukommen, müssen solche Programme auf eine höhere FSTAT-Version umgestellt werden bzw. eine bestimmte FSTAT-Parameterisierung realisieren. Dabei müssen neben der Schnittstelle gegebenenfalls auch Datenstrukturen im Programm umgestellt werden. Auch bei Programmen in höheren Programmiersprachen kann es Ausnahmen/Inkompatibilitäten für die Ablauffähigkeit bestehender Alt-Anwendungen in Konfigurationen mit großen Dateien in BS2000/OSD ab V5.0 geben, wenn das Programm Systemfunktionen nutzt, deren Schnittstellen sich zur OSD V5.0 geändert haben, wie z.B. beim DMS mit der Behandlung großer Dateien. So läuft z.B. die in C/C++ verfügbare Funktion system (systemkdo) mit einem FSTAT-Kommando, das eine große Datei in der Treffermenge enthält, auf einen Fehler, wenn im Laufzeitsystem beim Aufruf des /FSTAT eine alte Makroversion benutzt wird. Durch Neu-Binden mit CRTE ab V2.3C kann diese Laufzeit-Inkompatibilität beim Ablauf einer Alt-Anwendung behoben werden. White Paper ⏐ Ausgabe: Februar 2011 ⏐ Große Dateien und Volumes im BS2000/OSD Seite 8 / 8 BS2000/OSD-Softwareprodukte für Konfigurationen mit großen Dateien Um es Kunden zu ermöglichen, große Dateien anzulegen, stellt Fujitsu für BS2000/OSD-BC ab V5.0 eine vollständige Softwarekonfiguration bereit, die in einer Umgebung mit großen Dateien ablauffähig ist. Damit der Kunde überprüfen kann, ob seine spezifische Softwarekonfiguration bei Vorhandensein von großen Dateien im System ablauffähig ist, wurde für die BS2000-Produkte eine Klassifizierung eingeführt. Diese Klassifizierung wurde verbindlich im Handbuch „Dateien und Volumes größer 32 GB“, dem Migrationsleitfaden für den Umstieg auf große Dateien und große Volumes veröffentlicht. Es gibt folgende Klassen von Produkten: Klasse A Klasse B Klasse C Ein Programm ist in der Lage, große Dateien ohne Einschränkung zu verarbeiten. Dieses Verhalten wird als LARGE-FILES-fähig bezeichnet. Ein Programm ist zwar nicht auf die Bearbeitung großer Dateien und/oder ihrer Metadaten vorbereitet, ist aber in der Lage, entsprechende Zugriffe, die als fehlerhaft betrachtet werden müssen, definiert abzuweisen oder es erfolgen im Programm keine Zugriffe auf Dateien und ihre Metadaten. Dieses Verhalten wird als LARGE-FILES-kompatibel bezeichnet. Ein Programm ist nicht auf die Bearbeitung großer Dateien vorbereitet und ist auch nicht in der Lage, entsprechende Zugriffe definiert abzuweisen. Dieses Verhalten wird als LARGE-FILES-inkompatibel bezeichnet. Für Konfigurationen, die große Dateien enthalten, müssen LARGE-FILES-kompatible oder -fähige Programme vorausgesetzt werden. Die Klasse C (LARGE-FILES-inkompatibel) wird bei Produkten von Fujitsu nur für Produktversionen vergeben, zu denen es Nachfolgeversionen mit einer Klassifizierung A oder B gibt, sowie für Produkte, die bereits das Pflegeende erreicht haben. Große Volumes Große Volumes können an S- , SX- und SQ-Servern an den über Fibre Channel angeschlossenen externen PlattenspeicherSubsystemen (Symmetrix, ETERNUS DX400/DX8000 und CLARiiON CX4) konfiguriert werden. Die maximale Volumegröße beim Anschluss über Kanal Typ S beträgt dagegen ca. 27 GB bei CKD-Formatierung und knapp 32 GB bei FBA-Formatierung (Symmetrix DMX). Wenn beim Einsatz größerer Volumes die Last auf dem Volume entsprechend der größeren Datenmenge zunimmt, so sollten Vorkehrungen für ihre performante Bedienung getroffen werden: Zur Performancesteigerung (und Erhöhung der Datensicherheit) können externe Plattenspeicher-Subsysteme mit der Festplattentechnik RAID betrieben werden. Beim Einsatz großer Volumes wird RAID 5 oder besser RAID 1/0 empfohlen, dabei werden die Daten eines logischen Volumes über mehrere physikalische Platten verteilt (Striping). Zusätzlich wird auf S-Servern der Einsatz der BS2000/OSD-Funktion PAV (Parallel Access Volume) oder besser dynamisches PAV empfohlen. Durch PAV können die Platten-Ein-/Ausgaben parallelisiert werden. Für S-Server/FC ist dynamisches PAV für BS2000/OSD-BC ab V5.0C verfügbar seit KP 2/06. Bei SX/SQ-Servern/FC werden die Platten-Ein-/Ausgaben mittels RSC für Platten-I/Os standardmäßig parallelisiert. Die Funktion ist verfügbar für BS2000/OSD-BC ab V6.0B (enthalten in OSD/XC ab V2.0 seit KP 2/05). Die Kombination beider Maßnahmen: Betrieb mit RAID 5 / RAID 1/0 und Einsatz von PAV / RSC führt zu erheblichen Verbesserungen des TP- und Batch-Betriebs (bei Mehr-Task-Batch) sowohl hinsichtlich der I/O-Zeiten als auch bezüglich Durchsatz. Die Initialisierung eines großen Volumes mit BS2000/OSD ab V5.0 erfolgt mit VOLIN, durch VOLIN wird ein entsprechendes Attribut (LARGE_VOLUME) im Basis-Record des SVL abgelegt. Für die Einführung großer Volumes (ohne Große Dateien) wird eine weiche Migrationsstrategie gefahren: Große Volumes können ohne vorbereitende Maßnahmen kompatibel in ein System eingebracht werden. Bereits vorhandene Datenbestände können auch auf großen Volumes abgelegt und verarbeitet werden, ohne dass dafür Umstellungsaufwand oder Überprüfungen erbracht werden müssten. Ohne große Dateien wirkt sich eine Volume-Größe >= 32 GB nur auf die Physical Half Page Numbers (PHPs) aus, die an Benutzerschnittstellen so gut wie keine Rolle (Ausnahme: physikalische Allokierung) spielen und in keinem Fall durch Benutzerprogramme modifiziert werden können: Der FSTAT FORM=LONG toleriert bei Dateien auf großen Volumes den Überlauf von physical half pages (PHPs) in der Extentliste; nicht darstellbare PHPs erhalten den Wert X’FFFFFF‘. Dabei wird davon ausgegangen, dass eine Auswertung von PHPs in Benutzerprogrammen nie oder äußerst selten erfolgt. Unter diesen Randbedingungen kann die Einführung großer Volumes kompatibel, d.h. transparent für Anwenderprogramme erfolgen. Alle Rechte vorbehalten, insbesondere gewerbliche Schutzrechte. Änderung von technischen Daten sowie Lieferbarkeit vorbehalten. Haftung oder Garantie für Vollständigkeit, Aktualität und Richtigkeit der angegebenen Daten und Abbildungen ausgeschlossen. Wiedergegebene Bezeichnungen können Marken und/oder Urheberrechte sein, deren Benutzung durch Dritte für eigene Zwecke die Rechte der Inhaber verletzen kann. Weitere Einzelheiten unter ts.fujitsu.com/terms_of_use.html Copyright © Fujitsu Technology Solutions GmbH 2011 Herausgegeben durch: Barbara Stadler Telefon: ++49 89 62060 1978 Fax: ++49 89 62060 329 1978 [email protected] de.ts.fujitsu.com/bs2000 Partner login partners.ts.fujitsu.com
