Tempo, Sicherheit und Komprimierung – Neue Möglichkeiten der

<Insert Picture Here>
Tempo, Sicherheit und Komprimierung – Neue Möglichkeiten
der LOBs mit ORACLE 11g SecureFiles
Nikolaus Eichler
STCC Düsseldorf , Oracle Deutschland GmbH
Informationsmanagement
• Informationen sicher und effektiv speichern
Strukturiert
SemiStrukturiert
XML
Unstrukturiert
PDF
• Häufig wurden unstrukturierte Daten aus Performance-Gründen in
Filesystemen gespeichert
Dateien und relationale Daten gehören
zusammen
• Unternehmensanwendungen manipulieren häufig Dateien und
relationale Daten gleichzeitig
• z.B. Dokumenten Management, Medizin-SW, CAD/CAM,
Imaging
• Diese Aufteilung gefährdet Sicherheit, Stabilität und
Administrierbarkeit
•
•
•
•
Komplizierte Sicherheits-/ Auditing Modelle
Keine ‘atomaren’ Änderungen möglich
Backup und Restore werden komplizert
Gleichzeitige Suche über Dateien und relationale Daten sind
inperformant
• Verschiedene Schnittstellen und Protokolle
• Platzverwaltung wird kompliziert
Oracle SecureFiles
• SecureFiles ist ein kein neuer Datentyp, sondern die
neue Implementierung eines bekannten Datentyps
• SecureFiles erweitert LOBs um Features wie
Verschlüsselung, Komprimierung, Deduplizierung und
bietet eine wesentlich bessere Performance
• SecureFiles erlaubt die Konsolidierung von
dateibasierten- mit relationalen Daten
• Einheitliches Security-Modell
• Einheitliche Datensicht
• Einheitliches Datenmanagement
Voraussetzung: ASSM-Tablespace
SecureFiles Schnittstellen
• SecureFiles ist 100% rückwärtskompatibel zu
ANSI SQL 92 LOB Interfaces
• SecureFiles können durch Datenbank-Clients und
Filesystem-Clients gleichermaßen angesprochen
werden
• Datenbank-Clients nutzen Standard-LOB Interfaces
• JDBC, ODBC, OCI, OCCI, .NET, PL/SQL
• Filesystem-Clients benutzen Standard-Protokolle
• FTP,
• WebDAV
• NFS V4 (preview)
Für Performance entwickelt
• Write Gather Cache
• Intelligentes Pre-fetching
• Neue Platzverwaltungsroutine
• No more High Water Mark contention as with old
LOBs
• Deletion and Reuse of entire LOBs not just individual chunks.
Hohe Performance
Insert Performance
Query Performance
100
1000
10
0.1
MB/s
MB/s
SecureFiles
Linux NFS
1
10
100
1000
10000
NFS 0.2254 2.4889 11.26 32.674 72.733
SF
0.4212 3.6011 10.881 33.448 74.117
SecureFiles
1
0.01
Linux Files
1
10
100
1000
10000
NFS 0.0782 0.9121 6.9089 26.669 52.315
SF
File Size (KB)
0.4737 8.2762 37.983 44.944 46.592
File Size (KB)
• Secure Files + Dateisystem Test
• Bis zu 2x schneller bei Abfragen, 6x bei Inserts
• Tests vergleichen SecureFiles- und NFS/ext3-Performance
(metadata journalling, default für NFS)
SecureFiles Skalierbarkeit: Concurrent
Writes, OCI, 4 Streams
Writes: nach Löschungen
SecureFiles
300
250
200
150
100
50
0
LOBs
0.01 0.1
1
File Size (MB)
10
100
MB/s
MB/s
Writes: Neue Datenbank
300
250
200
150
100
50
0
SecureFiles
LOBs
0.01 0.1
1
File Size (MB)
10
100
• INSERTS neuer Plattenplatz: Bis zu 2x schneller
• INSERTS auf gelöschte Segmente: Bis zu 22x schneller
SecureFiles Lösch-Performance
Sekunden
Single Stream Datei-Löschungen
2
Secure Files
1.5
LOBs
1
0.5
0
100
1000
10000
100000
Dateigröße, KB
• 100KB Dateien werden 70% schneller gelöscht
• 100MB Dateien werden 8x schneller gelöscht
SecureFiles Transparenz
• Securefiles sind für die Anwendung transparent
• Datentypen weiterhin BLOB/CLOB
• Definition in der Storage-Clause oder durch DB-Parameter
• Keine funktionalen Unterschiede
• Selbst “Deduplication" ist transparent für den Entwickler
• API-Zugriffe
PL/SQL (DBMS_LOB), JDBC, .NET, PHP, ... Bleiben gleich
SecureFiles Deduplication
• Mehrere Kopien von identischen SecureFiles werden als
einzige abgespeichert
• Schnellere Performance für Write und Copy Operationen
• Erhöht Performance für Lese Operationen
• Grosse Reduzierung beim Plattenplatzverbrauch
• Sehr gut geeignet für Dokumenten Management, Email
Archivierung etc.
Secure
hash
Advanced Features - Compression
Beispiele
• CREATE TABLE tbl1 (a BLOB)
LOB(a) STORE AS SECUREFILE ( COMPRESS [MEDIUM]);
• CREATE TABLE tbl2 (b BLOB)
LOB(b) STORE AS SECUREFILE ( COMPRESS HIGH );
Storage Optimierung
• Deduplication
• Viele Kopien identischer SecureFiles werden nur einmal
gespeichert
• Ideal für Dokumentenmanagement, Emai-Archivierung, etc.
• Compression
• Intelligent – Stellt automatisch fest, ob Daten komprimierbar
sind
• 2x to 3x durchschnittliche Kompressionsrate
• Verbessert Performance durch IO-Reduktion, Buffer Cache
Reduktion, verminderter Redo-Generation und reduziertem
Verschlüsselungs-Aufwand
Migration zu SecureFiles
•
Erfordert Tabellen-Rebuild
•
•
•
•
Kann auf Partitions-Level durchgeführt werden
Online Redefinition ist die bevorzugte Migrations-Technik
für SecureFiles:
Während der Migrationsphase wird NOLOGGING
empfohlen
Wenn die Zieltabelle partitioniert ist, kann die Online
Redefinition parallelisiert werden
Beispiel:
http://www.oracle.com/technology/obe/11gr1_db/datamgmt/securefile/files/mig_bf_to_sf.sql
SecureFiles auf Partitions-Level
Beispiel
CREATE TABLE tablename
( REGION VARCHAR2(20), col1 BLOB)
LOB(col1)
STORE AS SECUREFILE
PARTITION BY LIST (REGION)
(PARTITION p1 VALUES ('reg1','reg2')
LOB(col1) STORE AS SECUREFILE (COMPRESS),
PARTITION p2 VALUES (DEFAULT))
Advanced Features - Deduplication
Beispiele
• Deduplication für LOB aktivieren
CREATE TABLE docs (
col1 NUMBER PRIMARY KEY,
col2 BLOB NULL)
LOB(col2) STORE AS SECUREFILE
(DEDUPLICATE);
• Deduplication deaktivieren
ALTER TABLE docs MODIFY LOB(col2)
(KEEP_DUPLICATES)
SecureFiles - Verschlüsselung
Algorithmen
•
•
•
•
3DES168,
AES128,
AES192 (default)
AES256.
• SALT ist der Default
• NO SALT wird nicht unterstützt
Advanced Features - Verschlüsselung
Beispiele
• CREATE TABLE table1 (b BLOB ENCRYPT
USING ’AES256’)
LOB(b) STORE AS SECUREFILE;
• ALTER TABLE table1 MODIFY
LOB(a) ( ENCRYPT USING 'AES128');
Bilder, Dokumente und mehr ...
Oracle SecureFiles
• Securefile = Neue LOB-Storage-Technologie
• Bessere Performance
• Zusätzliche Features: Deduplication, Encryption
• Aktivierung durch Storage-Clause
CREATE TABLE LOBTEST(
LOBCOL BLOB
)
LOB (LOBCOL) STORE AS [SECUREFILE | BASICFILE]
[deduplication-params, encrypt-params]
• Zusätzlich: Init.ora-Parameter
DB_SECUREFILE =
[NEVER | PERMITTED | ALWAYS | IGNORE]
Limitierungen und Obsolete Parameter
• Kein Streams Support
• Die Parameter: PCTVERSION und FREEPOOLS
werden ignoriert
SecureFiles Zusammenfassung
Deduplication, Encryption, Compression, File System
Like Logging
• SecureFiles bieten Features, die es in Dateisystemen
nicht gibt
•
•
•
•
•
•
•
•
Transaktionen, Read Consistency, Flashback
Readable Standby, Consistent Backup, Point in Time Recovery
Fine Grained Auditing, Label Security
XML indexing, XML Queries, XPath
Real Application Clusters
Automatic Storage Management
Partitioning und ILM
Suche über Metadaten und Dateiinhalte
Support & Certification
Oracle Product
Status
Content DB (UOA)
Certified (11gR1)
Spatial
Certified (11gR1)
Multimedia
Certified (11gR1)
Oracle XML DB
NFS Support
Certified (11gR1)
Erwartet 11gR2
Active Data Guard
Certified (11gR1)
Logical Standby, Streams
(TBD)