Datenbanken - IFIS Uni Lübeck

Werbung
Datenbanken
Prof. Dr. Ralf Möller
Universität zu Lübeck
Institut für Informationssysteme
Marc Stelzner (Übungen)
Torben Matthias Kempfert (Tutor)
Maurice-Raphael Sambale (Tutor)
Architektur eines DBMS
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
2
Danksagung
•  Diese Vorlesung ist inspiriert von den Präsentationen
zu dem Kurs:
„Architecture and Implementation of Database Systems“
von Jens Teubner an der ETH Zürich
•  Graphiken wurden mit Zustimmung des Autors aus
diesem Kurs übernommen
3
Speicher: Platten und Dateien
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
4
Speicherhierarchie
• 
• 
• 
• 
• 
• 
CPU (mit Registern)
Cache-Speicher
Hauptspeicher
Flash-Speicher
Festplatte
Bandautomat
Kapazität
Latenz
Bytes
Kilo-/Mega-Bytes
Giga-Bytes
Giga/Tera-Bytes
Tera-Bytes
Peta-Bytes
< 1 ns
< 10 ns
20-100 ns
30-250 µs
3-10 ms
variierend
•  Zur CPU: Schnell aber klein
•  Zur Peripherie: Langsam aber groß
•  Cache-Speicher zur Verringerung der Latenz
5
Magnetische Platten / Festplatten
Magnetic Disks
rotation
Rotation
Spur
track
rotation
track
block
Block
block
arm
Arm
arm
sector
Sektor platter
sector
Magnetscheibe
platter
heads
Köpfe
heads
Photo: http://www.metallurgy.utah.edu/
Schrittmotor
positioniert
Arme
aufof of
steppermotor
motor
positions
array
AAstepper
positions
anan
array
bestimmte
Spur
disk
headsonon
the
requested
track.
disk
heads
the
requested
track.
•  Platters
Magnetscheiben
rotierenrotate.
ständig
I
(disks)
steadily
I
Platters (disks)
steadily
rotate.
•  Disks
Organisation
in Blöcke
I
aremanaged
managed
blocks:
system
I
Disks are
in in
blocks:
thethe
system
•  reads/writes
Transfer erfolgt
blockweise
(lesend
reads/writes
data
one
block
a time.
data
one
block
at
aattime.
und schreibend)
I
• 
I
Fall2008
2008
Fall
Systems
Group
— Department
of Computer
Science
ETH Zürich
Systems
Group
— Department
of Computer
Science
— ETH—
Zürich
Photo: http://www.metallurgy.utah.edu/
Magnetic Disks
10
10
6
Zugriffszeit
Konstruktion der Platten hat Einflüsse auf Zugriffszeit
(lesend und schreibend) auf einen Block
1.  Bewegung der Arme auf die gewünschte Spur
(Suchzeit ts)
2.  Wartezeit auf gewünschten Block bis er sich unter dem
Arm befindet (Rotationsverzögerung tr)
3.  Lesezeit bzw. Schreibezeit (Transferzeit ttr)
Zugriffszeit: t = ts + tr + ttr
7
Hitachi Travelstar 7K200 (für Laptops)
• 
• 
• 
• 
• 
4 Köpfe, 2 Magnetplatten, 512 Bytes/Sektor,
Kapazität: 200 GB
Rotationsgeschwindigkeit: 7200 rpm
Mittelere Suchzeit: 10 ms
Transferrate: ca. 50 MB/s
Wie groß ist die Zugriffszeit auf einen
Block von 8 KB?
8
Sequentieller vs. Wahlfreier Zugriff
Beispiel: Lese 1000 Blöcke von je 8 KB
•  Wahlfreier Zugriff:
–  trnd = 1000 ∙ 14.33 ms
•  Sequentieller Zugriff:
–  Travelstar 7k200 hat 63 Sektoren pro Spur, mit einer
Track-to-Track-Suchzeit von 1 ms
–  Ein Block mit 8 KB benötigt 16 Sektoren
–  tseq = ts + 1000 ∙ ttr + 16 ∙1000/63 ∙ ts,track-to-track
= 10 ms + 4.14 ms + 160 ms + 254 ms ≈ 428 ms
Einsicht: Sequentieller Zugriff viel schneller als wahlfreier
Zugriff: Vermeide wahlfreie I/O wenn möglich
Beobachtung: Wenn 428 ms / 14330 ms = 3% einer Datei
benötigt wird, kann man gleich die ganze Datei lesen
9
Performance Tricks
Tricks
zurplay
Performanzsteigerung
System
builders
a number of tricks to improve performance.
(track skewing)
track Spurverschiebung
skewing
Align
sector 0Sektor
of each
trackjeden
to avoid
Verschiebe
0 einer
Spur,
so dass delay
Rotationsverzögerung
rotational
during sequential
bei sequentiellem Abgriff minimiert wird
scans.
Anfrageplanung
request
scheduling (request scheduling)
Falls mehrere
Blockanfragen
werden müssen,
If multiple
requests
have to bebefriedigt
served, choose
the one that
wählethe
die smallest
Anfrage, die
diemovement
kleineste Armbewegung
bedarf
requires
arm
(SPTF: shortest
(SPTF: shortest positioning time first)
positioning
time first).
Einteilung in unterschiedliche Zonen (zoning)
zoning
Mehr
Sektoren
in den längeren
Spuren
Outer
tracks
are longer
than theäußeren
inner ones.
Therefore,
unterbringen
divide outer tracks into more sectors than inners.
10
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
14
Verbesserung der Festplattentechnologie
Latenz der Platten über die letzten 10 Jahre
nur marginal verbessert (≈ 10% pro Jahr)
Aber:
–  Durchsatz (Transferraten) um ≈ 50% pro Jahr verbessert
–  Kapazität der Festplatten um ≈ 50% pro Jahr verbessert
Daher:
–  Kosten für wahlfreien Zugriff über die Zeit hinweg
relativ gesehen immer bedeutsamer
11
Wege zur Verbesserung der I/O-Performanz
Latenzproblem kaum zu vermeiden
Aber:
–  Durchsatz kann recht leicht gesteigert werden
durch Ausnutzung von Parallelität
–  Idee: Verwende mehrere Platten und
greife parallel auf Daten zu
TPC-C: Ein Industrie-Laufzeittest für OLTP (V5.11)
Kennzeichen des im Jahre 2013 besten Systems (Oracle 11g auf SPARC T5-8 Server):
•  Server-CPU: SPARC T5 3,6 GHz, #Prozessoren: 8, #Kerne (total): 128
•  Client-CPUs: Intel Xeon E5-2690 2,9 GHz, #Clients: 8, #Proz. 32, #Kerne: 256
•  In der Summe 8,5 Mio Transaktionen pro Minute
•  Kosten: $4.663.073 USD
http://www.tpc.org/tpcc/results/tpcc_perf_results.asp
12
Spiegelung von Festplatteninhalten
Disk Mirroring
data onto von
multiple
disks auf mehrere Platten
• Replicate
Replizierung
Daten
I
1 2 3 4 5
6 7 8 9 ···
1 2 3 4 5
6 7 8 9 ···
1 2 3 4 5
6 7 8 9 ···
•  I/O-Parallelität nur für Lesezugriffe
I I/O parallelism only for reads.
•  Erhöhte Fehlertoleranz (überlegt Plattenfehler)
I Improved failure tolerance (can survive one disk failure).
I• This
also known
as RAID 1(Spiegelung
(mirroring without
parity).
Alsis RAID1
bekannt
ohne
Parität)
(RAID:
Redundant
Array of Array
Inexpensive
Disks)
(RAID:
Redundant
of Inexpensive
Disks)
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
17
13
Speicherung mit Streifenbildung
Disk Striping
•  IVerteilung
derover
Daten
Distribute data
disks auf mehrere Platten
1 2 3 4 5
6 7 8 9 ···
1 4 7 ···
2 5 8 ···
3 6 9 ···
•  IVolle I/O-Parallelität
Full I/O parallelism.
•  IHohe
Fehlerrate
(hier:
dreimal
höheres
Ausfallrisiko)
High failure
risk (here:
3 times
risk of single
disk failure)!
Also known
as RAIDbekannt
0 (striping (Streifenbildung
without parity).
•  IAuch
als RAID-0
ohne Parität)
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
18
14
Streifenbildung mit Parität
Disk Striping with Parity
I Distribute
•  Verteile
Daten
und
Paritätsinformation
data and
parity
information over disks. über Platten
1 2 3 4 5
6 7 8 9 ···
1 3 5/6 7 · · ·
2 3/4 5 8 · · ·
1/2
4 6 7/8 · · ·
•  Hohe
I/O-Parallelität
I High I/O parallelism.
•  Fehlertoleranz:
Eine
ohne
I Fault tolerance: one
diskPlatte
can fail kann
withoutausfallen,
data loss (two
disks dass
with dual
parity/RAID
6).
Daten
verloren
gehen
I Also known as RAID 5 (striping with distributed parity).
•  RAID-5 (Streifenbildung mit verteilter Parität)
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
19
15
Solid-State Disks als Alternative zur Festplatte
Anpassung von Datenbanken auf Geräteeigenschaften ist
immer noch Forschungsgegenstand
Quelle: Wikipedia Solid-State Disk
16
Netzwerk-Speicher ist kein Flaschenhals
•  Durchsatz Festplatte: >500 MB/s (Serial ATA)
•  SDRAM: 50 Gbit/s (Latenz: ∼ ns)
•  Ethernet
–  100-Gbit/s heute (Latenz: ∼ µs)
–  400 Gbit/s erwartet in 2017
Warum also nicht Datenbank-Speicher über das Netzwerk
referenzieren?
17
Speichernetzwerk (Storage Area Network, SAN)
•  Block-basierter Netzwerkzugriff auf Speicher
–  Als logische Platten betrachtet
(Suche Block 4711 von Disk 42)
–  Nicht wie bei NFS (Network File System)
•  SAN-Speichergeräte abstrahieren von RAID oder
physikalischen Platten und zeigen sich dem DBMS als
logische Platten
–  Hardwarebeschleunigung und einfachere Verwaltung
•  Üblicherweise lokale Netzwerke mit multiplen Servern
und Speicherressourcen
–  Bessere Fehlertoleranz und erhöhte Flexibilität
18
Cloud-Speicher
•  Cluster von vielen Standard-PCs (z.B. Google, Amazon)
–  Systemkosten vs. Zuverlässigkeit und Performanz
–  Verwendung massiver Replikation von Datenspeichern
•  CPU-Zyklen und Disk-Kapazität als Service
–  Amazons „Elastic Compute Cloud (EC2)“
•  Kosten pro Stunde <10 Cent
–  Amazons „Simple Storage System (S3)“
•  Unendlicher Speicher für Objekte in einer Größe zwischen
1 Byte und 5 GB mit Key-Value-Struktur
–  Latenz: 100 ms bis 1s
•  Datenbank auf Basis von S3 entwickelt in 2008
M. Brantner, D. Florescu, D. Graf, D. Kossmann, T. Kraska, Building a database
on S3, Proceedings of the 2008 ACM SIGMOD International Conference on
Management of Data (SIGMOD '08), S. 251-264, 2008
19
Architektur eines DBMS
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
20
Verwaltung des externen Speichers
•  Abstraktion von technischen Details der Speichermedien
•  Konzepte der Seite (page) mit typischerweise 4-64KB als
Speichereinheiten für die restlichen Komponenten
•  Verzeichnis für Abbildung
Seitennummer à Physikalischer Speicherort
wobei der physikalische Speicherort
–  eine Betriebssystemdatei inkl. Versatz,
–  eine Angabe Kopf-Sektor-Spur einer Festplatte oder
–  eine Angabe für Bandgerät und -nummer inkl. Versatz
sein kann
21
Verwaltung leerer Seiten
Verwendete Techniken:
1.  Liste der freien Seiten
–  Hinzufügung falls Seite nicht mehr verwendet
2.  Bitmap mit einem Bit für jede Seite
–  Umklappen des Bits k, wenn Seite k (de-)alloziert wird
22
Aufgabe
Verwendete Techniken:
1.  Liste der freien Seiten
- Hinzufügung falls Seite nicht mehr verwendet
2.  Bitmap mit einem Bit für jede Seite
- Umklappen des Bits k, wenn Seite k (de-)alloziert wird
Zur Erhöhung des sequentiellen Zugriffs
sollten hintereinanderliegende Seiten
verwendet werden.
Welche Technik, 1. oder 2., würden Sie
wählen, um dieses zu unterstützen?
23
Architektur eines DBMS
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
24
Puffer-Verwalter
Buffer
Manager
•  buffer
Vermittelt
zwischen
The
manager
Seitenanforderungen
page
requests
6
3
1
Hauptspeicher
main
4
memory
disk page
free frame
freier
Seite
7
Rahmen
1
7
2
8
Fall 2008
3
4
5
6
9 10 11 · · ·
disk
Festplatte
externem
und internem
mediates between
external
Speicher
storage and(Hauptspeicher)
main memory,
manages a designated
main
• I Verwaltet
hierzu einen
memory area, the
buffer pool
besonderen
Bereich
im
for this task.
Hauptspeicher, den
Disk Pufferbereich
pages are brought
into pool)
(buffer
memory as needed and loaded into
•  Externe
Seiten in Rahmen
memory
frames.
des Pufferbereichs
laden
A replacement
policy decides
which
page
to evict when the buffer is full.
•  Verdrängungsstrategie
falls
Pufferbereich voll
I
Systems Group — Department of Computer Science — ETH Zürich
28
25
Schnittstelle zum Puffer-Verwalter
Funktion pin für Anfragen nach Seiten und
unpin für Freistellungen von Seiten nach Verwendung
•  pin(pageno)
–  Anfrage nach Seitennummer pageno
–  Lade Seite in Hauptspeicher falls nötig
–  Rückgabe einer Referenz auf pageno
•  unpin(pageno, dirty)
–  Freistellung einer Seite pageno zur möglichen
Auslagerung
–  dirty = true bei Modifikationen der Seite
Wofür
nötig?
26
Implementation von pin()
Implementation of pin ()
1
2
3
4
5
6
7
8
9
10
11
12
Function: pin(pageno)
if buffer pool already contains pageno then
pinCount (pageno)
pinCount (pageno) + 1 ;
return address of frame holding pageno ;
else
select a victim frame v using the replacement policy ;
if dirty (v) then
write v to disk ;
read page pageno from disk into frame v ;
pinCount (pageno)
1;
dirty (pageno)
false ;
return address of frame v ;
27
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
30
Implementation von unpin()
Implementation of unpin ()
1
Function: unpin(pageno, dirty)
2
pinCount (pageno)
if dirty then
dirty (pageno)
3
4
pinCount (pageno)
1;
dirty ;
Why don’t we write pages back to disk during unpin ()?
Warum werden Seiten
nicht gleich beim unpin
zurückgeschrieben?
28
Verdrängungsstrategien
Die Effektivität des Puffer-Verwalters hängt von der
gewählten Verdrängungsstrategie ab, z.B.:
•  Least Recently Used (LRU)
–  Verdrängung der Seite mit längszurückliegendem unpin()
•  LRU-k
–  Wie LRU, aber k-letztes unpin(), nicht letztes
•  Most Recently Used (MRU)
–  Verdrängung der Seite mit jüngstem unpin()
•  Random
–  Verdrängung einer
beliebigen Seite
Wann welche Strategie
einsetzen?
29
Pufferverwaltung in der Praxis
•  Prefetching
–  Antizipation von Anfragen, um CPU- und I/O- zu
überlappen
•  Spekulatives Prefetching: Nehme sequentiellen
Seitenzugriff an und lese im Vorwege
•  Prefetch-Listen mit Instruktionen für den Pufferverwalter
für Prefetch-Seiten
•  Fixierungs- oder Verdrängungsempfehlung
–  Höherer Code kann Fixierung (z.B. für Indexseiten) oder
schnelle Verdrängung (bei seq. Scans) empfehlen
•  Partitionierte Pufferbereiche
–  Z.B. separate Bereiche für Index und Tabellen
30
Datenbanken vs. Betriebssysteme
•  Haben wir nicht gerade ein Betriebssystem entworfen?
•  Yes
–  Verwaltung für externen Speicher und Pufferverwaltung
ähnlich
•  Aber
–  DBMS weiß mehr über Zugriffsmuster (z.B. Prefetching)
–  Limitationen von Betriebssystemen häufig zu stark für
DBMS (Obergrenzen für Dateigrößen,
Plattformunabhängigkeit nicht gegeben)
31
Datenbanken vs. Betriebssysteme
•  Gegenseitige Störung möglich
–  Doppelte Seitenverwaltung
–  DMBS-Transaktionen vs. Transaktionen auf Dateien
organisiert vom Betriebssystem (journalling)
–  DBMS Pufferbereiche durch Betriebssystem ausgelagert
–  DBMS schalten Betriebssystemdienste aus
•  Direkter Zugriff auf Festplatten
•  Eigene Prozessverwaltung
•  ...
32
Architektur eines DBMS
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
33
Datenbank-Dateien
Database
Files
I
I
I
So far we have talked about pages. Their management is
•  Seitenverwaltung
unbeeinflusst
vom Inhalt
oblivious
with respect to their
actual content.
•  the
DBMS
verwaltet
von Tupeln,
Indexstrukturen,
...
On
conceptual
level,Tabellen
a DBMS manages
tables of
tuples
and
(among
others). von Datensätzen (records)
•  indexes
Tabellen
sind Dateien
Such tables
arebesteht
implemented
as files
ofmehrerer
records: Seiten
–  Datei
aus einer
oder
I A file consists of one or more pages.
–  Jede Seite speichert eine oder mehrere Datensätze
I Each page contains one or more records.
–  Jeder
Datensatz
korrespondiert
I Each
record
corresponds
to one tuple. zu einem Tupel
file 0
free
file 1
page 0
page 1
page 2
page 3
free
page 4
Fall 2008
page 5
page 6
Systems Group — Department of Computer Science — ETH Zürich
page 7
37
34
Heap-Dateien
Heap Files
•  The
Wichtigster
Dateityp:
Speicherung
von
Datensätzen
mit
most important
type of files
in a database is
the heap
file. It
stores
records in no
particular order
(in line with,
e.g., SQL).
willkürlicher
Ordnung
(konform
mit SQL)
Linked list ofListe
pages von Seiten
Verkettete
header
page
data
page
data
page
···
data
page
pages w/
free space
data
page
data
page
···
data
page
full pages
+ easy tozu
implement
+ Einfach
implementieren
– most
pages will
in freeder
pagefreie
list Seiten
-  Viele
Seiten
aufend
derupListe
– might have to search many pages to place a (large) record
(haben
also noch Kapazität)
- Fall 2008
Viele Seiten
anzufassen bis passende Seite gefunden
Systems Group — Department of Computer Science — ETH Zürich
38
35
Heap-Dateien
Heap
Files
Directory
of pages
•  Verzeichnis
von Seiten
data
page
···
data
page
data
page
–  Verwendung als Abbildung mit Informationen über freie
I use as space map with information about free page
Plätze (Granularität ist Abwägungssache)
I granularity as trade-off space $ accuracy
+ Suche nach freien Plätzen effizient
(range from open/closed bit to exact information)
- Zusatzaufwand für Verzeichnisspeicher
+ free space search more efficient
– small memory overhead to host directory
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
36
39
Freispeicher-Verzeichnis
Welche Seite soll für neuen Datensatz gewählt werden?
•  Append Only
–  Immer in letzte Seite einfügen, sonst neue Seite anfordern
•  Best-Fit
–  Alle Seiten müssen betrachtet werden, Reduzierung der
Fragmentierung
•  First-Fit
–  Suche vom Anfang, nehme erste Seite mit genug Platz
–  Erste Seiten füllen sich schnell, werden immer wieder betrachtet
•  Next-Fit
–  Verwalte Zeiger und führe Suche fort, wo Suche beim vorigen
Male endete
37
Inhalt
einer Seite
Inside
a Page
Inside a Page
IDID
NAME
NAME
4711 John
John
4711
1723 Marc
1723
Marc
6381 Betty
6381 Betty
SEX
M
M
F
SEX
M
M
F
4 7 1 1 J o4h 7
n 1 1 J o hM n
1723M
arc
M
6
3
8
1
B
e t tMy 6
arc
F
F
identifier (rid):
• I record
Datensatz-Kennung
hpageno,
slotnoi
I record
(record
identifier,
identifier
(rid): rid)
I record position (within page):
hpageno,
•  Datensatz-Position
slotno
⇥ bytesslotnoi
per slot
(Versatz
auf (within
der Seite)
I record
I Tuple
position
page):
deletion?
record
shouldn’t
change
Slotno
xidbytes
Bytes
pro
Slot
slotno
⇥
per
slot
! slot directory (bitmap)
Datensatz
gelöscht?
I • Tuple
deletion?
slot
directory
I
no. of records
in this page
slot
directory
101
3 Header
– record
rid sollte
sich nichtchange
ändern
id shouldn’t
!– slot
directory (bitmap)
Slot-Verzeichnis
(Bitmap)
I
Fall 2008
M1723M
381Betty
Systems Group — Department of Computer Science — ETH Zürich
no. of records
in this page
42
101
3 Header
38
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
42
Inside aInhalte
Page—Variable-Sized
Fields Länge
einer Seite: Felder variabler
I
I
I
I
Variable-sized fields moved to
•  Felder variabler Länge zum
end of Ende
each verschoben
record.
I Placeholder points to
–  Platzhalter zeigt auf Position
location.
Warum?
I
Why?
•  Slot-Verzeichnis
zeigt auf
Slot directory
points
to start of
Start eines
Feldes
each•  record.
Felder können auf Seite
Recordsverschoben
can move werden
on page.
(z.B.
sichchanges.
Feldgröße
I E.g.,
if wenn
field size
ändert)
Create “forward address” if
•  Einführung einer
record won’t fit on page.
Vorwärtsreferenz, wenn
I
Future
updates?
Feld
nicht
auf Seite passt
4711 • MJohn?1723 • MM
arc?6381 • FBetty?172
3• • M T i m o t h y ?
forward
slot
directory
•
no. of records
in this page
•
•
3 Header
Was passiert bei Updates?
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
39
43
Alternative Seiteneinteilungen
Alternative Page
Page Layouts
Layouts
Alternative
We have just populated data pages in a row-wise fashion:
We
have just wurden
populated Datensätzen
data pages in a row-wise
fashion:
•  Im Beispiel
zeilenweise
angeordnet:
aa11
aa22
aa33
aa4
4
bb11
bb22
bb33
bb4
4
cc11
cc22
cc33
cc4
4
dd11
dd22
dd33
dd4
a1
b1
c1
a
b
c
1
1
c
d
a 1
c1 1 b d1 1 c a22 d
2
2
2
b
c
d
2
2
2
d
a
b
d22 c a33 d b3 3
c33
d33
a4
b4
a
b
4
c
d 4
c4 4
d4 4
page 0
page 0
4
c
c4 4
page 1
page 1
We could
could as
as well
wellAnordnung
dothat
thatcolumn-wise:
column-wise:
•  Spaltenweise
genauso möglich:
We
do
aa11
aa22
aa33
aa44
Fall2008
2008
Fall
bb11
bb22
bb33
bb44
cc11
cc22
cc33
cc44
dd11
dd22
dd33
dd44
aa1 1
aa33
aa44
aa22
aa3 3
bb1 1
bb3 3
bb4 4
page00
page
SystemsGroup
Group—
—Department
DepartmentofofComputer
ComputerScience
Science——ETH
ETHZürich
Zürich
Systems
bb2 2
bb3 3
· ·· ·· ·
page1 1
page
4444
40
Alternative Page Layouts
Alternative
Seitenanordnungen
These two approaches are also known as NSM (n-ary storage
model) and DSM (decomposition storage model).1
Vorgestellte
Schemata heißen auch:
I
Tuning knob for certain workload types (e.g., OLAP)
I
–  Row-Store
–  Column-Store
Different behavior with respect to compression.
Anwendungen
fürPAX
verschiedene
A• hybrid
approach is the
(Partition
Attributes
Accross)
Lasttypen
undlayout:
Anwendungs-
minipage 3
minipage 2
(z.B.
OLAP)
I kontexte
Divide each
page
into minipages.
• I Unterschiedliche
Group attributes into them.
Kompressionsmöglichkeiten
% Ailamaki et al. Weaving Relations for Cache
•  Kombination
möglich:
Performance.
VLDB 2001.
minipage 1
minipage 0
page 0
–  Unterteilung einer Seite in Miniseiten
1
Recently, the terms row-store and column-store have become popular, too.
–  mit entsprechender Aufteilung
Fall 2008
Systems Group — Department of Computer Science — ETH Zürich
Ailamaki et al. Weaving Relations for Cache Performance. VLDB 2001
45
41
Zusammenfassung
•  Kennzeichen von Speichermedien
–  Wahlfreier Zugriff langsam (I/O-Komplexität)
•  Verwalter für externen Speicher
–  Abstraktion von Hardware-Details
–  Seitennummer à Physikalischer Speicherort
•  Puffer-Verwalter
–  Seiten-Caching im Hauptspeicher
–  Verdrängungsstrategie
•  Dateiorganisation
–  Stabile Record-Bezeichner (rids)
–  Verwaltung statischer und dynamischer Felder
Architektur eines DBMS
Architecture of a DBMS / Course Outline
Applications
Anwendungen
Webformulare
Web
Forms
SQL
Interface
SQL-Schnittstelle
Parser
Parser
Operator
Evaluator
Operator-Evaluierer
Optimizer
Optimierer
Transaction
TransaktionsVerwalter
Manager
Lock
SperrVerwalter
Manager
Dateiverwaltungsund Zugriffsmethoden
Files
and Access
Methods
Buffer
Manager
Puffer-Verwalter
WiederRecovery
herstellungsManager
Verwalter
dieser Teil
des Kurses
this
course
Ausführer
Executor
Figure inspired by Ramakrishnan/Gehrke: “Database Management Systems”, McGraw-Hill 2003.
SQL-Kommandos
SQL
Commands
Disk Space
Manager
Verwalter
für externen
Speicher
DBMS
Dateien
für Daten
und Indexe. . .
data
files,
indices,
Fall 2008
Datenbank
Database
Systems Group — Department of Computer Science — ETH Zürich
3
43
Herunterladen
Explore flashcards