E-Mail-Archivierung bei GSI
4/13/2015
R.Thieme / GSI IT
-
1
• Motivation
• Anforderungen an eine E-Mail-Archivierungslösung
• PAM4Exchange
• Architektur und Funktionsübersicht
• Installation, Konfiguration und Betrieb
• Resümee und Ausblick
4/13/2015
R.Thieme / GSI IT
2
Motivation E-Mail-Archivierung
• Langfristige und sichere Aufbewahrung von Emails
• Rechtliche Aspekte wie Grundsätze zum Datenzugriff und zur
Prüfbarkeit digitaler Unterlagen (GDPdU)
• Reduzierung der Größe der Mailboxen und damit der Datenbanken
• schnelleres Restore (Service Level Agreement)
• Reduzierung der Dauer der Backups
• Speicherkosten
• Performancegewinn
• Keine Archivierung durch User in lokale PSTs (Outlook)
4/13/2015
R.Thieme / GSI IT
3
Archivierunglösungen
• Appliances
• Standalone-Lösung
• Archivierung im Rahmen eines Dokumentmanagementsystems
Archivierungsstrategien
• Journaling
• Serverseitige Archivierung
• Clientseitige Archivierung
4/13/2015
R.Thieme / GSI IT
4
Exchange Organisation GSI
Linux
MTAs
Internet
Outgoing /Incoming Mail (SMTP)
Outgoing Mail (SMTP)
Exchange 2003 active / passive Cluster
Mailbox Server
Backend
Node A
Heartbeat
OWAServer
Frontend
Mailbox Server
Backend
Node B
Exchange 2003 Organisation
ClientAccess
Non MAPI Clients
MAPI ClientAccess
MAPI Clients
(Outlook Clients
inside GSI)
4/13/2015
SAN Raid
HP MSA 1000
(Quorum
Logs
Mailboxdatabases)
Shared Storage
MailboxData:
4 Storagegroups
(15 Mailbox Databases)
ca 2300 Mailboxen
1,7 TB
R.Thieme / GSI IT
• Outlook Web Access
• Outlook RPC over Https (Admin IT)
• IMAP-Clients
• Macintosh-Clients
• PDA
• Blackberry
5
What we want: Exchange Server ..... Archive Server
Diskpool
Internet
E-Mail Archive Server
(mails older than n days, size > x Kb,...)
Linux
MTAs
Archive/Restore
Outgoing /
Incoming Mail
Outgoing Mail
Exchange 2003 active / passive Cluster
Mailbox Server
Backend
Node A
Mailbox Server
Backend
Node B
OWAServer
Frontend
Exchange 2003 Organisation
ClientAccess
ClientAccess
• Outlook Web Access
MAPI Clients
(Outlook Clients
inside GSI)
4/13/2015
• Outlook RPC over Https Non MAPI Clients
• IMAP-Clients
• Macintosh-Clients
• PDA
• Blackberry
SAN Raid
Shared Storage
R.Thieme / GSI IT
6
GSI-Anforderungen an Archivierungssoftware (1)
• Support Exchange 2003 / 2010
Keine Installation auf Exchange-Backend
• Server- und clientseitige Archivierung
• Archivierung von Mailboxen und Public Foldern
• Archivierung aufgrund von Policies (Alter, Grösse,...)
• Serverseitige Archivierung als zeitgesteuerte Jobs
• Restore archivierter Mails auf Exchangeserver
• Transparenter Zugriff auf archivierte Mails über
• Outlook, IMAP
• Outlook WebAccess (OWA)
• Mobiles, Blackberry
• Entourage
• Webinterface zum Zugriff auf archivierte Mails unabhängig von ExchangeServer
4/13/2015
R.Thieme / GSI IT
7
GSI-Anforderungen an Archivierungssoftware (2)
• Volltextsuche
• über Webinterface
• Outlook
• Archivierung
• mit Rechten und Eigenschaften der Exchange-Mailbox
• Single Instance , komprimierte Speicherung der Mails
• Erhalt der Mailbox-Ordnerstruktur
• Multilanguage Support
• Import einer Auswahl zu archivierender Mailboxen über Skript
• Export-Feature zur Migration in anderes DMS
• Direkter Import von PST-Dateien
• TSM-Unterstützung für Archivdaten
4/13/2015
R.Thieme / GSI IT
8
Produktangebote
• 7 Angebote
• nur 2 Produkte
• erlauben IMAP-Zugriff auf archivierte Mails
• erhalten die Mailbox-Ordnerstruktur bei der Archivierung
• davon wird eines wegen folgender Punkte nicht ausgewählt
• keine Übernahme der Mailbox-Rechte von Exchangeserver
• zu archivierende Mailboxen müssen auf Exchangeserver in
"Archivierungs"-Database liegen
 Entscheidung fuer PAM4Exchange von Heilig und Schubert (heute Metalogix)
4/13/2015
R.Thieme / GSI IT
9
PAM4Exchange:
Professional Archive Manager for Exchange:
• Archivierungssoftware für Mails,Attachments und andere Messageclasses
• Erhaltung der Ordnerstruktur der Mailbox
• Transparenter Zugriff für alle geforderten Clients
• Outlook-Addin "Archive, Restore, Delete, Search"
• HSM Single Instance Storage
• HSM PAM-Storage
• Volltextsuche
• PST-Importer
• Journalarchiv
• Offlinekopie der archierten Mails bei Bedarf
4/13/2015
R.Thieme / GSI IT
10
PAM4Exchange: Interaction of Components
IIS
https:
Mail Client
[email protected]
MAPI
Move attachments and
mails to PAM storage
(privileged user)
https:
IMAP
ActiveSync....
HSM-Service
SQL-Database
MAPI
Metadata
- Archive according
to rules
OutlookWebAccess
(OWA)
Archive Server
- Replace original mails
by link/shortcut to archive (PAMStorage)
Exchange Store
Forms
Exchange Organisation
4/13/2015
R.Thieme / GSI IT
11
PAM4Exchange: Functions
MAPI, IMAP, https,...
Client
Exchange Mailbox
https
PST
File
Archive-Server
PAM Service
EXCHANGEPAMws
FullTEXTFrom HSM
EXCHANGEPAMDirectArchiveWS
MAPI
Retrieve
Crawler
Archive
MAPI
PST
Importer
IIS
HSM
SQL
4/13/2015
R.Thieme / GSI IT
12
PAM4Exchange: Installation
Archiv-Server:
Installation IIS und SQL-Server
Installation PAM4Exchange
Exchange Backend Server (Mailbox-Server):
Superuser mit Zugriff auf alle Mailboxen in Active Directory anlegen
PAM4Exchange Outlook-Formulare verteilen
Exchange Frontend Server (Webaccess-Server (OWA)):
Installation PAM4Exchange OWA-Extension (Webformulare)
PST-Importer:
Installation PAM4Exchange PST Import auf Windows-Client mit Outlook 2003
Outlook-Addin (für clientseitige Archivierung und Suche):
Installation PAM4Exchange Outlook-Addin auf Windows-Clients
4/13/2015
R.Thieme / GSI IT
13
PAM4Exchange: Konfiguration
• Active-Directory PAM-Gruppen einrichten für User, deren Mails archiviert werden können
• PAM-Gruppen in PAM4Exchange bekanntmachen
• Synchronisation zwischen Active Directory und PAM4Exchange konfigurieren
• Serverseitige Archivierung:
• Jobs definieren, die für diese PAM-Gruppen Mails archivieren
• Kriterien festlegen (Alter, Grösse)
• evtl. Ordner von Archivierung ausschliessen
• Scheduling definieren
• Konfiguration
• Komprimierung von MSG-Files und Attachments
• Messageklassen zur Archivierung
• Retentiontime
4/13/2015
R.Thieme / GSI IT
14
PAM4Exchange: Vorgehensweise bei Archivierung
• Serverseitige Archivierung :
Der Archivierungsprozess prüft alle Mails der ihm zugeordneten PAM-Gruppe im Hinblick
auf die definierten Archivierungskriterien. Sind diese Kriterien erfüllt, wird ein
entsprechender Archivierungs-Request in eine Queue gestellt.
Ein zweiter Job arbeitet diese Archivierungs-Aufträge unabhängig davon sequentiell ab.
• Clientseitige Archivierung (Outlook):
Über das Outlook-Addin hat der User die Möglichkeit ausgewählte Mail zu archivieren,
wiederherzustellen oder im Archiv löschen
Diese Vorgehensweise ist jedoch aus Performancegründen nicht für eine grössere Anzahl
zu archivierender Mails geeignet (>50).
Für jede Mail wird ein RPC-Request an den Exchangeserver gestellt. Alle diese Requests
werden parallel abgearbeitet was die Performance des Exchangeservers deutlich
beeinträchtigen kann.
4/13/2015
R.Thieme / GSI IT
15
PAM4Exchange Enterprise Manager: Groups
4/13/2015
R.Thieme / GSI IT
16
PAM4Exchange Enterprise Manager: Jobs
4/13/2015
R.Thieme / GSI IT
17
PAM4Exchange Enterprise Manager: Mailboxes
4/13/2015
R.Thieme / GSI IT
18
PAM4Exchange: HSM Archive
4/13/2015
R.Thieme / GSI IT
19
PAM4Exchange aus Sicht der User
• Lesender Zugriff von Clients wie Outlook, IMAP, Entourage, PDA, Blackberry und
OutlookWebAccess ohne Modifikation der Clients
• Outlook Addin für "Archive, Restore, Delete, Search"
• Zugriff auf Web über https://mailarchive.gsi.de/archiveweb
4/13/2015
R.Thieme / GSI IT
20
Outlook
4/13/2015
R.Thieme / GSI IT
21
Outlook
4/13/2015
R.Thieme / GSI IT
22
IMAP-Client (1)
.
.
.
.
.
.
.
4/13/2015
R.Thieme / GSI IT
23
IMAP-Client (2)
4/13/2015
R.Thieme / GSI IT
24
IMAP-Client (3)
4/13/2015
R.Thieme / GSI IT
25
PAM4Exchange:Webinterface
4/13/2015
R.Thieme / GSI IT
26
PAM4Exchange: GSI-Erfahrungen
• PAM-Usergruppe
• Archivierung von Mails > 10 Kb und älter als 500 Tage
• "Erst-Archivierung" einzeln durchführen
• Serverseitige Archivierung nicht in festem Rhythmus
• Outlook-Addin bei Bedarf auf Client installieren
• Outlook-Formulare müssen in jeder Datenbank explizit über Outlook veröffentlicht werden.
• Outlook-User nachhaltig auf Performance-Probleme des Exchangeservers bei clientseitiger
Archivierung hinweisen!
• Die serverseitige Archivierung erhöht die CPU-Auslastung des Exchangeservers deutlich, hat aber
keinen bemerkbaren Einfluss auf die Server-Client-Kommunikation über MAPI (RPC-Latency)
4/13/2015
R.Thieme / GSI IT
27
PAM4Exchange: Ausblick
To Do:
- Installation PAM4Exchange V4.3 für Exchange 2010
- Import von vorhandenen PSTs zurück in Exchange-Postfach
- Archivierung von Mails eines speziellen Mailordners unabhängig
von Alter, Grösse etc des Inhalts
4/13/2015
R.Thieme / GSI IT
28
PAM4Exchange: Resümee
PAM4Exchange ist eine Archivierungssoftware die bis auf einen Punkt unsere Anforderungen erfüllt
Problem:
Exchange-Performance bei clientseitiger Archivierung
... wir installieren am 9.12.2010 PAM4Exchange Version 4.3 und wollten 1. 1 Quartal 2011
mit der Migration der Mailboxen auf Exchange 2010 beginnen
– schaun wir mal, wie es dann mit der Exchange-Performance aussieht.
4/13/2015
R.Thieme / GSI IT
29
4/13/2015
R.Thieme / GSI IT
30