OSIRIS - Open Source IntegRation InfraStructure

Complex Event Processing
Sebastian Schmidbauer
18.01.2011
Cirquent im Profil
Kompetenzen
Zahlen
350
1748
1747
2000
1722
300
1800
1600
1515
250
200
1041
1400
1200
1180
1000
150
247
100
266
286
260
600
165
139
800
400
50
200
0
0
2003
2004
2005
2006
Umsatz in Mio. €
2007
2008
Mitarbeiter
Umsatzverteilung
Standorte
Deutschland
Hamburg
Köln
Frankfurt
.
.
.
Ettlingen
München (Zentrale)
.
..
.
..
Österreich
.
Wien
Schweiz
Zürich
Bern
UK
London
Birmingham
2008
Seite 2
Agenda
1
Motivation zu CEP
2
Einsatzgebiete für CEP
3
Realisierung von CEP am Beispiel von Esper
4
Fazit
Seite 3
Agenda
1
Motivation zu CEP
2
Einsatzgebiete für CEP
3
Realisierung von CEP am Beispiel von Esper
4
Fazit
Seite 4
Die Wal-Mart Story
?
| Seite 5
Seite 5
Was ist CEP?
Erkennen eines Vorgangs anhand verschiedener Ereignisse
?
!
Seite 6
Was kann/ermöglicht CEP im Allgemeinen?

Mustererkennung, d.h. Suchen nach bestimmten
zuvor definierten Eventkonstellationen (Complex
Events) auf multiplen Eventstreams in Echtzeit.

Einteilung der Messabschnitte in Fenster (Zeitfenster /
Längenfenster)

Algo Trading (Algorithmische Funktionen wie min, max, avg, etc.)
über Millionen von Events hinweg in Echtzeit.

Abgleich Messwerte mit historischen Daten
 Reagieren auf komplexe Situationen in Echtzeit
Seite 7
Abgrenzungen
Bekannt ist es (noch) nicht: CEP in der Gartner Hype Cycle
Sichtbarkeit
Web Services
BPM
CEP
SOA
Zeit
Technischer
Auslöser
Übertriebene
Erwartungen
Ernüchterung
Aufklärung
Produktivität
Seite 8
Agenda
1
Motivation zu CEP
2
Einsatzgebiete für CEP
3
Realisierung von CEP am Beispiel von Esper
4
Fazit
Seite 9
Anwendungsbeispiel: Fraud Case Management – Gartner Inc.

Kreditkartenbetrug im Internet ist mittlerweile viermal
so hoch wie im „Real Life“

Traditionelle Bekämpfungsmethoden sind meist
zeitaufwendig und ineffektiv, da große Datenmengen
bewältigt werden müssen

CEP ermöglicht Betrugsbekämpfung Online/Offline,
kundenübergreifend und in Echtzeit

Überwachung sämtlicher Transaktionen und Vergleich mit
bekannten verdächtigen Ablaufmustern und Verhaltensweisen

Sofortige Gegenmaßnahmen wie z.B. Transaktion ablehnen,
Konto sperren oder manuelle Nachverfolgung einleiten
Seite 10
Anwendungsbeispiel: Automatisierter Aktienhandel
Liegt der Preis einer Aktie über dem Durchschnitt der letzten zehn Sekunden?

Analyse riesiger Datenströme
bestehend aus einzelnen
Börseninformationen

Reagieren auf Kursschwankungen
in Millisekunden

Automatisiertes Ausführen von
Kauf- oder Verkaufsaktionen in
Echtzeit

Verwendung mathematischer
Algorithmen (Algo Trading)
Seite 11
Agenda
1
Motivation zu CEP
2
Einsatzgebiete für CEP
3
Realisierung von CEP am Beispiel von Esper
4
Fazit
Seite 12
Was ist Esper ?

Bei Esper handelt es sich um eine codehaus Implementierung einer CEPEngine

Die Esper Engine ist frei verfügbar

Eine EsperHA (High Availability) Version sowie diverse andere
kostenpflichtige Versionen können kommerziell erworben werden

Erhältlich für Java und .NET (Nesper)

http://esper.codehaus.org
Seite 13
Esper Architektur
Seite 14
Was bietet Esper ?

Eine an SQL angelehnte Event Processing Language (EPL) zur
Datenstromanalyse

Pattern Matching zur Mustererkennung

Einteilung der Messabschnitte in Fenster (Zeitfenster / Längenfenster)

Algorithmische Funktionen (Algo Trading)
 avg
 min
 max
 count
 etc.

Verarbeitung von POJO, Node oder Map Objekten
Seite 15
Die Esper EPL

Alle Events, die von der Esper Engine behandelt werden sollen, müssen zuerst
registriert werden

Auf ein unter dem Namen „Fonds“ registriertes Event kann anschließend
einfach über die EPL zugegriffen werden
select avg(price) from Fonds where isin = “LU0123456789“

Soll nach Ausführung eines EPL Statements eine Operation folgen, kann das
Statement mit einer Listenerklasse verknüpft werden. Ein Listener kann
beliebige Implementierungen enthalten
Seite 16
Datenströme

Die von der Engine behandelten Events werden in Streams abgelegt

Bei Insert Streams werden nur aktuelle Events an die Listener gemeldet

Bei Remove Streams werden sowohl die aktuellen als auch die ausscheidenden
Events an die Listener gemeldet
Seite 17
Längenfenster

Ein Längenfenster enthält eine
zuvor konfigurierte Anzahl an
Events
select min(price) from Fonds.win:length(5) where isin = “LU0123456789“
Seite 18
Zeitfenster

Ein Zeitfenster enthält alle Events
über eine konfigurierte Zeitspanne
select isin, count(*) as count from Fonds.win:time(4 sec)
group by isin output all every 4 seconds order by isin
Seite 19
Batch Fenster

Ein Batch Fenster übergibt nach
Eintreffen einer bestimmten Anzahl
Events (Length Batch) oder nach
Verstreichen einer bestimmten
Zeitspanne (Time Batch) alle
betroffenen Events an den Listener
select sum(amount) as amount from Order.win:time_batch(5 sec)
Seite 20
Joinen von Datenströmen

Zu Identifizierung von Eventkonstellationen, die
sich nicht nur auf einen Datenstrom beschränken,
können Joins über eine beliebige Anzahl von
Datenströmen definiert werden
select Stream1.*
from Stream1.win:time(1 min),
Stream2.win:time(1 min)
where Stream1.UserId = Stream2.UserId
Seite 21
Pattern Matching (Mustererkennung)
select * from pattern[every a=ObjectA ->
b=ObjectB -> c=ObjectC]
select * from pattern[not a=Order ->
b=OrderBestaetigung(orderid = a.orderid)
where timer:within(10 min)]]

Esper unterstützt verschiedene Patterns, die z.B. zur zeitlichen Steuerung oder
zur Reihenfolgekontrolle verwendet werden können
Seite 22
Agenda
1
Motivation zu CEP
2
Einsatzgebiete für CEP
3
Realisierung von CEP am Beispiel von Esper
4
Fazit
Seite 23
Fazit - CEP

CEP ermöglicht es, komplexe Sachverhalte „sichtbar“ zu machen

Eventbasierte Systeme können mittels CEP überwacht bzw. gesteuert
werden

CEP macht Geschäftsprozesse transparent

Mittels CEP können beliebig komplexe „reale“ Ereignisse modelliert und auf
die IT-Welt übertragen werden
Seite 24
Fazit - Esper

Der Open-Source-Kernel ist sehr ausgereift und erfüllt alle Anforderungen
an eine CEP Engine

Esper kann hinreichend generische Daten zur Weiterverarbeitung liefern

Esper kann gut und einfach in bestehende Anwendungslandschaften
integriert werden, da Open Source (Java, .NET)

Die Esper Modellierungssprache (EPL) ist einfach erlernbar und ähnelt sehr
der Datenbankabfragesprache SQL

Auch Nicht-IT-Experten ist es möglich, mit Esper komplexe Events zu
definieren
Seite 25
Kontaktdaten
Sebastian Schmidbauer
Senior Consultant
Cirquent GmbH
Königsbergerstr. 29
60487 Frankfurt a.M.
Telefon +49 69 97261-257
Fax +49 69 97261-70
Mobil +49 172 6968 791
[email protected]
www.cirquent.de
Seite 26