Splunk> Overview

Splunk> Overview
Michele Besecke
[email protected]
Agenda
Wer ist Splunk?
Warum Splunk?
Was ist Splunk?
Architektur & Integration Universal Indexing erklärt
Copyright © 2011, Splunk Inc.
2
Listen to your data.
Wer ist Splunk?
Unternehmensdaten
Gründung
Firmensitz
Mitarbeiter
Niederlassungen
Kunden
Anwender
2004
San Francisco, CA
430++ (Nov. ‘2011)
Nordamerika, EMEA, APAC
3.200++
100.000 in 78 Ländern
Copyright © 2011, Splunk Inc.
4
Listen to your data.
Meilensteine
Splunk 4.2 /4.3 Beta
Realtime Altering
Splunk 4.0
Beta Release
20.000 downloads
2005
2006
Splunk 3.0
Announces first
service provider: BT
350 customers
150.000 downloads
2007
Splunk 1.0 / 2.0
First OEM: CISCO
150 customers
75.000 downloads
Copyright © 2011, Splunk Inc.
2008
1.000+ customers
350.000+ downloads
2009
2010
3.000+ customers
800.000+ downloads
2011
Splunk SDK / Apps
APAC/ EMEA
Expension
Splunk 4.1
Realtime Monitoring
900 customers
300.000 downloads
2.000 customers
600.000 downloads
5
2012
....
Listen to your data.
Warum Splunk?
Splunk’s Mission
Sammeln, Indexieren und nutzen Ihre Maschinen
erzeugten IT-Daten,
zur Indentifizierung von Problemen, Risiken und
Chancen
um bessere Entscheidungen für IT und Business
zu treffen
Copyright © 2011, Splunk Inc.
Listen to your data.
einheitliche Anforderung – unterschiedliche Lösungen…
DB Management Systems Management
App Management
Network Management
Analytics
Unterschiedlichste Monitoring- und Analysewerkzeuge
Applikations
Copyright © 2011, Splunk Inc.
Databases
Network/Devices
Machines
8
Client/Desktop
Web
Listen to your data.
…eine Lösung die Ihre Daten korreliert…
DB Management Systems Management
App Management
Applikations
Databases
Copyright © 2011, Splunk Inc.
Network Management
Network/Devices
Machines
9
Analytics
Client/Desktop
Web
Listen to your data.
Splunk: Engine for Machine Data
Kein Schema
keine Adapter
keine Datenbank
Customer
Facing Data
Outside the
Datacenter
• Click-stream data
• Shopping cart data
• Online transaction
data
Logfiles
Windows
•
•
•
•
Registry
Event logs
File system
sysinternals
Linux/Unix
•
•
•
•
Configurations
syslog
File system
ps, iostat, top
Copyright © 2011, Splunk Inc.
Configs Messages
Traps
Alerts
Metrics
Virtualization
& Cloud
• Hypervisor
• Guest OS, Apps
• Cloud
Scripts
Changes
Applications
•
•
•
•
Web logs
Log4J, JMS, JMX
.NET events
Code and scripts
• Manufacturing,
logistics…
• CDRs & IPDRs
• Power consumption
• RFID data
• GPS data
Tickets
Databases
•
•
•
•
Configurations
Audit/query logs
Tables
Schemas
Networking
•
•
•
•
Configurations
syslog
SNMP
netflow
Listen to your data.
zentrale Sammlung aller relevanten Daten
Copyright © 2011, Splunk Inc.
11
Listen to your data.
Splunk: Operational Intelligence
Copyright © 2011, Splunk Inc.
12
Listen to your data.
Was ist Splunk?
Splunk Summary
Einzelsystem für Maschinendaten Analyse
– Ein Security-Information-Management System, das:
 Alle ASCII Daten sammelt
 Skaliert bis zu Terabytes von Daten pro Tag
 Alertings basierend auf Echtzeit- und historischen Daten
– Unterstützt Security-Event-Management mit Korrelation der Daten:
 Korrelieren Informationen zwischen / über Datentypen hinweg
(Splunk Common Information Model - CIM)
Copyright © 2011, Splunk Inc.
14
Listen to your data.
Splunk Summary (2)
Einzelsystem für Maschinendaten Analyse
– Suchen können nach einem Zeitplan ausgeführt werden, präsentieren Sie
die Ergebnisse in Reports und/ oder Dashboards
– Unterstuetzt rollen-basierte Zugriffskontrolle (nach Daten, Suchen und
Dashboard’s)
– On-demand content from Splunkbase.com
Copyright © 2011, Splunk Inc.
15
Listen to your data.
Unsere Kunden in D.A.CH - Auszug
Copyright © 2011, Splunk Inc.
16
Listen to your data.
Was ist Splunk nun genau?
“Google” für Ihre relevanten Daten
Splunk bietet Transparenz & Erkenntnisse über
alle betrieblichen Prozessen (IT+Business)
hinweg in Echtzeit
Copyright © 2011, Splunk Inc.
Software –Download und Installation in 5 Min.
Splunk liefert in Ihrer gesamten (IT-)Infrastruktur
für vielfältige Zwecke einen signifikanten
Mehrwert
17
Listen to your data.
Zentralisiert Daten aus allen Systemen
Universal Forwarder sendet Daten in Splunk
von entfernten Systemen
Liefert sichere, verteilte, und universelle Daten
von tausenden Endpunkten
Verbraucht minimale Systemressourcen
(1%-2%)
Indexing/Search
Server
Splunk Forwarders
Copyright © 2011, Splunk Inc.
18
Listen to your data.
Skaliert auf TB’ pro Tag und tausende Anwender
Automatisiertes Load-Balancing skaliert
Indexierung linear
Copyright © 2011, Splunk Inc.
Verteilte Suchen und MapReduce skalieren
Suchen und Berichte linear
19
Listen to your data.
Early Binding vs. No Binding
X
Transform
Parse
Early Binding:
SQL
RDBMS
Logformate ändern sich
Informationen können verloren gehen
Hoher Managementaufwand
Copyright © 2011, Splunk Inc.
20
Listen to your data.
Early Binding vs. No Binding
Index
Parse
No Binding:
Dateisystem
Logformate ändern sich
Informationen gehen nicht verloren
Geringer Managementaufwand
Copyright © 2011, Splunk Inc.
21
Listen to your data.
Splunk – bewehrter Ablauf
Kombinieren Sie AnwendungsPerformance-Daten und SecurityDaten zur Risikominderung
Individuelle Suchen und
anpassbare Dashboards und
Metriken für die kontinuierliche
Überwachung
Monitoring der Daten in Echtzeit /
operative Suchen und Alerts
Copyright © 2011, Splunk Inc.
Jeder mit einem Zeitstempel
versehen ASCII-Text
Mit Hilfe der ‘beyond Boolean’
Suchsprache
Verwenden Sie Meta-Daten, um
organisatorische Daten für Event
Kontext hinzuzufügen
Listen to your data.
Integration von Anwendern und Rollen
Integriert Authentifizierung mit LDAP und Active Directory.
LDAP, AD
Anwender und Gruppen
Problem Investigation
Splunk Flexible Rollen
Fähigkeiten & Filter
Manage
Indexes
Problem Investigation
Share
Searches
Save
Searches
Problem
Investigation
Manage
Users
NOT
tag=PCI
App=ERP
…
Teilen Sie LDAP & AD Gruppen flexiblen Splunk Rollen zu. Geben Sie Suchen als Filter an
Copyright © 2011, Splunk Inc.
23
Listen to your data.
Architektur und Integration
Splunk – Vier primäre Funktionen
Search und Reporting (Search Head)
Indexing und Search Services (Indexer)
Lokales & verteiltes Management (Deployment Server)
Datensammlung und Weiterleitung (Forwarder)
Eine Splunk Installation kann eine oder alle
Funktionen abbilden…
Copyright © 2011, Splunk Inc.
Listen to your data.
Horizontale Skalierbarkeit
Lastverteilte Suchen und Indexierung für gewaltige Skalierungen
Verteilte Suchen
Forwarder
Auto Load Balancing
Copyright © 2011, Splunk Inc.
27
Listen to your data.
Datenredundanz
Klonen der Daten in multiple Indexer um Single Point Fehler zu eliminieren.
Aktiv
Standby
Weiterleitung an Data Repository
Klonen der
Daten
Copyright © 2011, Splunk Inc.
28
Listen to your data.
High Availability
Kombiniert Lastverteilung und Klonen um HA in jeder Splunk Schicht sicher zu stellen.
Shared Storage
Verteilte Suchen
Verteilte Suchen
Klon-Gruppe 1 : Kompletter Datensatz
Klon-Gruppe 2 : Kompletter Datensatz
Klonen der Daten &
Lastverteilung
Copyright © 2011, Splunk Inc.
29
Listen to your data.
Universal Indexing Explained
Inside Universal Indexing
Automatisierte Ereignisabgrenzung
Automatisierte Erkennung der
Zeitstempel
…ermöglicht akkurate Suchen und
Trends über sämtliche Daten
Copyright © 2011, Splunk Inc.
31
Listen to your data.
Inside Universal Indexing
Segmentierung & und genaue Indexierung
jedes Ausdrucks
...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis
Copyright © 2011, Splunk Inc.
32
Listen to your data.
Extraktion von Wissen zur Suchzeit
Autamtisiert erkannte Felder
Anwenderdefinierte Felder
…ermöglichen statistische und präzise
Suchen innerhalb jeden Feldes
Copyright © 2011, Splunk Inc.
33
Listen to your data.
Live Demo