PDF Profil deutsch

CURRICULUM VITAE PERSÖNLICHE DATEN Name Lars Francke Straße Thomas-­‐‑Mann-­‐‑Straße 8 PLZ + Ort Land Telefon Diplom Wirtschaftsinformatiker (FH) 22880 Wedel Deutschland 0172 / 4554978 E-­‐‑Mail mail@lars-­‐‑francke.de Homepage http://lars-­‐‑francke.de PROJEKTE & ARBEITSERFAHRUNG seit 01.2016 OpenCore GmbH & Co. KG, Wedel seit 02.2014 Cloudera, Palo Alto, USA Telekommunikationsunternehmen, Deutschland (seit Februar 2016) • Einrichtung von YARN Resource Pools • Troubleshooting & support Einzelhandelsunternehmen, Großbritannien (10.2015) • Einrichten von High Availability für Hue, Hive, Oozie und weiteren Services mit HAProxy • Backup & Disaster Recovery Plan und Implementation mit BDR & DistCP • YARN Resource Pool Konfiguration • Benchmarking • Spark Anwendungs debugging Co-­‐‑Founder und Partner bei OpenCore. OpenCore ist eine Beratungsfirma rund um die Themen Hadoop und Big Data. OpenCore bietet Beratung und Training an sowie spezielle Services rund im Open Source Software. Als „Certified Cloudera Consultant“ helfe ich im Auftrag von Cloudera EMEA Kunden von Cloudera. Dies umfasst Beratung sowie Implementation und Optimierung von Cloudera basierten Lösungen (CDH) inklusive Secure Hadoop mit Kerberos. Projekte: 1 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016 Finanzinstitut, Großbritannien (8.2015 – 9.2015) • Setup von Security auf zwei CDH Clustern o Active Directory Integration o Sentry • SSL/TLS Verschlüsselung • LDAP Authentifikation Finanzinstitut, Großbritannien (8.2015 – 3.2016) • Installation eines CDH 5.4 Clusters • Setup von Security mit Active Directory Integration Online Ticket-­‐‑ und Eventagentur, Deutschland (11.2014) • Installation eines CDH 5.2 Clusters (Ubuntu 14.04, einschließlich Spark auf YARN) • Integration des Firmen Active Directories um eine sichere Hadoop Umgebung zu gewährleisten. Softwarehersteller, Polen (9.2014) • Installation von CDH5 o Installation eines lokalen MIT KDC und Einrichten von Hadoop Security • Mitarbeiterschulung für Cloudera Manager • Integration von Pig in eine C++ Anwendung • Beratung rund um Best-­‐‑Practices für Hadoop Entwicklung Versicherungsvergleichsportal, Großbritannien (6.2014 -­‐‑ 7.2014) • Installation von CDH5 • Review und Optimierung der Konfiguration • Import bestehender MongoDB-­‐‑Datenbanken im BSON Format nach HDFS • Weiterverarbeitung der BSON-­‐‑Daten mit Hive, Impala und Pig, Transformation nach Avro und Parquet • Export der Daten zu einem SQL-­‐‑Server mit Sqoop Autoportal, Deutschland (5.2014) • Migration eines bestehenden CDH4 Clusters, der nicht mit Cloudera Manager installiert wurde auf Cloudera Manager • Upgrade von CDH4 auf CDH5 (inkl. Migration von MRv1 auf MRv2/YARN) • Einrichtung von Security mit Kerberos, Active Directory und Sentry • Optimierung einer Flume-­‐‑Architektur • Einrichtung und Demonstration von Hue, Oozie, Impala Telekommunikationsunternehmen, Belgien (3.2014 -­‐‑ 4.2014) • Zertifizierung eines bestehenden CDH4 Clusters • Upgrade von CDH4 auf CDH5 (inkl. Migration von MRv1 auf MRv2/YARN) • Review und Optimierung der Konfiguration • Erstellung und Implementierung eines Sicherheitskonzepts mit Kerberos, Active Directory Integration und Sentry Unternehmensberatung, Frankreich (2.2014) • Beratung bei Hardwareauswahl und Netzwerkdesign • Vorbereitung des Betriebssystems (CentOS) • Installation und Optimierung von CDH4 • Schulung der Mitarbeiter in Hue, Hadoop und Entwicklung von Hive UDFs 02.2016 Consist, Kiel • 2-­‐‑tägiges Hadoop Administrations/Operations Training 2 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016 02.2016 Anybet, Berlin • 01.2016 – 03.2016 Stadtwerke München, München • • • 12.2015 – 01.2016 Hadoop Beratung Wartung eines Hadoop Clusters in Amazon EC2 OTTO GmbH & Co. KG, Hamburg • • Spark Beratung Roche Diagnostics GmbH, Mannheim • • seit 05.2015 Allgemeine Spark & Hadoop Beratung P3 Communications, Aachen • 06.2015 – 01.2016 Installation eines CDH 5.4 Clusters o Setup von Security mit Active Directory Integration & Sentry LeanBI, Stettlen, Schweiz • 07.2015 Hadoop Beratung Cluster Review und Optimierung Euroclear, Brüssel, Belgien • 07.2015 Hadoop Beratung Cluster Review und Optimierung, Support und Architektur The ADEX, Hamburg • • 08.2015 Hadoop, HBase und Spark Beratung EXACTAG, Duisburg • • 10.2015 Einrichtung von SSL/TLS & Wire Encryption für einen Hortonworks HDP Cluster Einrichtung von Knox Hadoop Beratung Bundesrepublik Deutschland – Finanzagentur, Frankfurt • 10.2015 – 01.2016 PoC setup eines CDH 5.5 sowie eines HDP 2.4 clusters Integration von SAP Hana mit Hadoop * Allgemeine Beratung rund um Hadoop ING-­‐‑DiBa, Nürnberg • • • seit 10.2015 Hadoop & Hive workshop Beratung rund um das BRAIN Projekt (Neue BI Plattform) HBase, Hadoop, Spark, Realtime 3 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016 seit 04.2015 simpli.fi, Fort Worth, USA • • • • 04.2015 – 07.2015 T-­‐‑Systems Iberia, Barcelona, Spain & Deutsche Telekom, Bremen • • • 03.2015 – 01.2016 • • • • • Big Data/Hadoop Beratung rund um Architekturen und Tools für eine Real Time Bidding Anwendung (z.B. Modelle berechnen) Entwicklung eines Prototypen/Proof of Concepts in Java mit Dropwizard, Aerospike, RxJava und MongoDB Der Fokus liegt auf der Vorverarbeitung von Daten mit Hilfe von MongoDB und Aerospike und low latency Java Webanwendungen Setup des ELK-­‐‑Stacks (Elasticsearch, Logstash, Kibana) CartoDB, Madrid, Spanien • • Upgrade eines bestehenden CDH4 Clusters auf CDH5 Einführung von YARN Integration von Kerberos basierter Security advanced STORE, Berlin • 11.2014 Erstellung von Dokumenten, Beratung und allgemeine Hilfe zur Entscheidungsvorbereitung und -­‐‑überprüfung zu folgenden Themen: o HBase vs. Accumulo, Spark, SQL-­‐‑on-­‐‑Hadoop Lösungen o Backup und Hochverfügbarkeit von Hadoop Clustern o PaaS, IaaS, Bare-­‐‑Metal Deployments sowohl in einer privaten als auch in einer öffentlichen Cloud Entwicklung von Code für HBase basierte Projekte Beratung rund um Hadoop und Spark emetriq (ehemals xplosion Interactive), Hamburg • • • 09.2014 –
12.2014 Allgemeine Beratung und Schulungen rund um Hadoop & Spark Entwicklung von Spark Anwendungen und Hive UDFs für PoC-­‐‑Projekte Tableau & Spark Integration Installation eines Hadoop Clusters auf Microsoft Azure GfK SE, Nürnberg • seit 09.2014 Review einer geplanten, Hadoop basierten, Architektur um einen Oracle & Informatica basierten Data Warehouse und ETL Prozess abzulösen Beratung und Training rund um Hadoop, Spark, HBase, Talend Setup eines Hadoop Development Clusters SDG Consulting, Hamburg • • • • seit 01.2015 Beratung rund um Hadoop, Best Practices, Kafka Review einer Architektur basierend auf Kafka, Flume, Hadoop Review eines bestehenden Clusters in Hinsicht auf Best Practices, Performance Planung der Hardware eines Clusters aufgrund prognostizierter Datenmengen Big Data Beratung für eine skalierbare Lösung zur Vereinnahmung und Verarbeitung großer Mengen an Geodaten für die CartoDB Plattform Demonstration eines Prototypen mit Hilfe von Amazons Elastic MapReduce und dem Cloudera Director 4 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016 09.2014 –
10.2014 Land Resource Management Unit, JRC, Europäische Kommission, Ispra, Italien • • • • 05.2013 – 01.2015 Collins GmbH & Co. KG, Hamburg 10.2010 –
12.2013 Global Biodiversity Information Facility (GBIF), Kopenhagen, Dänemark Das Projekt begann mit dem Aufbau der Infrastruktur für das neu geformte BI Team sowie die Entwicklung von Anwendungen: • Auswahl der Hardware für einen neuen Hadoop Cluster • Installation des Betriebssystems (CentOS) und CDH4 • Einlesen von Daten externer Quellen (MySQL, Elasticsearch, MongoDB, CSV-­‐‑Dateien und andere) • Daten zur Abfrage mittels Hive, Pig, Impala, Scalding, Spark und anderer Tools aufbereiten und bereitstellen • PoC für eine Realtime Infrastruktur zur Clickstreamanalyse auf Basis von Storm, Kafka und Elasticsearch • Implementierung der Recommendation Engine auf Basis von Hadoop, Mahout, Elasticsearch und anderen Komponenten • Erstellung von Ad-­‐‑Hoc Analysen sowie regelmäßiger Reporte mittels Oozie • Upgrade von CDH4 auf CDH5 (inkl. Migration von MRv1 auf MRv2/YARN) • Migration des Clusters von CentOS zu Debian im laufenden Betrieb • • • • • • • 08.2010 –
09.2010 • • 03.2010 – 06.2010 Ablösung eines MySQL basierten Workflows zur Batchverarbeitung von Biodiversitätsdaten durch eine Hadoop basierte Lösung Installation von CDH3 mit Puppet Upgrade von CDH3 auf CDH4 und Migration des Clusters von Puppet zu Cloudera Manager (inklusive HBase und Solr) Management und Troubleshooting des Hadoop Clusters Hadoopschulung und -­‐‑training für Kollegen Einführung von Maven, Nexus, Jenkins und SonarQube Entwurf und Entwicklung eines Crawlers für Biodiversitätsdaten mit DiGIR, BioCASe, TAPIR und DwC-­‐‑A Adternity GmbH, Dortmund • Analyse und Konzeption eines DWH-­‐‑Ansatzes im Bereich Online-­‐‑Werbevermarktung auf Basis von Open-­‐‑Source-­‐‑Technologien, sowie Dokumentation, Ausarbeitung und Empfehlung einer Umsetzungsoption für die vom Projektanbieter vorgegeben Einsatzszenarien. Installation von CDH3 Umsetzung des Konzepts mittels Hadoop und Hive VZnet Netzwerke Ltd., Berlin • • • Upgrade eines bestehenden CDH4 Clusters auf CDH5 Review und Optimierung der Konfiguration Schulung der Mitarbeiter über Neuigkeiten in CDH5 Entwicklung von Hive UDFs und Queries zur Verarbeitung sehr großer Geodaten mit Hilfe der ESRI Spatial Framework for Hadoop Architektur von Projekten und hochskalierbaren Systemen rund um Geolocation für die StudiVZ Plattform Implementation mit Java (Jersey, Jackson) und Python Beratung rund um Hadoop und HBase 5 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016 IT SKILLS Kernkompetenzen • • Big Data (Hadoop Ökosystem) Softwarearchitektur und -­‐‑Entwicklung in Java Programmiersprachen • • • • Java Scala Python JavaScript Big Data • Langjährige Erfahrung (seit 2009) mit Hadoop, HBase und anderen Tools aus dem Umfeld (Oozie, Sqoop, Hive, ZooKeeper, Spark, etc.), Storm, Kafka, Cloudera CDH Elasticsearch Mitarbeit an diesen Projekten (Patches, Reviews, Mailinglisten) Hive Committer Teilnahme an wichtigen Konferenzen und Meetups zum Thema • • • • Details • • • • • Maven, Jenkins, SonarQube, Nexus Jersey (JAX-­‐‑RS), Jackson, Avro, Dropwizard, Play, Akka, diverse Apache und sonstige Bibliotheken und Frameworks HBase, PostgreSQL inkl. PostGIS, MySQL, Berkeley DB, Cassandra, MongoDB (inkl. Mongo-­‐‑Hadoop), Redis, SQL CentOS/RedHat im Speziellen sowie Linux im Allgemeinen, Puppet, Ansible, Foreman, Fabric, Logstash, Kibana, Graylog2, Ganglia, Graphite JIRA, Confluence, Fisheye, Crucible, Git, OpenStreetMap (OSM), RabbitMQ, Varnish, Vagrant, Docker, Kerberos 6 / 6 Profil – Lars Francke – Zuletzt aktualisiert am 4.4.2016