Daten - SQL Saturday
Werbung
Azure SQL Database vs. Azure SQL DW Marcel Franke Our Sponsors Über mich – Marcel Franke VP Technology & Growth, pmOne Analytics GmbH Fokus ist Data Science & Advanced Analytics Sehr enge Verbundenheit mit der Universität Paderborn Büros in Paderborn & Wien P-TSP für Microsoft für das Thema Big Data & Analytics Web: www.pmoneanalytics.com E-Mail: [email protected] 4 5 6 8 9 Agenda • Einleitung • Architektur & genereller Aufbau • Tools & Entwicklungsumgebung • Skalierbarkeit & Workloads • Berechtigungen & Security • Hochverfügbarkeit, Backup & Restore • Kosten • Zusammenfassung ÜBERBLICK Visualize + Decide Applications Data Reports Dashboards Natural language query Mobile Modeling Machine learning Streaming Internal & external Transform + Analyze Orchestration Information management Complex event processing Capture + Manage The Microsoft data platform Relational Non-relational NoSQL DW vision & portfolio Choice. On-Premises Connected. Beyond relational Microsoft SQL Server Microsoft Analytics Hortonworks HDP Analytics Platform System SQL Server 2014 SQL Server 2016 Fast Track for SQL Server Analytics Platform System Azure Data Factory Federated Query Azure Machine Learning PowerBI Cloud Comprehensive. Relational Microsoft Azure Microsoft Azure SQL Server for DW in Azure VM Azure HDInsight Azure SQL Database Azure Data Lake Azure SQL Data Warehouse Document DB Spark Software-as-a-Service (SaaS) Datenbank als Service Infrastruktur managed by Microsoft Up & Running in Minuten Multitenant für verschiedene Szenarien möglich Nahezu lineare Skalierbarkeit Weniger Verwaltungsaufwand notwendig “Garantierte” Performance Gerantierte SLAs Preis orientiert sich rein am Nutzungsverhalten Scale up vs. Scale-Out (SMP vs. MPP) Quelle: http://cbblog.azurewebsites.net/content/images/2015/06/KB_Scale_Out-Up.png SQL DATABASE - ARCHITEKTUR SQL Database vs. SQL Server SQL Server auf physischen Maschinen auf on-premise virtuellen Maschinen (private cloud) auf Azure virtuellen Maschinen (public cloud) SQL Database (public cloud) Was ist der Unterschied zum SQL Server auf virtuellen Maschinen? SQL Server in einer Azure VM Geeignet für… Ressourcen Kostenvorteile Skalierbarkeit Azure SQL Datenbank SQL Database Server SQL Server als logische Organisationseinheit enthält mehrere Azure SQL Datenbanken regelt generellen Zugriff über IPs SQL DATA WAREHOUSE - ARCHITEKTUR Introducing Azure SQL DW Service A relational data warehouse-as-a-service, fully managed by Microsoft. Industries first elastic cloud data warehouse with proven SQL Server capabilities. Support your smallest to your largest data storage needs. Azure Azure Power of Integration Hadoop SQL Azure SQL Data Warehouse Azure SQL Database App Service Intelligent App Power BI Azure Machine Learning Positioning SQL DW • Cloud-based • Dev/test/exploratory (on-demand) • Local to cloud-born data • Supports hub & spoke approach for PaaS and IaaS offerings • Better than non-relational platforms for interactive reporting • Integrates with ADF, ML and other Azure services • License-free approach – designed as a service offering rather than an investment • Fast elastic scale up and down • Hybrid upsell and integration supports APS or on-premises investment Trennung von Compute & Storage Azure Compute Compute Compute Azure Blob Storage Control Compute Azure Blob Storage Compute Mirrored DC Azure SQL Data Warehouse Architecture Application or User connection DMS (Data Movement Service) executes across all database nodes Control Data Loading (SSIS, REST, OLE, ADO, ODBC, DMS WebHDFS, AZCopy, PS) Node Massively Parallel Processing (MPP) Engine DMS DMS SQL DB 100 DWU < > 2000 DWU DMS SQL DB SQL DB DMS SQL DB Compute Compute Compute Compute Node Node Node Node Azure Infrastructure and Storage Blob storage [WASB(S)] HDInsight Storage and Compute are de-coupled, enabling a true elastic service and separate charging for both compute and storage Compute Scale compute up or down when required (SLA <= 60 seconds). Pause, Restart, Stop, Start. Storage Add\Load data to WASB(S) without incurring compute costs SQL DATA WAREHOUSE VS. APS Analytics Platform System Microsoft’s big data appliance MPP SQL Server PolyBase Hadoop • Pre-built HW appliance • Massively Parallel Processing (MPP) to scale to 6 PBs • In-memory columnstore for 100x speed improvement • Dedicated region for Hadoop • PolyBase enables joining relational & non-relational data • Available from HP, Dell and Quanta • AU3/AU4 High-level comparison Supported table types APS Cloud-enabled SQL DW Cloud-based Distributed Replicated Round-robin Distributed Replicated Round-robin Cloudera HortonWorks HDInsight Cloudera HortonWorks HDInsight User defined Table value Scalar User defined Table value Scalar ETL/ELT SSIS DWLoader BCP SSIS DWLoader BCP Architecture MPP Shared nothing Scale unit hardware MPP Shared nothing SQL DB database instances GB TB PB GB TB PB Storage support Local/JBOD WASB(s) Azure Premium Local/JBOD WASB(s) Azure Premium Analytical integration OLAP/SSAS AA Suite/ML Third party OLAP/SSAS AA Suite/ML Third party Workload use case Governance Archive Dev/test Governance Archive Dev/test Predicate PushDown support Function support Data volumes Datenmodellierung SQL DW Daten werden automatisch verteilt Man muss sich über das Design des Datenmodells gedanken machen, nicht über die physikalische Verteilung Abfragen werden auch automatisch verteilt Aufpassen auf die Datenverteilung Faustregel: mindest. 600 distinkte Werte für Hash Disribution, sonst Round Robin Demo Time WIE LADE ICH DATEN? SQL Azure DB BCP, Bulk Insert, SQLBulkCopy Data sources Unstructured Semi-structured SQL Server Integration Services PaaS Structured Relational (RDBMS) SQL Azure Azure Data Factory SQL Data Warehouse BCP, Bulk Insert, SQLBulkCopy Data sources Unstructured SQL Server Integration Services Semi-structured PaaS SQL Structured Relational (RDBMS) Azure Data Factory Blob Store PolyBase Azure SQL Data Warehouse Polybase • Integrierter Zugriff auf Hadoop oder Blob Store via T-SQL • Integration von Semistrukturierten Daten • Interessant für Archivierungskonzepte • Hochparalleler Zugriff zwischen SQL DW & Hadoop / Blob Store / (Data Lake) • Ermöglicht kombinierte Abfragen TOOLS & ENTWICKLUNGSUMGEBUNG Admin & Monitoring Tools Azure Management Portal Performance Monitor Alerts SQL Server Management Studio Gewohnte Oberfläche Mehrere Datenbanken verwalten System Views master.sys.resource_stats user_db.dm_db_resource_stats Dev Tools Data Tools in Visual Studio REST Powershell T-SQL DAC Framework SSIS C# Ruby Python etc. Execution Pläne für SQL DW select * from sys.dm_pdw_exec_requests where status like 'Running' select * from sys.dm_pdw_request_steps where request_id like 'QIDxxxx' ORDER BY Step_index ASC Reporting Tools / Power BI SQL Server Reportinf Services Power BI Excel 3rd Party ODBC Konnektoren https://azure.microsoft.com/en-us/documentation/articles/sqldata-warehouse-integrate-power-bi/ Analytics – Cortana Analytics Suite SQL DATABASE - SKALIERBARKEIT DTU – Database Transaction Unit Abgeschlossene Transaktionen pro Sekunde 5 DTUs = 5 Transaktionen pro Sekunde 75% Lesen Schreiben CPU Auslastung 50% Speicher 60% Benchmark Überblick: https://azure.microsoft.com/enus/documentation/articles/sql-database-benchmarkoverview/ Einzeldatenbank Unterschiedliche Leistungsstufen innerhalb der drei Dienstebenen DTU vs. eDTU Zusammenfassung mehrerer Datenbanken Auslastung wird nach Bedarf verteilt Garantierte Mindestleistung Elastische Datenbankpools Drei Dienstebenen mit Angabe der maximalen Leistungen je Datenbank SQL DATA WAREHOUSE - SKALIERBARKEIT SQL Data Warehouse - Skalierbarkeit Rechenleistung / Memory skalierbar mittels DWU Scan/Aggregation für IP und CPU Laden für Netzwerkleistung und CPU Create Table as Select für CPU und Netzwerkleistung Speicherskalierbarkeit basierend auf Azure Blob Speicher Blob Größe Blob Anzahl Darf’s ein bisschen mehr sein? 100 DWU – 2000 DWU 3000 & 6000 DWUs über Support möglich --TSQL zum Anpassen der DWUs ALTER DATABASE Demo MODIFY (SERVICE_OBJECTIVE = 'DW2000'); DWU 100 1 Control Node 1 Compute Node 60 Distributions DWU 200 1 Control Node 2 Compute Nodes 60 Distributions in Summe 30 Distributions / Node Demo Time SQL DATABASE BERECHTIGUNGEN & SECURITY SQL Database - Sicherheit Schützen der Datenbank Schützen der Daten Schützen der Datenänderungen APP Azure SQL Database SQL Database - Berechtigungen Active Directory Integration Datenmaskierung in Echtzeit und dauerhaft Datenverschlüsselung für sensible Daten Monitoring der Zugriffe Table.CreditCardNo 4465-6571-78685796 4468-7746-38481978 4484-5434-68586550 SQL Datenbank Echtzeit Datenmaskierung SQL DATA WAREHOUSE BERECHTIGUNGEN & SECURITY Berechtigungen & Security Connection Security IP-& Firewall-Regeln, VPN Authentifizierung Aktuell SQL Authentifizierung, AD kommt Logins, Rollen & Berechtigungen Verschlüsselung Verschlüsselung der Daten in der Datenbank & Backups Verwendet Transparent Data Encryption (TDE) SQL DATABASE HOCHVERFÜGBARKEIT, BACKUP & RESTORE SQL Database - Backups Point-in-time Wiederherstellung Kein separater Service Wiederherstellung zu einem konkreten Zeitpunkt Automatische Datenaufbewahrung Modell Basic bis zu 7 Tage Modell Standard bis zu 14 Tage Modell Premium bis zu 35 Tage Regelmäßige interne Backups Wöchentliches Fullbackup Tägliches Differentialbackup Backup des Transaktionenlogs jede 5 Minuten SQL Database - Hochverfügbarkeit 99,99% Verfügbarkeit durch SLA Standard Geo-Replication mit einer Stand-by Kopie Aktive Geo-Replication mit bis zu 4 lesbaren Kopien SQL Database backups Georeplicated Restore from backup Azure Storage SQL DATA WAREHOUSE HOCHVERFÜGBARKEIT, BACKUP & RESTORE Backup & Restore Backup Snapshots der Datenbank mindestens alle 8 Stunden Snapshots sind 7 Tage verfügbar Derzeit keine weitere Backup-Funktionalität möglich Restore Restore aus Snapshots zu einem Zeitpunkt möglich Restore auch von gelöschten Datenbanken möglich Automatismen Automatisierbar via Power Shell oder Rest API SLAs derzeit noch nicht verfügbar (Preview) Demo Time SQL DATABASE - PREISE & SLAS SQL Database - Preise Basic, Standard & Premium Modell Geo-Replication möglich Support Pläne ab 25€ / Monat verfügbar Garantierte Verfügbarkeit von 99,99% SQL DATA WAREHOUSE – PREISE & SLAS SQL Data Warehouse - Preise Compute & Storage werden separate bezahlt Compute kann man pausieren Storage Kosten basieren auf Standard RA-GRS Page Blob Preise Zur Zeit noch kein SLA ZUSAMMENFASSUNG Zusammenfassung Microsoft mit SQL Database & SQL Data Warehouse zwei gute Angebote für Datenbank als Service Up & Running innerhalb von Minuten Skalierbarkeit bis in den Bereich von TB bereits möglich SMP & MPP funktionieren ein bisschen anders Support für Data Tools und Management Studio wird weiter ausgebaut Integration in andere Azure Services möglich (Data Factory, Power BI, Azure ML) Preis-Leistungs-Verhältnis ist unschlagbar How did you like it? Please give feedback to the event: http://www.sqlsaturday.com/494/eventeval.aspx to me as a speaker: http://www.sqlsaturday.com/494/sessions/ sessionevaluation.aspx Ressources SQL Server 2016 in 15 Minuten https://channel9.msdn.com/Series/SQLServer-2016-in-15-Minuten SQL PASS Austria Meeting Archive http://sdrv.ms/ZFVdnM Thank you!
