Data Engineering mit Microsoft Azure
Hole mehr aus Deinen Daten
Daten sind das wertvollste Gut eines Unternehmens. Daher sollte es ein Hauptanliegen sein, dass auf sie schnell und sicher zugegriffen werden kann. An dieser Stelle kommt der Azure Data Engineer ins Spiel, der für die Integration, Umwandlung und Zusammenführung von Daten aus verschiedenen strukturierten und unstrukturierten Quellen in eine Struktur verantwortlich ist, die zum Aufbau von Analyselösungen verwendet wird.
In diesem Trainingsmarkt Special schauen wir uns gemeinsam die Vielzahl von Möglichkeiten innerhalb von Azure an, um diesen Aufgaben gerecht zu werden. Stets im Fokus dabei ist die Praxistauglichkeit, denn am Ende sollen Mehrwerte aus Unternehmensdaten geschaffen werden.
Was Du nach dem Training kannst:
- Extrahieren und laden verschiedener Datenarten in den Data Lake
- Umwandlung von Batch- und Echtzeit-Datenströmen
- Serverless und Dedicated SQL Pools sowie Spark verstehen und nutzen
- Orchestrierung von Datenbewegungen mit Datenpipelines und Zeitplänen
- Aufbau einer modernen Plattformarchitektur mit Azure Synapse Analytics
3.490,00 €*
4.153,10 € inkl. MwSt.
Schulungsdauer:
3 Tag(e)Einführung Modern Data Warehousing mit Azure Synapse Analytics
Lektion 1: Einführung Modern Data Warehousing
- Architektur
- Komponenten
- Klassisches DWH vs. Modern Stack
Lektion 2: Einführung Azure Synapse Analytics
- Architektur
- Konzepte
- Komponenten
Lektion 3: Azure Synapse Analytics Arbeitsbereich
- Azure Synapse Studio
- Data Hub
- Develop Hub
- Integrate Hub
- Monitor Hub
- Manage Hub
Azure Storage Account / Data Lake Storage Gen 2
Lektion 1: Einführung Speichermöglichkeiten & Datenarten
- Azure Storage Möglichkeiten
- Daten klassifizieren
- Transaktionen: OLTP vs. OLAP
Lektion 2: Data Lake Schichtenkonzept
- Schichtenstruktur
- Delta Lake
Synapse SQL & Azure SQL
Lektion 1: Azure SQL Optionen
- Azure SQL
- SQL auf VM
- SQL Server Managed Instance
- Synapse SQL
Lektion 2: Serverless Pools
- Was sind Serverless Pools?
- Serverless Pools erstellen
- Serverless Pools verwenden
- Serverless Pools abfragen
Lektion 3: Dedicated Pools
- Was sind Dedicated Pools?
- Dedicated Pools Architektur
- Dedicated Pools erstellen
- Dedicated Pools verwenden
- Dedicated Pools abfragen
Lektion 4: Monitoring & Performance Optimierung
- Serverless Performance Monitoring
- Dedicated Performance Monitoring
- Serverless Optimeriungen
- Dedicated Optimerungen
- Cheat Sheet
- Use Cases
Synapse Spark & Apache Spark
Lektion 1: Spark Architektur (Hive Catalog, Delta Lake)
- Was ist Apache Spark?
- Spark Pool Architecture
- Spark Anwendungsszenarien
- Spark Pools erstellen
Lektion 2: PySpark & Dataframes
- Spark Notebooks
- Python Package Management
- Was ist PySpark?
- Was sind Dataframes?
- Azure SQL Connectors
Lektion 3: Spark SQL
- Was ist Spark SQL?
Lektion 4: Monitoring & Performance Optimierung
- Monitoring Apache Spark Applications
- Monitoring Apache Spark Pools
- Optimiere Apache Spark Delta Lake
- Auto-Skalierung
- Intelligentes-Caching
- Hive Metastore
Synapse Pipelines
Lektion 1: Einführung Orchestrierung mit Synapse Pipelines
- Pipelines und Aktivitäten
- Pipelineparameter und -variablen
- Datasets
Lektion 2: Copy Data Aktivität
- Datenquellen konfigurieren
- Senken konfigurieren
- Weitere Optionen
Lektion 3: Data Flows
- Was sind Data Flows?
- Data Flows erstellen
- Data Flow Aktivitäten
- Data Flows optimieren
Lektion 4: Pipeline Monitoring und Performance
- Pipelineausführungen überwachen
Synapse Management
Lektion 1: Linked Services
- Welche Linked Services gibt es
- Best Practices bei der Erstellung und Konfiguration von Linked Services
Lektion 2: Integration Runtime
- Azure Integration Runtime
- Self-Hosted Integration Runtime
Lektion 3: Netzwerk & Sicherheit
- Synapse Private Link
- Authentifizierung
- Azure Key Vault
Lektion 4: Berechtigungen & Entwicklungsprozess
- Synapse Arbeitsbereich Berechtigungen
- Linked Service Berechtigungen
- Entwickeln mit Azure Dev Ops
Lektion 5: Kosten & Kosten Management
- Kosten Übersicht
- Kosten einschätzen
Lektion 6: Azure Synapse Link
- Azure Synapse Link für Dataverse
- Azure Synapse Link für Cosmos DB
Personen, die im Unternehmen für die Architektur des Datenflusses verantwortlich sind und eine moderne Datenplattform aufbauen oder eine bestehende optimieren möchten.
Täglich von 09:00 - ca. 16:30 Uhr
Mittagspause von 12:30 - 13:30 Uhr
Eine Bio-Break am Vor- und Nachmittag
Was ist eine Firmenschulung?
- Ein Preis für bis zu 8 TN
- Individuelle Gestaltung der Agenda
- Möglichkeit zur Besprechung individueller Fragestellungen und Use-Cases
- Durchführung: Live-Online via Microsoft Teams
- Optional: Durchführung in unserem Schulungszentrum in Osnabrück oder in Deinem Hause, weitere Teilnehmer, Schulungsunterlagen und Hands-on LABs gegen Aufpreis möglich
- Weitere Informationen findest Du hier.