Serverless Data Processing with Dataflow in Dresden - Seminar / Kurs von PROTRANET GmbH

• Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erfüllen.
• Fassen Sie die Vorteile des Beam Portability Frameworks zusammen und aktivieren Sie es für Ihre Dataflow-Pipelines.
• Aktivieren Sie Shuffle und Streaming Engine für Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.
• Ermöglichen Sie eine flexible Ressourcenplanung für eine kosteneffizientere Leistung.
• Wählen Sie die richtige Kombination von IAM-Berechtigungen für Ihren Dataflow-Auftrag.
• Umsetzung bewährter Verfahren für eine sichere Datenverarbeitungsumgebung.
• Wählen Sie die E/A Ihrer Wahl für Ihre Dataflow-Pipeline aus und stimmen Sie sie ab.
• Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.
• Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.
• Überwachung, Fehlerbehebung, Tests und CI/CD für Dataflow-Pipelines.

Modul 1: Einführung

• Stellen Sie die Kursziele vor.
• Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erfüllen.

Modul 2: Übertragbarkeit von Strahlen

• Fassen Sie die Vorteile des Beam Portability Framework zusammen.
• Passen Sie die Datenverarbeitungsumgebung Ihrer Pipeline mithilfe benutzerdefinierter Container an.
• Überprüfung der Anwendungsfälle für sprachübergreifende Transformationen.
• Aktivieren Sie das Portability Framework für Ihre Dataflow-Pipelines.

Modul 3: Trennung von Datenverarbeitung und Speicherung mit Dataflow

• Aktivieren Sie Shuffle und Streaming Engine für Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.
• Ermöglichen Sie eine flexible Ressourcenplanung für eine kosteneffizientere Leistung.

Modul 4: IAM, Kontingente und Berechtigungen

• Wählen Sie die richtige Kombination von IAM-Berechtigungen für Ihren Dataflow-Auftrag.
• Ermitteln Sie Ihren Kapazitätsbedarf, indem Sie die entsprechenden Quoten für Ihre Dataflow-Jobs überprüfen.

Modul 5: Sicherheit

• Wählen Sie Ihre zonale Datenverarbeitungsstrategie mit Dataflow, je nach Ihren Anforderungen an die Datenlokalisierung.
• Umsetzung bewährter Verfahren für eine sichere Datenverarbeitungsumgebung.

Modul 6: Wiederholung von Strahlenkonzepten

• Überprüfung der wichtigsten Konzepte von Apache Beam (Pipeline, PCollections, PTransforms, Runner, Lesen/Schreiben, Utility PTransforms, Side Inputs), Bundles und DoFn Lifecycle.

Modul 7: Fenster, Wasserzeichen, Auslöser

• Implementieren Sie eine Logik zur Verarbeitung Ihrer verspäteten Daten.
• Überprüfen Sie die verschiedenen Arten von Auslösern.
• Überprüfung der wichtigsten Streaming-Konzepte (unbeschränkte PCollections, Fenster).

Modul 8: Quellen und Senken

• Schreiben Sie die E/A Ihrer Wahl für Ihre Dataflow-Pipeline.
• Stimmen Sie Ihre Quelle/Senke-Transformation für maximale Leistung ab.
• Benutzerdefinierte Quellen und Senken mit SDF erstellen.

Modul 9: Schemata

• Einführung von Schemata, die Entwicklern eine Möglichkeit bieten, strukturierte Daten in ihren Beam-Pipelines auszudrücken.
• Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.

Modul 10: Zustand und Zeitgeber

• Ermittlung von Anwendungsfällen für die Implementierung von Status- und Zeitgeber-APIs.
• Wählen Sie den richtigen Typ von Status und Zeitgebern für Ihre Pipeline.

Modul 11: Bewährte Praktiken

• Implementierung bewährter Verfahren für Dataflow-Pipelines.

Modul 12: Datenfluss-SQL und DataFrames

• Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.

Modul 13: Beam Notebooks

• Prototyping Ihrer Pipeline in Python mit Beam-Notebooks.
• Verwenden Sie Beam-Magie, um das Verhalten der Quellenaufzeichnung in Ihrem Notebook zu steuern.
• Starten Sie einen Auftrag in Dataflow von einem Notebook aus.

Modul 14: Überwachung

• Navigieren Sie durch die Benutzeroberfläche der Dataflow-Auftragsdetails.
• Interpretieren Sie Job-Metrics-Diagramme, um Regressionen in der Pipeline zu diagnostizieren.
• Setzen Sie Alarme für Dataflow-Aufträge mit Cloud Monitoring.

Modul 15: Protokollierung und Fehlerberichterstattung

• Verwenden Sie die Dataflow-Protokolle und Diagnose-Widgets, um Probleme in der Pipeline zu beheben.

Modul 16: Fehlersuche und Fehlerbehebung

• Verwenden Sie einen strukturierten Ansatz zum Debuggen Ihrer Dataflow-Pipelines.
• Untersuchen Sie die häufigsten Ursachen für Rohrleitungsausfälle.

Modul 17: Leistung

• Verstehen Sie Leistungsüberlegungen für Pipelines.
• Überlegen Sie, wie sich die Form Ihrer Daten auf die Leistung der Pipeline auswirken kann.

Modul 18: Testen und CI/CD

• Testansätze für Ihre Dataflow-Pipeline.
• Prüfen Sie die verfügbaren Frameworks und Funktionen, um Ihren CI/CD-Workflow für Dataflow-Pipelines zu optimieren.

Modul 19: Verlässlichkeit

• Implementieren Sie Best Practices für die Zuverlässigkeit Ihrer Dataflow-Pipelines.

Modul 20: Flex-Vorlagen

• Verwendung von Flex-Vorlagen zur Standardisierung und Wiederverwendung von Dataflow-Pipeline-Code.

Modul 21: Zusammenfassung

• Zusammenfassung.