New
 
Full Digital
 
Fantom Tag

Schulung - PySpark - Big Data Analytics mit Apache Spark und Python

  • Live Online Training
DURCHFÜHRUNG MIT TERMIN
Dauer
12 Stunden

Preis
1.290,00 € netto
1.535,10 € inkl. 19% MwSt.

Nr.
54450
TERMIN UND ORT NACH ABSPRACHE
On-demand Training
Sind Sie an diesem Thema interessiert?
Unsere Experten entwickeln Ihr individuell angepasstes Seminar!
Dieser praxisorientierte Kurs behandelt die Verarbeitung von großen Datenmengen mit Apache Spark und Python. Es werden grundlegende Konzepte von PySpark erläutert und die Integration des Python Datenanalyse Moduls Pandas in PySpark behandelt. Darüber hinaus werden die Möglichkeiten der Anwendung von Machine Learning in PySpark vorgestellt. Der Kurs bietet einen Überblick über die Analyse großer Datenmengen, Hadoop und Kubernetes, sowie die Verwendung von Spark als Datenverarbeitungsframework. Es werden auch Themen wie das Einladen von Daten, Datenaufbereitung (Transformation, Filtern, Joinen, Aggregation), Ausführungsmodelle von Apache Spark und Datenorganisation in Big Data Projekten behandelt. Insgesamt bietet dieser Kurs eine umfassende Einführung in die Verarbeitung großer Datenmengen mit Apache Spark und Python.

Der Kurs ist in drei thematische Bereiche unterteilt, um die Teilnehmer schrittweise an Apache Spark heranzuführen.

Im ersten Teil wird ein knapper Überblick über aktuelle Technologien zur Speicherung und Verarbeitung großer Datenmengen (Hadoop und Kubernetes) gegeben und die Rolle von Spark als wichtiges Datenverarbeitungsframework erläutert.

Der zweite Teil beinhaltet eine ausführliche Einführung in die Arbeit mit Apache Spark mit Python (PySpark). Dabei werden alle wichtigen Punkte behandelt, wie das Laden von Daten, die Datenaufbereitung (Transformation, Filtern, Joinen, Aggregation), die Anbindung verschiedener Datenquellen, die Ausführungsmodelle von Apache Spark sowie die Integration des Python Data Science Moduls Pandas und wichtige Unterschiede.
Die Teilnehmer werden all diese Schritte direkt an praktischen Beispielen und Übungen durchführen. Es werden auch gängige Grundkonzepte zur Datenorganisation in Big Data Projekten besprochen.

Im dritten Teil werden die Möglichkeiten von Spark zur Datenanalyse und zum maschinellen Lernen (ML) behandelt. Die grundlegenden Konzepte und Vorgehensweisen von ML werden kurz erläutert und anhand eines Beispiels mit PySpark praktisch angewendet.

Der Fokus des Workshops liegt auf dem Umgang mit PySpark zur Verarbeitung und Analyse großer Datenmengen. Der Bereich "Machine Learning" wird ebenfalls behandelt, jedoch nur knapp theoretisch umrissen aufgrund seiner Komplexität. Vielmehr wird darauf eingegangen, welche Möglichkeiten Apache Spark in diesem Anwendungsgebiet bietet und unter welchen Bedingungen der Einsatz von PySpark anderen Alternativen vorzuziehen ist.

Der Workshop ermöglicht es den Teilnehmern, eigenständig Daten mithilfe von Apache Spark zu transformieren und zu analysieren.

 

Lesen Sie mehr
Zielgruppe

Wer sollte teilnehmen:

Zielgruppe

Der Kurs wendet sich primär an Data Scientists und Data Analysts, die mit Hilfe von Python und Apache Spark (PySpark) große Datenmengen verarbeiten und analysieren möchten.

Voraussetzungen

Die Teilnehmer sollten über grundlegende Kenntnisse in Programmierung und SQL verfügen. Alle Programmierbeispiele für Apache Spark werden in Python durchgeführt. Es hat sich gezeigt, dass Teilnehmer, die Kenntnisse in anderen Programmiersprachen haben, sich schnell in Python zurechtfinden können.

Englischkenntnisse, insbesondere das Verständnis von englischen Texten, sind sehr hilfreich, da Python und die Internet-Dokumentationen auf Englisch verfügbar sind. Aus diesem Grund sind auch die Folien im Kurs auf Englisch gehalten. Die Schulung selbst wird jedoch auf Deutsch abgehalten.
Trainingsprogramm

Trainingsprogramm

Einführung in Apache Spark Grundlagen:

  • Verortung und Kontext des Frameworks (Vergleich mit Pyspark, Hadoop und Kubernetes)
  • Grundlegende Prinzipien der verteilten Datenverarbeitung durch Apache Spark

Erste Schritte in der PySpark-Welt:

  • Essenzielle DataFrames-Grundlagen
  • Einbindung von JSON- und CSV-Daten
  • Einfache Datentransformationen (Projektionen, Filterung, grundlegende Funktionen...)

Weitere Datentransformationen erkunden:

  • Gruppierte Aggregationen verstehen
  • Sortierung von Daten
  • Joins von Datensätzen

UDF - User Defined Functions verwenden:

  • Effiziente Nutzung von Pandas UDFs in PySpark
  • Einsatzbereiche von UDFs

Datenhaltung und Speicherung:

  • Überblick über kompatible Dateiformate

Grundlagen des Maschinellen Lernens:

  • Modelltraining und -entwicklung
  • Einführung in Regressionsmodelle
  • Verwendung von Trainings- und Validierungsdaten
  • Bewertungsmetriken für Modellleistungen
  • Praktische Übung mit dem Datensatz des NYC Taxis

Vorbereitung der Daten:

  • Formatumwandlungen für beschleunigte Verarbeitung
  • Integration diverser Datenquellen

Datenexploration:

  • Anfängliche einfache Datenanalysen und -visualisierungen
  • Datenreduktion durch Aggregation

Modelltraining:

  • Maschinelles Lernen mit PySpark umsetzen

Verfeinerung des Modells:

  • Bewertung des Modells mittels geeigneter Metriken
  • Optimierung durch Integration neuer Eigenschaften
  • Austausch von Ideen zur weiteren Verbesserung
  •  
Schulungsmethode

Schulungsmethode

Dieses Big Data Seminar legt einen großen Fokus auf praktische Anwendungen. Die Konzepte werden während der Schulung anhand von Folien erklärt und durch Beispiele veranschaulicht. In den Übungseinheiten haben die Teilnehmer die Möglichkeit, das Gelernte mithilfe der Programmiersprache Python in der Cloud mit Jupyter Notebooks umzusetzen. Der Trainer steht den Teilnehmern bei verschiedenen Aufgaben zur Seite und begleitet sie bei Fragen.

Hinweis

Hinweis

Die Teilnehmer benötigen zur Teilnahme einen eigenen Rechner, auf dem ein aktueller Browser (Chrome, Firefox, Edge) zur Teilnahme an der Video-Schulung installiert ist. Entsprechend sollten die Teilnehmer auch über Mikrofon und Kopfhörer oder Lautsprecher verfügen. Eine Kamera für die Teilnehmer ist optional und freiwillig, wäre aber sehr hilfreich.

Um ein möglichst realistisches Erlebnis zu ermöglichen, erhält jeder Teilnehmer ein eigenes kleines Cluster innerhalb der Amazon Cloud, der Zugriff erfolgt über SSH und den Web-Browser. Damit wird neben einem Web-Browser auch keine weitere Software auf den Computern der Teilnehmer benötigt.

Bitte prüfen Sie, ob Ihr Firmenlaptop Zugangsbeschränkungen im Internet hat. Die digitalen Unterlagen (Skript) werden im Seminar online zum Download zur Verfügung gestellt. Sie erhalten vor dem Seminar per E-Mail den Link zu einer Testdatei zum Download, um dies überprüfen zu können.

Sie sollten sich in firmenfremde WLAN-Netze registrieren können um Zugang zum Internet am Veranstaltungsort zu haben. Einige Teilnehmer können Sie sich alternativ auch über Ihr Firmen-Handy  ins Internet einwählen  (WLAN-Tethering / Hotspot).

Als Backup Lösung ist es möglich, dass der USB Port bei Ihrem Laptop freigeschaltet ist, um damit verwendete Dateien oder sonstige Unterlagen übertragen zu können.

Hinweis für Online-Schulungen:

Für unsere Online-Schulungen möchten wir Sie darauf hinweisen, dass es von Vorteil ist, wenn Sie über zwei Bildschirme verfügen. Ein zusätzlicher Bildschirm ermöglicht es Ihnen, die Schulungsinhalte auf einem Bildschirm anzuzeigen, während Sie auf dem anderen Bildschirm praktische Übungen durchführen oder Anwendungen parallel öffnen können.

Durch die Verwendung von zwei Bildschirmen können Sie die Schulungsinhalte effektiver verfolgen und gleichzeitig interaktiv an den Übungen teilnehmen, ohne zwischen Fenstern hin- und herwechseln zu müssen.

Wir empfehlen daher, sich im Vorfeld auf die Schulung mit einem zusätzlichen Bildschirm vorzubereiten, um das bestmögliche Lernerlebnis zu gewährleisten

Weitere Seminare aus dem Bereich Data Science, Machine Learning & KI

Weitere Informationen

Weitere Informationen

Sessions

    Schulung - PySpark - Big Data Analytics mit Apache Spark und Python