Framework Apache Spark pour développeurs: niveau avancé - cours 41 500 roubles. du Centre de Formation IBS, formation 24 heures, Date 26 novembre 2023.
Miscellanea / / December 05, 2023
La formation fournit une compréhension détaillée de la structure interne et du fonctionnement du framework Apache Spark - à la fois Spark Core (RDD), Spark SQL, Spark Streaming et Spark Structured Streaming. Les mécanismes de lancement des composants du cluster Spark sous le contrôle de différents gestionnaires de cluster, la gestion de l'allocation des ressources (principalement la mémoire) et les mécanismes de travail des planificateurs sont pris en compte. Les avantages du format de représentation interne Tungsten et le fonctionnement de l'optimiseur Catalyst sont explorés en détail.
Sujets couverts:
Architecture interne Spark, environnement d'exécution Spark
Configuration du contexte Spark, SparkConf
Composants internes du RDD, disposition logique
Meilleures pratiques pour la programmation avec RDD
Plan physique: travail, étapes, tâches
Planificateurs et exécution du plan physique
Optimisation de la mémoire, sérialisation, mise en cache, garbage collection
API de source de données, représentation interne des données Tungsten, formats de fichiers
Optimiseur de catalyseur
Microbatch Spark Streaming: réception et sortie de données
Streaming structuré: réception et distribution de données