Bases de Kafka - cours 42 000 roubles. du Centre de Formation IBS, formation 24 heures, Date: 4 décembre 2023.
Miscellanea / / November 29, 2023
Sujets couverts:
1. Révision (théorie – 1 heure)
Qu'est-ce que Kafka.
Exemples d'utilisation réussie et infructueuse de Kafka.
Kafka et la base de données: similitudes et différences.
Kafka et file d'attente de messages: similitudes et différences.
Architecture de stockage Kafka: courtiers, sujets, partitions, segments, réplicas.
Architecture du cluster Kafka: Zookeeper, partitionnement, nœuds de réplication maître et esclave, ISR.
Clients et API.
2. Mise en place d'un cluster (pratique – 1 heure)
Pratique 2.1: Exécuter un cluster Kafka à l'aide de Docker.
Installation de Zookeeper.
Installation des courtiers Kafka.
3. Développement d'applications en Java (théorie – 2,5 heures, pratique – 2,5 heures)
API Kafka Producer: bases.
Pratique 3.1: Envoyer un message.
Pratique 3.2: Envoi de plusieurs messages.
Pratique 3.3: Envoi de plusieurs messages avec partitionnement explicite.
Pratique 3.4: Envoi de messages sans clés.
API Kafka Consumer: bases, groupes de consommateurs.
Pratique 3.5: Un destinataire.
Pratique 3.6: Plusieurs destinataires dans un groupe.
Fonctionnalités supplémentaires: paquets, répétitions, idempotence, transactions, rééquilibrage des groupes de consommateurs.
Pratique 3.7: Expéditeur sans paquets ni répétitions.
Pratique 3.8: Expéditeur idempotent.
Pratique 3.9: Expéditeur transactionnel.
Pratique 3.10: Envoi et réception dans une transaction.
Pratique 3.11: Réception-traitement-envoi dans une transaction.
4. Accès externe au cluster Kafka (théorie – 2 heures, pratique – 2 heures)
Sécurité: SSL, SASL, Kerberos.
Proxy REST: envoi et réception de messages aux formats JSON, binaire et Avro.
Pratique 4.1: Accès via le proxy REST.
Registre de schémas: registre de schémas.
Pratique 4.2: Utilisation du proxy REST avec Schema Registry.
5. Entretien et suivi (théorie – 1 heure, pratique – 1 heure)
Mise en place d'un cluster à des fins différentes.
Zookeeper: configuration, mode autonome et quorum, CLI.
Pratique 5.1: Surveillance d'un cluster Kafka avec Prometheus.
6. Plusieurs clusters (théorie – 1 heure, pratique – 1 heure)
Pourquoi pourriez-vous avoir besoin de plusieurs clusters dans Kafka ?
MirrorMakerAccess.
Pratique 6.1: Utilisation de MirrorMaker pour synchroniser des clusters.
Réplicateur de confluence.
7. Kafka Connect (théorie – 2 heures, pratique – 2 heures)
Architecture Kafka Connect.
Les récepteurs de données Kafka Connect.
Pratique 7.1: Récepteur de fichiers FileStream.
Pratique 7.2: Récepteur JDBC.
Sources de données Kafka Connect.
Pratique 7.3: Source FileStream.
Pratique 7.4: Source JDBC.
8. Fondamentaux de Kafka Streams (théorie – 2 heures, pratique – 2 heures)
Kafka Streams: DSL, API, StreamBuilder, création et mise en place de topologie.
Démo 8.1: Implémentation de la topologie Streams.
Démo 8.2: Création d'une application Streams à l'aide de StreamBuilder.
Appareil Kafka Streams: multi-threading, instances et tâches multiples.
Schémas de données dans Kafka: sérialisation vers des schémas JSON, des schémas Avro, un registre de schémas, une évolution de schéma.
Démo 8.3: Utilisation des schémas JSON.
Traitement avec état: magasin d'état, tolérance aux pannes pour les magasins d'état.
KTable: flux de mise à jour des données, mise en cache, vitesse de récupération, agrégation.
Windows dans les flux: horodatages, flottant, saut, session.
Connexion: flux à flux, KTable à KTable, flux à KTable.