Data Engineer - cours 89 000 roubles. d'Otus, formation 4 mois, date 30 novembre 2023.
Miscellanea / / December 03, 2023
Que vous apportera ce cours ?
- Comprendre les principaux moyens d'intégrer, de traiter et de stocker le Big Data
- Capacité à travailler avec les composants de l'écosystème Hadoop, le stockage distribué et les solutions cloud
- Compétences pratiques dans le développement de services de données, de vitrines et d'applications
- Connaissance des principes d'organisation de la surveillance, de l'orchestration, des tests
Le cours est abordé développeurs, administrateurs de SGBD et tous ceux qui cherchent à améliorer leur niveau professionnel, à maîtriser de nouveaux outils et à s'engager dans des tâches intéressantes dans le domaine du travail avec les données.
Après avoir étudié l'ingénierie des données, vous deviendrez un spécialiste recherché qui :
- déploie, ajuste et optimise les outils de traitement des données
- adapte les ensembles de données pour des travaux et des analyses ultérieurs
- crée des services qui utilisent les résultats du traitement de grandes quantités de données
- responsable de l'architecture des données dans l'entreprise
Études de cas réels: exemples d'implémentation, d'utilisation des outils, d'optimisation des performances, de problèmes, d'erreurs et de résultats appliqués
Orientation très pratique :
Au cours du cours, nous créerons progressivement un produit fonctionnel, en résolvant des problèmes appliqués.
Une image globale des défis et des tâches de l'entreprise moderne, et du rôle du Data Engineer dans leur résolution
Demande des employeurs
40 employeurs sont déjà prêts à convoquer les diplômés des cours pour un entretien
6
coursIngénieur de données chez Wildberries, DE Conférencier du cours Junior. Plus de 7 ans en informatique
Diplômé de l'Université d'État de Voronej avec mention. Actuellement étudiant au programme de master HSE "Ingénierie Système et Logiciel". Expérience professionnelle - 2 ans d'expérience en tant que Data Analyst et Data Engineer. Il travaille désormais avec 5 bases de données populaires, développe en Python et développe rapidement ses compétences. Prêt à partager mon expérience.
1
BienIl développe l'analytique au sein de l'entreprise depuis plus de 10 ans. Parmi les réalisations: - Construction de notre propre système de web analytique de bout en bout; - Construction d'un entrepôt analytique basé sur MPP Vertica; - Organisation du traitement des données basé sur Spark, Kafka, HDFS; -...
Il développe l'analytique au sein de l'entreprise depuis plus de 10 ans. Parmi les réalisations: - Construction de notre propre système de web analytique de bout en bout; - Construction d'un entrepôt analytique basé sur MPP Vertica; - Organisation du traitement des données basé sur Spark, Kafka, HDFS;- Construction de processus de travail avec les données, y compris la qualité des données;- Création de plusieurs outils internes pour travailler et structurer les métadonnées (Data Catalog);- Construction d'un système de reporting d'entreprise, y compris en temps réel; - Depuis plus de 5 ans, il développe la Data Literacy au sein de l'entreprise, en animant diverses formations sur le travail avec les données, outils, SQL; Il a également formé plusieurs leaders en analytique qui travaillent désormais dans de grandes entreprises. L'objectif principal est de comprendre les problèmes commerciaux liés à l'utilisation de données et de les résoudre.
1
BienChef de département, Sberbank 8 ans d'expérience dans le développement industriel, incluant la création et la maintenance d'applications web aussi bien dans de grandes entreprises que dans des startups. 3 ans de développement de systèmes distribués pour de grandes administrations...
Chef de département, Sberbank 8 ans d'expérience dans le développement industriel, incluant la création et la maintenance d'applications web aussi bien dans de grandes entreprises que dans des startups. 3 ans de développement de systèmes distribués pour de grands clients gouvernementaux. Mise en œuvre de trois projets à partir de zéro, du prototype au prêt pour une utilisation industrielle. Actuellement engagé dans le développement full-stack pour les clients internes de la banque, résolvant des problèmes liés à l'analyse et à l'ingénierie des données. Expérience en programmation en Java, Scala, Python, Javascript. Un large éventail d'intérêts professionnels, allant de la création de systèmes distribués à l'analyse prédictive et à l'analyse d'intention. Formation: Licence de l'UrFU du nom. B.N. Eltsine « Technologies de l'information ».
Architecture des données
-Thème 1.Ingénieur de données. Tâches, compétences, outils, besoins du marché
-Thème 2.Architecture des applications analytiques: composants et principes de base
-Thème 3.Solutions sur site / Cloud
-Thème 4. Automatisation et orchestration du pipeline – 1
-Thème 5. Automatisation et orchestration du pipeline – 2
Lac de données
-Sujet 6. Systèmes de fichiers distribués. HDFS/S3
-Sujet 7.Accès SQL à Hadoop. Apache Hive/Presto
-Thème 8. Formats de stockage de données et leurs fonctionnalités
-Thème 9. Analyse de la télécommande pour 1 cas
-Sujet 10. Files d'attente de messages. Présentation de Kafka.
-Sujet 11.Téléchargement de données à partir de systèmes externes
-Sujet 12.Apache Spark – 1
-Sujet 13.Apache Spark – 2
ECS
-Sujet 14. SGBD analytique. Bases de données des députés
-Sujet 15.Modélisation DWH – 1. bases de la dette
-Sujet 16.Modélisation DWH – 2. Coffre-fort de données 2.0
-Sujet 17.Pratiques DevOps dans les applications analytiques. CI+CD
-Thème 18. Analyse de la télécommande pour le cas 2
-Sujet 19.Qualité des données. Gestion de la qualité des données
-Thème 20. Déploiement d'une solution BI
-Thème 21. Surveillance / Métadonnées
NoSQL/NouveauSQL
-Sujet 22.Stockage NoSQL. Colonne large et valeur-clé
-Sujet 23.Stockage NoSQL. Orienté document
-Thème 24.ELK
-Thème 25.ClickHouse
-Thème 26. Analyse de la télécommande pour le cas 3
MLOps
-Thème 27.Organisation et packaging du code
-Sujet 28.Architecture Docker et REST
-Thème 29.MLFlow + DVC
-Thème 30. Déploiement de modèles
-Thème 31. Analyse de la télécommande pour le cas 4
-Thème 32. Analyse de la télécommande pour le cas 5
Projet de diplôme
-Thème 33. Sélection du sujet et organisation du travail du projet
-Thème 34.Consultation
-Thème 35.Protection