Data Warehouse Analyst - cours gratuit d'Otus, formation 5 mois, date 30 novembre 2023.
Miscellanea / / December 04, 2023
Les applications analytiques d'aujourd'hui sont construites à l'intersection des pratiques d'ingénierie (ingénierie logicielle/données), compréhension des spécificités des produits et des métiers (Data/Business Analysis), prestation de services rapide et de qualité (DevOps).
Le cours vise à enseigner aux étudiants comment assembler des solutions analytiques complètes de bout en bout en utilisant les outils les plus pertinents et les plus demandés.
La matière sera étudiée aussi bien en profondeur (par exemple, les principes de fonctionnement des SGBD analytiques) qu'en largeur (comparaison des outils, analyse des forces et faiblesses des solutions).
Quelles nouvelles choses puis-je apprendre ?
Pour les rôles Data Scientist, Data Analyst, Product Analyst :
– Principes de fonctionnement du SGBD analytique et construction de pipelines ELT
– Utiliser les meilleures pratiques pour la modélisation des entrepôts de données et des marchés
– Application des modèles architecturaux corrects lors de la construction de solutions
Pour les rôles Data Engineer, Backend Developer, DBA, System Administrator :
– Pratiques de création de solutions analytiques de bout en bout
– Compétences appliquées en visualisation, tableaux de bord, BI
– Se concentrer sur la création de valeur commerciale
Le cours couvrira :
– Compétences dans la construction de pipelines ELT: Airflow, Nifi, Stitch
– Principes de fonctionnement des SGBD analytiques: Redshift, Greenplum, Clickhouse
– Bonnes pratiques de modélisation des données: dbt, Data Vault
– Visualisation et BI: Metabase, Superset, DataLens
– Analyses avancées: KPI, entonnoirs, attribution marketing, cohorte, RFM
– Pratiques DevOps: Intégration Continue, Actions Github
6
coursIngénieur de données chez Wildberries, DE Conférencier du cours Junior. Plus de 7 ans en informatique
Diplômé de l'Université d'État de Voronej avec mention. Actuellement étudiant au programme de master HSE "Ingénierie Système et Logiciel". Expérience professionnelle - 2 ans d'expérience en tant que Data Analyst et Data Engineer. Il travaille désormais avec 5 bases de données populaires, développe en Python et développe rapidement ses compétences. Prêt à partager mon expérience.
1
BienPlus de 6 ans d'expérience dans le développement d'entrepôts de données, de pipelines ELT, d'analyse et de visualisation de données. Expérience dans le domaine de la sécurité de l'État, création et mise en œuvre de KHD LLC "Groupe d'entreprises "SBSV-Klyuchavto", actuellement...
Plus de 6 ans d'expérience dans le développement d'entrepôts de données, de pipelines ELT, d'analyse et de visualisation de données. Expérience dans le domaine de la sécurité de l'État, création et mise en œuvre de QCD LLC "Groupe d'entreprises "SBSV-Klyuchavto", développant actuellement QCD pour le groupe de sociétés Delo, je suis convaincu que les données sont le deuxième pétrole, une sorte de propriété qu'il faut pouvoir gérer et se débarrasser. La présence de données organisées, leur stockage, leur utilisation, leur vente et leur anonymisation appropriés indiquent un haut niveau de maturité numérique. Professeur
3
coursAlexandra travaille dans le domaine de l'analytique et de la BI depuis 2019. À cette époque, elle a obtenu un baccalauréat en génie logiciel de l'Université d'État d'administration de l'aviation de Saint-Pétersbourg, puis une maîtrise. Premiers pas dans...
Alexandra travaille dans le domaine de l'analytique et de la BI depuis 2019. À cette époque, elle a obtenu un baccalauréat en génie logiciel de l'Université d'État d'administration de l'aviation de Saint-Pétersbourg, puis une maîtrise. Les premiers pas de sa carrière ont été faits au sein de la société américaine Intermedia Cloud Communications en tant qu'analyste de données junior, et en 2021, il a réussi à devenir chef de l'équipe d'analyse. Cette année entière a été consacrée à un nouveau projet cross-équipe de gestion financière internationale sur la stack Microsoft (MS SQL Server, SSRS, SSIS, Power BI). Depuis mars 2022, il travaille dans le groupe de sociétés Tinkoff Bank en tant qu'analyste d'entrepôt données. Fournit un soutien à la haute direction du département financier dans la création de prototypes de processus ETL à l'aide de Greenplum, d'analyses ad hoc en Python, de reporting et de visualisation dans Tableau. En 2020, elle suit une formation complémentaire en direction de Project Management Manager en IT. Il est un fervent partisan des méthodologies de développement flexibles. Estime que les investissements les plus rentables sont ceux consacrés à son propre développement. Pile: SQL, SAS DIS, SSIS, Tableau, Power BI, Python
ELT: Structure et types de sources de données
-Thème 1. Sources de données: classification et caractéristiques
-Sujet 2.Outils de téléchargement de données – 1
-Sujet 3.Outils de téléchargement de données – 2
Les bases du DWH
-Thème 4. Moteurs analytiques (SGBD) pour travailler avec des données
-Thème 5.Principes de la construction DWH
-Analyse du sujet 6.DZ – Téléchargement des données du compteur Web
-Sujet 7.Introduction à l'outil de création de données
-Sujet 8.DBT: Ingénierie analytique
DWH Intermédiaire
-Thème 9.Orchestration de scripts et de tâches – 1
-Thème 10. Orchestration de scripts et de tâches – 2
-Thème 11.DZ analyse – Configuration et lancement du projet dbt
-Sujet 12.Qualité des données
-Thème 13. Problèmes d'optimisation des performances
-Sujet 14. Coffre-fort de données – 1
-Sujet 15. Coffre-fort de données – 2
-Thème 16.DZ analyse – Préparation et mise en place d'un planning DAG pour le téléchargement des données à partir des sources
L'intelligence d'entreprise
-Sujet 17.BI: Aperçu
-Sujet 18.BI: Déploiement
-Sujet 19.BI: Modélisation et livraison
-Thème 20.Analyse DZ – Organisation d'une couche DWH détaillée en utilisant la méthodologie Data Vault
-Sujet 21.Analytics: Vitrines analytiques de base
-Sujet 22.BI: Questions approfondies
-Thème 23. DZ Razor – Configuration et déploiement d'une solution BI
-Sujet 24.Analytics: présentations d'analyses avancées
Sujets avancés DWH
-Sujet 25.DWH: Sujets avancés
-Sujet 26.DBT: Extension avec des modules
-Thème 27.DWH: Surveillance + Gestion de la charge de travail
-Thème 28.DZ analyse – Visualisation et tableaux de bord pour vitrines analytiques
-Thème 29.DWH: Données externes + semi-structurées
-Sujet 30.DWH: ETL inversé
-Sujet 31.DWH: Capacités d'apprentissage automatique
résumer
-Thème 32. Analyse de cas: solution de bout en bout
-Thème 33.Analyse DZ – Advanced DWH: Configuration de CI, modules dbt, tables externes
-Thème 34. Développement ultérieur des compétences
Travail de projet
-Thème 35. Sélection du sujet et organisation du travail du projet
-Thème 36.Protection des travaux de conception