Traitement et analyse du big data - cours gratuit d'Open Education, formation 2 semaines, environ 36 heures par semaine, Date 29 novembre 2023.
Miscellanea / / November 30, 2023
doctorat Position: Professeur agrégé, Faculté des systèmes de contrôle et de robotique, Professeur agrégé, École supérieure de culture numérique, Université ITMO
Candidat en Sciences Physiques et Mathématiques Poste: Professeur Associé, École Supérieure de Culture Numérique, Université ITMO
doctorat Poste: Professeur Associé, École Supérieure de Culture Numérique, Université ITMO
Module 1 Sujet 1.1 Introduction à la science des données Discute des types et des sources de données, des principes séparation et combinaison des données, types d'échelles, méthodes de nettoyage des données et de comblement des lacunes, contrôle gammes. Sujet 1.2 Outils de traitement des données Présente les principaux outils de traitement des données, tels que les feuilles de calcul (feuilles de calcul Google et Excel), aborde les problématiques de tri et de filtrage des données, les moyens d'agrégation et d'analyse des données tabulaires (tableaux croisés dynamiques) Thème 1.3 Visualisation données Les tâches et méthodes de visualisation des données dans divers outils (feuilles de calcul Google et Excel), formes de présentation des données quantitatives et données qualitatives. La visualisation cognitive des données est envisagée. Thème 1.4 Analyse et transformation des données Les méthodes de lissage et de normalisation des données, les problématiques de transformation des données sont abordées. Les types de statistiques descriptives et les méthodes de calcul sont décrits en détail. Thème 1.5 Travailler avec des séries chronologiques Les principes de travail avec des séries chronologiques et les méthodes de leur analyse sont examinés. Une attention particulière est accordée aux techniques de lissage des séries chronologiques, de détermination des tendances et des composantes saisonnières des séries chronologiques.
Module 2 Stockage de Big Data Sujet 2.1. Systèmes de gestion de bases de données L'architecture des systèmes d'information et les principales fonctions des systèmes de gestion de bases de données sont prises en compte. Thème 2.2. Conception de données structurées Les concepts de base du modèle relationnel (tabulaire) sont pris en compte données, conception des données dans un modèle relationnel, règles de création de tables et définition des contraintes d'intégrité. Thème 2.3. SQL - requêtes sur des données et des objets de base de données Les principes de construction de requêtes sur des données en langage SQL sont pris en compte, y compris la projection, le tri, la définition des conditions de sélection, la jointure de plusieurs tables, les opérations de la théorie des ensembles, l'imbrication demandes. La conférence aborde également les objets de base de données: vues, procédures/fonctions, déclencheurs. Le concept d'index est donné, ce qui peut améliorer l'efficacité de l'exécution d'un certain nombre de requêtes. Thème 2.4. Stockage NoSQL Les concepts et caractéristiques de base des systèmes NoSQL, les différents types et évaluations des systèmes NoSQL sont pris en compte: clé-valeur, document, colonne et graphique. Principes de création de requêtes sur les données dans les stockages NoSQL. Thème 2.5. MongoDB - Travailler avec le stockage de documents Discute de l'organisation des données et de la création de requêtes dans MongoDB. Des exemples de création de requêtes dans la base de données de démonstration MongoDB sont fournis.