Analyse de données en Python et bases de données (SQL) - cours gratuit de RANEPA, formation, Date: 6 mars 2023.

instagram viewer

Python

Comment ça fonctionne? Fonctionnalités Python.
Pourquoi tout le monde utilise Python? Comparaison avec d'autres langages de programmation. Comment écrire des programmes? Avantages de Python. Comment utiliser Python dans des tâches: traitement de texte, travail avec des images, rédaction de robots boursiers, lancement de chatbots. Entrée et sortie en Python. Noms en Python. Opérations de base. Contrôle de l'avancement de l'exécution du programme (constructions conditionnelles). Exemples de programmes simples.

Cycles. Lignes. Méthodes de chaînes.
Boucle avec condition préalable. Instructions Break et Continue. Pour la boucle Structure de ligne et longueur de ligne. L'élément de ligne et comment couper des lignes. Obtenir une sous-chaîne à partir d'une chaîne. Traversée de ligne. Sections.

Tuples. Listes. carte des fonctions. Générateur de liste de valeurs aléatoires.
Pourquoi les tuples sont-ils nécessaires? Travailler avec une liste. Liste des éléments. Imprimez la liste. Copie correcte des listes. Caractéristiques de l'utilisation de la fonction de carte. Que sont les générateurs de valeurs aléatoires? Un tas de. Opérations avec des ensembles. Ensemble gelé. Dictionnaires. obtenir la méthode Parcours du dictionnaire.

Les fonctions. Application de fonctions mathématiques. Portée et exclusion.
Comment écrire correctement des fonctions. Algorithmes simples. Ecrire les premières fonctions. Comment ajouter des mathématiques. Recommandations pour écrire vos propres fonctions. Comment fonctionnent les oscilloscopes. Variables globales. Renvoyer plusieurs valeurs d'une fonction. Des exceptions.

Travailler avec des fichiers. Matrices. Types de tri
Que pouvez-vous faire avec les fichiers? Ouverture et fermeture de dossiers. Lecture et écriture de fichiers texte. Matrices. Remplir des matrices. Saisie des matrices ligne par ligne. Lecture et écriture de matrices. Tri à bulles. Analyse de l'algorithme. Plusieurs versions de la solution.

Présentation de la bibliothèque NumPy. Travailler avec les fonctions NumPy. Bibliothèque SciPY.
Bibliothèques Python et leur installation. Types de données NumPy de base. Fonctions numériques. Travailler avec des tableaux. Opérations avec des tableaux. Tableaux bidimensionnels. Matrices. Fonctionnalités de base de la bibliothèque SciPy.

Présentation de la bibliothèque Pandas. Analyses de base.
Installation de la bibliothèque. Création d'un objet Série. Indexation DataFrame. Les tables. Lecture et écriture de fichiers. Indexage. Échantillonnage de données. Opérations avec des lignes et des colonnes. Travailler avec NaN. Tri.

Visualisations de données. Exemples pratiques
Étudier de nouvelles données, prétraiter, visualiser des données, rechercher des connexions entre les fonctionnalités, préparer des données de formation et créer des modèles de prévision du risque de crédit. Obtenir un modèle qui répond à la question: émettre ou ne pas émettre un prêt.

Automatisation des tâches courantes. Exemples pratiques
Analyse d'exemples pratiques d'automatisation de tâches liées à l'obtention d'informations agrégées à partir de plusieurs sources (fichiers Excel) ou Internet.

Revue des méthodes d'apprentissage automatique utilisées pour l'analyse des données. Exemples pratiques
Un exemple pratique d'identification de caractéristiques de base et de leur interprétation dans un problème d'apprentissage supervisé.

Évaluation intermédiaire du module
La certification intermédiaire se déroule sous la forme d'un test (test informatique). Exemple d'un bâtiment de test typique :

Quelle fonction Python pouvez-vous utiliser pour connaître le type d’une variable ?

• hwoami
• taper
• Type de
• est

Quelle plage de nombres sera créée dans le code suivant: plage (9, 3, -2)

• 9 8 7 6 5 4 4
• 9 7 5 3
• 9 7 5
• 11 9 8 7 6 5 4

Qu'est-ce que l'extrait de code dans le listing vous permet d'exécuter ?

• Extrait de code: print(math.sqrt(2))
• afficher le chiffre 2 de la bibliothèque mathématique
• connecter la bibliothèque mathématique
• mettre au carré un nombre mathématique
• afficher la racine carrée de deux

SQL

Stockage et intégrité des données.
Stockage des données: fichiers de données, journaux, niveaux RAID, Tempdb. Relations dans les bases de données, un à un, un à plusieurs, plusieurs à plusieurs. Intégrité des données: CLÉ PRIMAIRE, CHECK, UNIQUE et FOREIGN KEY. Normalisation des tableaux.

Création d'une base de données et de tables.
Architecture du SGBD: niveaux logiques (tables et types de données, clés, index, vues, assemblys, contraintes, règles, valeurs par défaut) et physiques (fichiers et groupes de fichiers, pages). Création de base de données. Types de données des champs de tableau: nombres exacts, chaînes de caractères Unicode, nombres approximatifs, données binaires, date et heure, autres types de données, chaînes de caractères. Création de tableaux. Où rédiger les demandes ?

Index. Diagrammes.
Index: clusterisés, non clusterisés, identification unique, filtrés, columnstore, hachage, non clusterisés, index optimisés en mémoire. Diagrammes ER: diagrammes de base de données, nœud de base de données. DML et les opérateurs SQL les plus courants: SELECT, INSERT, UPDATE, DELETE. L'importance des facteurs uniques.

Demandes. Connexions externes.
Requêtes sur une table. Échantillonnage sans répétitions. Requêtes sur plusieurs tables. Jointures externes: GAUCHE, DROITE ou COMPLÈTE.

Fonctions agrégées. Sous-requêtes.
Sous-requêtes: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Joindre des données: SELECT JOIN. Fonctions d'agrégation: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Conditions pour les fonctions d'agrégation.

Fonctionnalités utiles.
Un peu plus sur les opérateurs. Demande industrielle. Fonctions utiles: SQRT, RAND, CONCAT, fonctions numériques et chaînes. Priorité des opérations et conversion de type: CAST, CONVERT.

Transactions. Représentation.
Une demande de quatre manières. Transactions: notion de transactions - atomicité, cohérence, isolation, durabilité, gestion des transactions - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Accès aux données en parallèle: problèmes de lecture sale, non répétable, fantômes. Vues: indexées, partitionnées, système.

Variables et boucles.
Début de la programmation. Variables: DÉCLARE, SET, SELECT. Structure des codes. Opérateurs de description de données: CREATE, DROP, ALTER, etc. Opérateurs de manipulation de données: INSERT, DELETE, SELECT, UPDATE, etc. Opérateurs de définition des droits d'accès à la base de données: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Opérateurs de protection, de récupération de données et autres opérateurs. Cycles: PENDANT.

Procédures et fonctions stockées.
Tableaux temporaires. Curseurs Transact-SQL, serveur, client. Types de curseur: unidirectionnel, statique, Keyset, dynamique. Procédures et fonctions stockées: CREATE PROCEDURE, CREATE PROC.

Déclencheurs. Des exceptions.
Convoyeur HF. Déclencheurs: APRÈS, AU LIEU. Exceptions: SAUF. SQL dynamique utilisant un mot-clé et une procédure stockée: EXECUTE IMMEDIATE.

SGBD. Bases de données NoSQL.
Transactions en programmation/SGBD/SQL. Comment les demandes sont exécutées. Comment améliorer les performances des requêtes. Base de données NoSQL et ses avantages.

Évaluation intermédiaire du module
La certification intermédiaire se déroule sous la forme d'un test (test informatique). Exemple d'un bâtiment de test typique:

Quel type de données de champ est de type NUMBER ?

• chaîne
• numérique
• binaire

Quelle commande SQL interroge les données ?

• MODIFIER
• SÉLECTIONNER
• DEPUIS

Qu'est-ce qu'une transaction ?

• il s'agit d'un groupe d'opérations effectuées par le SGBD
• est un groupe d'opérations qui possède des propriétés ACID
• c'est l'opération d'exécution d'une commande SQL