MLOps - tarif 80 000 roubles. d'Otus, formation 5 mois, date 30 novembre 2023.
Miscellanea / / November 30, 2023
Vous maîtriserez toutes les compétences d’apprentissage automatique nécessaires au streaming de données et aux environnements distribués. Le programme comprend les connaissances nécessaires dans les domaines de la science des données et de l'ingénierie des données, qui vous permettront de traiter du Big Data et d'écrire des algorithmes distribués dans Spark.
Vous pratiquerez chaque module en faisant vos devoirs. A la fin de la formation, vous disposerez d'un projet final qui vous permettra de synthétiser toutes les connaissances que vous avez acquises et de les ajouter à votre portfolio. Cela peut être réalisé dans le cadre de tâches de travail sur votre ensemble de données ou être un projet d'apprentissage basé sur les données fournies par OTUS.
A qui est destiné ce cours?
Pour les spécialistes du Machine Learning ou les ingénieurs logiciels qui souhaitent apprendre à travailler avec le Big Data. En règle générale, de telles tâches existent dans les grandes entreprises informatiques proposant un produit numérique à grande échelle.
Pour les Data Scientists qui souhaitent renforcer leurs compétences avec des compétences en ingénierie. Grâce au cours, vous serez capable de traiter des données et d'afficher de manière autonome les résultats des solutions ML en production.
Pour apprendre, vous aurez besoin de compétences de base en science des données. Nous vous proposons de consulter les cours Map of Data Science de l’OTUS pour connaître le niveau de formation requis.
Tu vas apprendre:
- Utiliser les outils de pipeline ML standard dans un environnement distribué ;
- Développez vos propres blocs pour les pipelines ML ;
- Adapter les algorithmes ML aux environnements distribués et aux outils Big Data ;
- Utiliser Spark, SparkML, Spark Streaming ;
- Développer des algorithmes de préparation de données en streaming pour l'apprentissage automatique ;
- Assurer le contrôle qualité à toutes les étapes du passage des solutions ML à l'exploitation industrielle.
Demande de spécialistes
Les compétences que vous maîtriserez sont aussi appliquées et prometteuses que possible. De plus en plus de produits numériques apparaissent sur le marché, dont le développement nécessite de travailler avec le big data et le traitement des flux. Déjà maintenant, les spécialistes possédant un tel pool de compétences et une certaine expérience professionnelle peuvent prétendre à un salaire de 270 000. roubles Autre tendance - l'automatisation des processus de formation et de validation, au contraire, dévalorise en quelque sorte le travail d'un Data Scientist classique. Tout évolue vers le point où même un non-spécialiste peut faire une prédiction d’ajustement. Par conséquent, ceux qui possèdent au moins des compétences superficielles en ingénierie sont déjà privilégiés.
Caractéristiques du cours
Beaucoup de pratique avec les données
Large gamme de compétences, du ML distribué et du traitement des données en flux jusqu'à la sortie de production
Outils et technologies actuels: Scala, Spark, Python, Docker
Communication en direct avec des experts via des webinaires et le chat Slack
4
coursEngagé dans le développement d’une équipe Data Science qui fournit des fonctionnalités basées sur l’apprentissage automatique pour les produits et services de l’entreprise. En tant que Data Scientist, il a participé au développement de Kaspersky MLAD et MDR AI Analyst. DANS...
Engagé dans le développement d’une équipe Data Science qui fournit des fonctionnalités basées sur l’apprentissage automatique pour les produits et services de l’entreprise. En tant que Data Scientist, il a participé au développement de Kaspersky MLAD et MDR AI Analyst. En tant que développeur C++, il a participé à la création de MaxPatrol SIEM et enseigne l'informatique depuis de nombreuses années. disciplines scientifiques au MSTU GA. Auteur d'une série de rapports sur la gestion et le développement de projets ML, C++, DS équipes. Membre de la conférence PC C++ Russie. Gestionnaire de programme
8
coursPlus de 20 ans d'expérience dans des projets de développement personnalisés en informatique. Des dizaines de projets réussis, y compris ceux sous contrats gouvernementaux. Expérience dans le développement et la mise en œuvre de systèmes ERP, de solutions open source, de prise en charge d'applications à forte charge. Enseignant de cours sur...
Plus de 20 ans d'expérience dans des projets de développement personnalisés en informatique. Des dizaines de projets réussis, y compris ceux sous contrats gouvernementaux. Expérience dans le développement et la mise en œuvre de systèmes ERP, de solutions open source, de prise en charge d'applications à forte charge. Professeur de cours sur Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE, ainsi que mentor du cours HighLoad
1
BienSpécialiste du travail avec le Big Data et l'apprentissage automatique. Pendant 8 ans, il a travaillé chez Odnoklassniki.ru. Management de l'équipe OK Data Lab (laboratoire pour les chercheurs dans le domaine du big data et des machines...
Spécialiste du travail avec le Big Data et l'apprentissage automatique. Pendant 8 ans, il a travaillé chez Odnoklassniki.ru. Management de l'équipe OK Data Lab (un laboratoire pour les chercheurs dans le domaine du big data et du machine learning). L'analyse des mégadonnées à Odnoklassniki est devenue une occasion unique de combiner formation théorique et fondement scientifique avec le développement de produits réels et demandés. Depuis 2019, il travaille à la Sberbank en tant que directeur général. Agit à titre de leader du cluster pour le développement d'une plateforme de systèmes de recommandation dans la division personnalisation de masse. Il est diplômé de l'Université d'État de Saint-Pétersbourg en 2004, où il a soutenu son doctorat en méthodes logiques formelles en 2007. J'ai travaillé dans l'externalisation pendant près de 9 ans sans perdre le contact avec le milieu universitaire et scientifique.
Introduction de base pour commencer le cours
-Thème 1.Descente de gradient et modèles linéaires
-Sujet 2.Aperçu des méthodes et métriques de base d'apprentissage automatique
-Thème 3.Évolution des approches de travail avec les données
-Sujet 4.Bases de la programmation en Scala
Base technologique du traitement distribué des données
-Sujet 5. Systèmes de fichiers distribués
-Thème 6. Gestionnaires de ressources dans les systèmes distribués
-Thème 7. Evolution des frameworks informatiques massivement parallèles et distribués
-Sujet 8. Bases d'Apache Spark 1
-Sujet 9. Bases d'Apache Spark 2
Bases du ML distribué
-Thème 10. Transfert d'algorithmes ML vers un environnement distribué
-Sujet 11.ML dans Apache Spark
-Sujet 12.Développer vos propres blocs pour SparkML
-Thème 13.Optimisation des hyperparamètres et AutoML
Traitement des flux
-Sujet 14. Traitement des données de flux
-Sujet 15. Bibliothèques tierces à utiliser avec Spark
-Thème 16.Spark Streaming
-Sujet 17. Streaming structuré et continu dans Spark
-Sujet 18.Cadres de streaming alternatifs
Fixation des objectifs et analyse des résultats
-Thème 19. Détermination de l'objectif du projet ML et analyse préliminaire
-Sujet 20. Objectifs de ML à long terme en utilisant l'exemple de la tâche de réduction du taux de désabonnement
-Sujet 21.Tests A/B
-Sujet 22.Sujets supplémentaires
Production des résultats du ML en production
-Thème 23. Approches pour mettre en production des solutions ML
-Thème 24. Versionnement, reproductibilité et suivi
-Sujet 25. Service en ligne de modèles
-Sujet 26. Modèles pour le streaming asynchrone ML et ETL
-Sujet 27. Si vous avez besoin de Python
ML en Python en production
-Sujet 28.Code de production en Python. Code d'organisation et d'emballage
-Sujet 29.Architecture REST: API Flask
-Thème 30.Docker: Structure, application, déploiement
-Sujet 31.Kubernetes, orchestration de conteneurs
-Thème 32.Outils MLOPS pour Kubernetes: KubeFlow, Seldon Core. Caractéristiques du fonctionnement de systèmes hétérogènes dans l'industrie.
-Thème 33.Amazon Sagemaker
-Sujet 34.AWS ML Service
Sujets avancés
-Thème 35. Réseaux de neurones
-Thème 36. Apprentissage distribué et inférence de réseaux de neurones
-Sujet 37.Augmentation du dégradé sur les arbres
-Thème 38. Apprentissage par renforcement
Travail de projet
-Thème 39. Sélection du sujet et organisation du travail du projet
-Thème 40. Consultation sur les projets et les devoirs
-Thème 41.Protection des travaux de conception