Implémenter une solution Machine Learning avec Azure Databricks

Ce cours s’adresse aux :

• Data Scientists
• Data Engineers
• Data Analysts
• Ingénieurs Machine Learning
• Développeurs IA
• Développeurs logiciels
• Architectes de solutions Cloud
• Managers IT et décideurs
• Développeurs de Business Intelligence
• Toute personne intéressée par la mise en œuvre de solutions de Machine Learning en utilisant Azure Databricks

À l'issue de la formation, les participants seront capables de :

• Maîtriser l’architecture Azure Databricks & Apache Spark
• Gérer les espaces de travail et les clusters dans Databricks
• Utiliser les options de stockage de données comme Data Lake Storage, SQL Data Warehouse et Cosmos DB
• Prétraiter et nettoyer les données pour les modèles de machine learning
• Entrainer et évaluer les modèles pour la classification, la régression et le clustering
• Tirer parti d’AutoML pour l’ajustement des hyperparamètres
• Déployer et gérer des modèles dans des environnements de production
• Surveiller et dépanner des pipelines de machine learning
• Appliquer des techniques d’apprentissage supervisées et non supervisées
• Comprendre les algorithmes d’apprentissage courants de machine learning et leurs applications
• Utiliser Spark MLlib, TensorFlow et PyTorch pour le développement de modèles
• Réaliser l’ingénierie des fonctionnalités et la réduction de la dimensionnalité
• Mettre en œuvre des techniques de fractionnement des données, de validation croisée et d'évaluation.
• Sélectionner et régler les hyperparamètres pour une performance optimale du modèle.
• Interpréter les résultats du modèle et les explications possibles
• Déployer des modèles en tant que services en utilisant MLflow et Databricks Model
• Intégrer des modèles avec des applications web et d’autres systèmes
• Surveiller et diagnostiquer les performances des modèles en production
• Comprendre la valeur business du machine learning et ses applications
• Découvrir les bonnes pratiques pour la construction et le déploiement de solutions de machine learning
• Préparer les rôles de data scientist et de machine learning engineer dans le cloud

Module 1 : explorer Azure Databricks

• Azure Databricks est un service de cloud qui fournit une plateforme à l’échelle pour les analyses de données en utilisant Apache Spark.
• Provisionner un espace de travail Azure Databricks
• Identifier les principaux workloads et les personas pour Azure Databricks.
• Décrire les concepts clés d’une solution Azure Databricks

Module 2 : utiliser Apache Spark dans Azure Databricks

• Azure Databricks est basé sur Apache Spark et permet aux data engineers et aux data analysts d’exécuter des jobs Spark pour transformer, analyser et visualiser des données à grande échelle.
• Décrire les éléments clés de l’architecture Apache Spark
• Créer et configurer un cluster Spark
• Décrire les cas d’utilisation de Spark
• Utiliser Spark pour traiter et analyser des données stockées dans des fichiers et visualiser des données

Module 3 : entrainer un modèle de machine learning dans Azure Databricks

• Le machine learning consiste à utiliser des données pour entrainer un modèle prédictif. Azure Databricks prend en charge plusieurs frameworks d'apprentissage automatique couramment utilisés, que vous pouvez utiliser pour entrainer des modèles.
• Préparer les données pour l’apprentissage automatique
• Entrainer un modèle de machine learning
• Evaluer un modèle de machine learning

Module 4 : utiliser MLflow dans Azure Databricks

• MLflow est une plate-forme open source pour la gestion du cycle de vie du machine learning qui est nativement supportée dans Azure Databricks
• Utiliser MLflow pour enregistrer les paramètres, les métriques et d’autres informations d’expérimentation à lancer
• Utiliser MLflow pour gérer et déployer les modèles entrainés

Module 5 : Ajuster les hyperparamètres dans Azure Databricks

• L’ajustement des hyperparamètres est une partie essentielle du machine learning. Dans Azure Databricks, vous pouvez utilizer la bibliothèques Hyperopt pour optimiser automatiquement les hyperparamètres.
• Utiliser la bibliothèque Hyperopt pour optimiser les hyperparamètres
• Distribuer l’ajustement des hyperparamètres au travers de plusieurs nœuds de travail

Module 6 : utiliser AutoML dans Azure Databricks

• AutoML dans Azure Databricks simplifie le processus de construction d’un modèle de machine learning efficace pour vos données.
• Utiliser l’interface utilisateur AutoML dans Azure Databricks
• Utiliser l’API AutoML dans Azure Databricks

Module 7 : entrainer des modèles de deep learning dans Azure Databricks

• Le deep learning utilise des réseaux neuronaux pour entrainer des modèles de machine learning très efficaces pour des prévisions complexes, la vision par ordinateur, le traitement du langage naturel et d’autres travaux d’intelligence artificielle
• Entrainer un modèle de deep learning dans Azure Databricks
• Distribuer l’entrainement deep learning en utilisant la bibliothèque Horovod

Les stagiaires doivent avoir les prérequis suivants :

• Avoir de l’expérience dans l’utilisation de Python pour explorer des données
• Avoir de l’expérience dans l’entrainement de modèles de machine learning avec des frameworks open source comme Scikit Learn, PyTorch et TensorFlow

Les participants réalisent un test d'évaluation des connaissances en amont et en aval de la formation pour valider les connaissances acquises pendant la formation.

Un support de cours officiel sera remis aux stagiaires.