Exécutez et déboguez des cellules de notebook avec Databricks Connect à l’aide de l’extension Databricks pour Visual Studio Code

Vous pouvez exécuter et déboguer des notebooks, une cellule à la fois ou toutes les cellules en même temps, et consulter leurs résultats dans l’interface utilisateur de Visual Studio Code à l’aide de l’extension Databricks pour Visual Studio Code et de l’intégration Databricks Connect. Tout le code est exécuté localement, tandis que tout code impliquant des opérations DataFrame est exécuté sur le cluster dans l’espace de travail Azure Databricks distant et les réponses d’exécution sont renvoyées à l’appelant local. Tout le code est débogué localement, tandis que tout code Spark continue de s’exécuter sur le cluster dans l’espace de travail Azure Databricks distant. Le code principal du moteur Spark ne peut pas être débogué directement depuis le client.

Pour activer l’intégration Databricks Connect pour les notebooks dans l’extension Databricks pour Visual Studio Code, vous devez installer Databricks Connect dans l’extension Databricks pour Visual Studio Code. Consultez Déboguer le code à l’aide de Databricks Connect pour l’extension Databricks pour Visual Studio Code.

Exécuter des cellules de notebook Python

Pour les notebooks dont le nom de fichier comporte une extension .py, lorsque vous ouvrez le notebook dans l’outil d'environnement de développement (IDE) Visual Studio Code, chaque cellule affiche les boutons Run Cell (Exécuter la cellule), Run Above (Exécuter au-dessus) et Debug Cell (Déboguer la cellule). Lorsque vous exécutez une cellule, ses résultats s’affichent dans un onglet séparé de l’IDE. Pendant le débogage, la cellule en cours de débogage affiche les boutons Continue, Stop et Step Over. Lorsque vous déboguez une cellule, vous pouvez utiliser des fonctionnalités de débogage Visual Studio Code telles que l’observation des états des variables et l’affichage de la pile des appels et de la console de débogage.

Pour les notebooks dont le nom de fichier comporte une extension .ipynb, lorsque vous ouvrez le notebook dans l’IDE Visual Studio Code, le notebook et ses cellules contiennent des fonctionnalités supplémentaires. Veuillez consulter les sections Exécution de cellules et Travailler avec des cellules de code dans l’éditeur de notebook.

Pour plus d’informations sur les formats de bloc-notes pour les noms de fichiers avec les extensions .py et .ipynb, consultez Importer et exporter des notebooks Databricks.

Exécuter des cellules de notebook Jupyter Python

Pour exécuter ou déboguer un notebook Jupyter Python (.ipynb) :

1. Dans votre projet, ouvrez le notebook Python Jupyter que vous souhaitez exécuter ou déboguer. Vérifiez que le fichier Python est au format de notebook Jupyter et a l’extension .ipynb.

   Conseil

   Vous pouvez créer un nouveau notebook Python Jupyter en exécutant la commande >Create: New Jupyter Notebook depuis la Command Palette.

2. Cliquez sur Exécuter toutes les cellules pour exécuter toutes les cellules sans débogage, Exécuter la cellule pour exécuter une cellule correspondante individuelle sans débogage ou Exécuter par ligne pour exécuter une cellule individuelle ligne par ligne avec un débogage limité, avec des valeurs variables affichées dans le panneau Jupyter (Afficher > Ouvrir Voir > Jupyter).

   Pour le débogage complet dans une cellule individuelle, définissez des points d’arrêt, puis cliquez sur Déboguer la cellule dans le menu en regard du bouton Exécuter de la cellule.

   Après avoir cliqué sur l’une de ces options, vous pouvez être invité à installer les dépendances de package de notebook Jupyter Python manquantes. Cliquez pour l'installer.

   Pour plus d’informations, consultez Jupyter Notebooks dans VS Code.

Variables globales du notebook

Les variables globales suivantes sont également activées :

• spark, représentant une instance de databricks.connect.DatabricksSession, est préconfigurée pour instancier DatabricksSession en obtenant les informations d’authentification Azure Databricks depuis l’extension. Si DatabricksSession a déjà été instancié dans le code d'une cellule de carnet, ces paramètres DatabricksSession sont utilisés à la place. Veuillez consulter la section Exemples de code pour Databricks Connect pour Python.

• udf, préconfigurée comme alias de pyspark.sql.functions.udf, qui est un alias pour les UDF Python. Veuillez consulter pyspark.sql.functions.udf.

• sql, préconfigurée comme alias de spark.sql. spark, comme expliqué précédemment, représente une instance préconfigurée de databricks.connect.DatabricksSession. Veuillez consulter Spark SQL.

• dbutils, préconfigurée comme instance de Databricks Utilities, importée depuis databricks-sdk et instanciée en obtenant les informations d’authentification Azure Databricks depuis l’extension. Veuillez consulter Utiliser Databricks Utilities.

  Note

  Seul un sous-ensemble de Databricks Utilities est pris en charge pour les notebooks avec Databricks Connect.

  Pour activer dbutils.widgets, vous devez d’abord installer le Kit de développement logiciel (SDK) Databricks pour Python en exécutant la commande suivante dans le terminal de votre ordinateur de développement local :

  pip install 'databricks-sdk[notebook]'
  

• display, préconfigurée comme alias du module intégré Jupyter IPython.display.display. Veuillez consulter IPython.display.display.

• displayHTML, préconfigurée comme alias de dbruntime.display.displayHTML, qui est un alias de display.HTML depuis ipython. Veuillez consulter IPython.display.html.

Magic commands (commandes magiques) de notebook

Les magic commands (commandes magiques) de notebook suivantes sont également activés :

• %fs, équivalent aux appels dbutils.fs. Veuillez consulter la section Mélanger les langages.

• %sh, qui exécute une commande à l’aide de la magic command (commande magique) de cellule %%script sur la machine locale. Cette commande ne s’exécute pas dans l’espace de travail Azure Databricks distant. Veuillez consulter la section Mélanger les langages.

• %md et %md-sandbox, qui exécutent la magic command (commande magique) de cellule %%markdown. Veuillez consulter la section Mélanger les langages.

• %sql, qui exécute spark.sql. Veuillez consulter la section Mélanger les langages.

• %pip, qui exécute pip install sur la machine locale. Cette commande n’exécute pas pip install dans l’espace de travail Azure Databricks distant. Consultez Gérer les bibliothèques avec %pip commandes.

• %run, qui exécute un autre notebook. Veuillez consulter la section Orchestrer des notebooks et modulariser le code dans les notebooks.

  Note

  Pour activer %run, vous devez d’abord installer la bibliothèque nbformat en exécutant la commande suivante dans le terminal de votre ordinateur de développement local :

  pip install nbformat
  

Les fonctionnalités supplémentaires activées incluent :

• Les DataFrames Spark sont convertis en DataFrames pandas, qui sont affichés au format de tableau Jupyter.

Limitations

Les limitations liées à l’exécution de cellules dans des notebooks sous Visual Studio Code incluent :

• Les commandes magiques) de notebook %r et %scala ne sont pas pris en charge et affichent une erreur s’ils sont appelés. Veuillez consulter la section Mélanger les langages.
• La commande magique de notebook %sql ne prend pas en charge certaines commandes DML, telles que Show Tables.