Configurer l’environnement serverless

Cet article explique comment utiliser le panneau latéral Environnement d’un notebook serverless pour configurer les dépendances, les politiques budgétaires serverless, la mémoire et la version de l’environnement. Ce panneau fournit un emplacement unique pour gérer les paramètres serverless du notebook. Les paramètres configurés dans ce panneau s’appliquent uniquement lorsque le notebook est connecté au calcul serverless.

Pour développer le volet latéral Environnement , cliquez sur le bouton à droite du bloc-notes.

Utiliser le calcul GPU serverless

Procédez comme suit pour utiliser le calcul GPU serverless sur votre notebook Databricks :

1. Dans un bloc-notes, cliquez sur le menu déroulant Se connecter en haut et sélectionnez GPU serverless.
2. Cliquez sur Pour ouvrir le volet latéral Environnement .
3. Sélectionnez A10 dans le champ Accélérateur .
4. Sélectionnez Aucun pour l’environnement par défaut ou l’IA v4 pour l’environnement IA dans le champ Environnement de base .
5. Si vous avez choisi None dans le champ Environnement de base , sélectionnez la version de l’environnement.
6. Cliquez sur Appliquer , puis Confirmez que vous souhaitez appliquer le calcul GPU serverless à votre environnement de notebook.

Pour plus d’informations, consultez le calcul GPU sans serveur.

Utiliser un calcul serverless à mémoire élevée

Si vous rencontrez des erreurs de mémoire insuffisante dans votre notebook, vous pouvez configurer le notebook pour qu’il utilise une taille de mémoire supérieure. Ce paramètre augmente la taille de la mémoire REPL utilisée lors de l’exécution du code dans le notebook. Elle n’affecte pas la taille de mémoire de la session Spark. L’utilisation serverless avec une mémoire élevée a un taux d’émission DBU plus élevé que la mémoire standard.

1. Dans l’interface utilisateur du bloc-notes, cliquez sur le panneau latéral Environnement.
2. Sous Mémoire, sélectionnez Haute mémoire.
3. Cliquez sur Appliquer.

Ce paramètre s’applique également aux tâches de travail de bloc-notes, qui s’exécutent à l’aide des préférences de mémoire du bloc-notes. La mise à jour des préférences de mémoire dans le notebook affecte l’exécution du travail suivant.

Sélectionner une stratégie de budget sans serveur

Les politiques de budget sans serveur permettent à votre organisation d’appliquer des étiquettes personnalisées sur l’utilisation sans serveur pour une attribution détaillée des coûts.

Si votre espace de travail utilise des stratégies budgétaires serverless pour attribuer l’utilisation serverless, vous pouvez sélectionner la stratégie budgétaire serverless que vous souhaitez appliquer au notebook. Si un utilisateur n’est affecté qu’à une seule stratégie de budget serverless, cette stratégie est sélectionnée par défaut.

Vous pouvez sélectionner la stratégie de budget sans serveur une fois que votre notebook est connecté au calcul sans serveur à l’aide du panneau latéral Environnement :

1. Dans l’interface utilisateur du bloc-notes, cliquez sur le panneau latéral Environnement.
2. Sous Stratégie de budget, sélectionnez la stratégie de budget sans serveur que vous souhaitez appliquer à votre bloc-notes.
3. Cliquez sur Appliquer.

Une fois cette configuration terminée, toutes les utilisations de notebook héritent des balises personnalisées de la stratégie de budget serverless.

Sélectionner une version d’environnement

Les versions d’environnement permettent aux charges de travail serverless de recevoir des mises à niveau de moteur indépendantes sans affecter la compatibilité des applications. Pour plus d’informations sur chaque version de l’environnement, consultez les versions d’environnement serverless. Databricks recommande de choisir la dernière version pour obtenir les fonctionnalités de notebook les plus récentes.

Pour sélectionner une version d’environnement :

1. Dans l’interface utilisateur du bloc-notes, cliquez sur le panneau latéral Environnement.
2. Sous Version de l’environnement, sélectionnez une version.
3. Cliquez sur Appliquer.

Ajouter des dépendances au notebook

Étant donné que serverless ne prend pas en charge les stratégies de calcul ni les scripts init, vous devez ajouter des dépendances personnalisées à l’aide du panneau latéral Environnement . Vous pouvez ajouter des dépendances individuellement ou utiliser un environnement de base partageable pour installer plusieurs dépendances.

Pour ajouter individuellement une dépendance :

1. Dans l’interface utilisateur du bloc-notes, cliquez sur le panneau latéral Environnement.

2. Dans la section Dépendances , cliquez sur Ajouter une dépendance et entrez le chemin d’accès de la dépendance dans le champ. Vous pouvez spécifier une dépendance dans n’importe quel format valide dans un fichier requirements.txt. Les fichiers de roue Python ou les projets Python (par exemple, le répertoire contenant un pyproject.toml ou un setup.py) peuvent se trouver dans des fichiers d’espace de travail ou des volumes catalogue Unity.

   • Si vous utilisez un fichier d’espace de travail, le chemin d’accès doit être absolu et commencer par /Workspace/.
   • Si vous utilisez un fichier dans un volume de catalogue Unity, le chemin d’accès doit être au format suivant : /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Cliquez sur Appliquer. Cela installe les dépendances dans l’environnement virtuel du notebook et redémarre le processus Python.

Pour afficher les dépendances installées, cliquez sur l’onglet Installé dans le volet latéral Environnements . Les journaux d’installation pip pour l’environnement de notebook sont également disponibles en cliquant sur les journaux pip en bas du panneau.

Ajouter des dépendances à un environnement de base

Un environnement de base est un fichier YAML stocké en tant que fichier d’espace de travail ou sur un volume Unity Catalog qui spécifie des dépendances d’environnement supplémentaires. Vous pouvez sélectionner l’un des environnements de base de votre espace de travail dans le menu déroulant Environnement de base ou sélectionner Personnalisé pour utiliser une spécification d’environnement personnalisée.

Vous pouvez installer des dépendances supplémentaires individuellement au-dessus d’un environnement de base. Les dépendances installées individuellement remplacent ou étendent l’environnement de base pour ce notebook.

Pour obtenir des instructions d’administrateur d’espace de travail, consultez Gérer les environnements de base serverless.

Créer une spécification d’environnement personnalisée

Vous pouvez créer et réutiliser des spécifications d’environnement personnalisées.

1. Dans un notebook serverless, sélectionnez une version d’environnement et ajoutez les dépendances que vous souhaitez installer.
2. Cliquez sur l’icône de menu En bas du panneau d’environnement, cliquez sur Exporter l’environnement.
3. Enregistrez la spécification en tant que fichier d’espace de travail ou dans un volume de catalogue Unity.

Pour utiliser votre spécification d’environnement personnalisée dans un bloc-notes, sélectionnez Personnalisé dans le menu déroulant De l’environnement de base , puis utilisez l’icône de dossier re :[Icône dossier] pour sélectionner votre fichier YAML.

Créer des utilitaires communs à partager dans votre espace de travail

L’exemple suivant montre comment stocker un utilitaire commun dans un fichier d’espace de travail et l’ajouter en tant que dépendance dans votre notebook serverless :

1. Créez un dossier avec la structure suivante. Vérifiez que les consommateurs de votre projet disposent d’un accès approprié au chemin d’accès au fichier :

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Remplissez pyproject.toml comme suit :

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Ajoutez une fonction au init.py fichier. Par exemple:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Dans l’interface utilisateur du bloc-notes, cliquez sur du volet Environment icon.Environnement.

5. Dans la section Dépendances, cliquez sur Ajouter une dépendance, puis entrez le chemin d’accès de votre fichier utilitaire. Par exemple : /Workspace/helper_utils.

6. Cliquez sur Appliquer.

Vous pouvez maintenant utiliser la fonction dans votre bloc-notes :

from helpers import greet
print(greet('world'))

Cette sortie est la suivante :

Hello, world!

Réinitialiser les dépendances d’environnement

Si votre notebook est connecté à un calcul serverless, Databricks met automatiquement en cache le contenu de l’environnement virtuel du notebook. Cela signifie que vous n’avez généralement pas besoin de réinstaller les dépendances Python spécifiées dans le panneau latéral Environment lorsque vous ouvrez un notebook existant, même s’il a été déconnecté en raison de l’inactivité.

La mise en cache de l’environnement virtuel Python s’applique également aux travaux. Lorsqu’un travail est exécuté, toute tâche du travail qui partage le même ensemble de dépendances qu’une tâche terminée dans cette exécution est plus rapide, car les dépendances requises sont déjà disponibles.

Pour effacer le cache d’environnement et effectuer une nouvelle installation des dépendances spécifiées dans le panneau latéral Environnement d’un bloc-notes attaché au calcul serverless, cliquez sur la flèche en regard de Appliquer , puis sur Réinitialiser les valeurs par défaut.

Si vous installez des packages qui arrêtent ou modifient le bloc-notes principal ou l’environnement Apache Spark, supprimez les packages incriminés, puis réinitialisez l’environnement. Le démarrage d’une nouvelle session n’efface pas l’intégralité du cache d’environnement.

Configurer les référentiels de package Python par défaut

Les administrateurs d’espace de travail peuvent configurer des référentiels de package privés ou authentifiés dans les espaces de travail comme configuration pip par défaut pour les notebooks serverless et les travaux serverless. Cela permet aux utilisateurs d’installer des packages à partir de référentiels Python internes sans définir explicitement index-url ou extra-index-url.

Pour obtenir des instructions, les administrateurs d’espace de travail peuvent consulter Configurer les référentiels de package Python par défaut.

Configurer l’environnement pour les tâches de travail

Pour les types de tâches de travail tels que notebook, script Python, Roue Python, JAR ou tâches dbt, les dépendances de bibliothèque sont héritées de la version de l’environnement serverless. Pour afficher la liste des bibliothèques installées, consultez la section Bibliothèques Python installées ou Bibliothèques Java et Scala installées de la version de l’environnement que vous utilisez. Si une tâche nécessite une bibliothèque qui n’est pas installée, vous pouvez installer la bibliothèque à partir de fichiers d’espace de travail, de volumes de catalogue Unity ou de référentiels de packages publics.

Pour les carnets avec l'environnement d'un carnet existant, vous pouvez exécuter la tâche en utilisant l'environnement du carnet ou le remplacer en sélectionnant un environnement au niveau de la tâche à la place.

Pour ajouter une bibliothèque lorsque vous créez ou modifiez une tâche de travail :

1. Dans le menu déroulant Environnement et bibliothèques, cliquez sur en regard de l’environnement par défaut ou cliquez sur + Ajouter un nouvel environnement.

   

2. Sélectionnez la version de l’environnement dans la liste déroulante Version de l’environnement. Consultez les Versions de l’environnement serverless. Databricks recommande de choisir la dernière version pour obtenir les fonctionnalités les plus récentes.

3. Dans la boîte de dialogue Configurer l’environnement, cliquez sur + Ajouter une bibliothèque.

4. Sélectionnez le type de dépendance dans le menu déroulant sous Bibliothèques.

5. Dans la zone de texte Chemin d’accès au fichier, entrez le chemin d’accès à la bibliothèque.

• Pour une roue Python dans un fichier d’espace de travail, le chemin d’accès doit être absolu et commencer par /Workspace/.

• Pour une roue Python dans un volume Unity Catalog, le chemin d’accès doit être /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Pour un fichier requirements.txt, sélectionnez PyPi et entrez -r /path/to/requirements.txt.

  

1. Cliquez sur Confirmer ou + Ajouter une bibliothèque pour ajouter une autre bibliothèque.
2. Si vous ajoutez une tâche, cliquez sur Créer une tâche. Si vous modifiez une tâche, cliquez sur Enregistrer la tâche.