Améliorer la fiabilité du lancement de calcul à l’aide de types de nœuds flexibles

Les ressources de calcul classiques dans Azure Databricks utilisent des types de nœuds flexibles, ce qui permet à votre ressource de calcul de revenir à d’autres types d’instances compatibles lorsque votre type d’instance spécifié n’est pas disponible.

Ce comportement améliore la fiabilité du lancement de calcul en réduisant les défaillances de capacité (erreurs de stockout) pendant les lancements de calcul. Pour les instances spot avec secours, les types de nœuds flexibles peuvent tenter d’acquérir des instances plusieurs fois au sein de différents types d’instances avant de basculer vers les instances à la demande. Cela entraîne un pourcentage plus élevé d’instances s’exécutant comme spot au lieu d’être à la demande, ce qui réduit vos coûts de calcul totaux.

Fonctionnement des types de nœuds flexibles

Lorsque vous lancez une ressource de calcul, votre fournisseur de cloud manque parfois de capacité pour votre type d’instance spécifié. Cela entraîne une erreur de stockout :

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Bien que ces erreurs soient plus courantes pour les instances spot, elles peuvent également se produire pour les instances à la demande.

Avec les types de nœuds flexibles activés, Azure Databricks génère ou utilise automatiquement votre liste de secours spécifiée des types d’instances compatibles. Si votre type d’instance préféré n’est pas disponible, Azure Databricks tente d’acquérir ces types d’instances de sauvegarde au lieu d’échouer immédiatement.

Activer des types de nœuds flexibles dans votre espace de travail

Les administrateurs d’espace de travail peuvent activer des types de nœuds flexibles dans leurs paramètres d’administrateur d’espace de travail. Lorsque cette option est activée, toutes les nouvelles ressources de calcul classiques de l’espace de travail utilisent des types de nœuds flexibles, sauf si elles sont explicitement désactivées :

1. En tant qu’administrateur(-trice) de l’espace de travail, accédez à la page paramètres.
2. Cliquez sur l’onglet Calcul .
3. Activez le paramètre Activer les types de nœuds flexibles automatiquement :
   • Activé : toutes les nouvelles ressources de calcul classiques utilisent automatiquement des types de nœuds flexibles, sauf si elles sont désactivées explicitement.
   • Désactivé : les ressources de calcul classiques utilisent uniquement des types de nœuds flexibles si vous configurez node_type_flexibility explicitement dans la configuration des ressources de calcul.

Ce paramètre à l’échelle de l’espace de travail n’affecte pas les ressources de calcul existantes. Lorsque désactivé, les utilisateurs peuvent toujours configurer des types de nœuds flexibles pour des ressources de calcul individuelles en configurant explicitement les champs worker_node_type_flexibility ou driver_node_type_flexibility avec des listes de secours personnalisées. Pour empêcher les utilisateurs de configurer ces champs, les administrateurs d’espace de travail peuvent utiliser des stratégies de calcul. Consultez des exemples de stratégie de type de nœud flexible.

Spécifier une liste de secours personnalisée

Lorsque des types de nœuds flexibles sont activés dans votre espace de travail, Azure Databricks génère automatiquement une liste de secours de types d’instances compatibles pour les nouvelles ressources de calcul.

Si vous ne souhaitez pas utiliser la liste de secours générée automatiquement, vous pouvez spécifier votre propre liste de secours à la place. En outre, si des types de nœuds flexibles sont désactivés dans votre espace de travail, vous pouvez toujours spécifier une liste de secours personnalisée pour votre ressource de calcul. Seuls certains types d’instances sont compatibles. Voir les exigences pour les types d'instance de secours. Pour obtenir une référence de types d’instances compatibles, consultez la référence de compatibilité de type de nœud flexible.

Les listes de secours personnalisées sont prises en charge uniquement lors de la configuration du calcul à l’aide de l’API. Consultez la documentation de référence de l’API Clusters .

Par exemple, la configuration suivante spécifie le type d’instance auquel la ressource de calcul revient si nécessaire :

  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Exigences de type d’instance de secours

Les types d’instances de secours doivent être compatibles avec le type d’instance préféré du calcul. Votre liste de types d’instances de secours doit répondre aux exigences suivantes :

• Même nombre de processeurs virtuels et mémoire que le type d’instance préféré (les instances de secours doivent avoir entre 100% et 110% de la mémoire du type d’instance préféré)
• Même nombre de disques locaux et de taille de disque que le type d’instance préféré
• Même architecture de processeur que le type d’instance préféré (tout ARM ou tout x86)
• Même image de système d’exploitation et prise en charge photon que le type d’instance préféré
• Aucun type d’instance GPU (les GPU ne sont pas pris en charge)
• Maximum de 5 types d’instances de secours uniques

• Tous les types d’instances doivent avoir une prise en charge cohérente du stockage : soit toutes prennent en charge le stockage PREMIUM_LRS, soit aucune ne le fait.

Utiliser des types de nœuds flexibles avec des pools

Vous pouvez également personnaliser une liste de secours pour des groupes de serveurs. Dans l’API Pools, définissez le node_type_flexibility champ pour spécifier les types d’instances de secours. Par exemple:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Les pools ne prennent pas en charge l’utilisation de types d’instances flexibles pour maintenir le nombre minimal d’inactivités. Le pool ne peut lancer que des machines virtuelles à l’aide des types d’instances de secours lorsqu’un lancement de calcul à partir du pool est tenté. Le préchauffage du nombre minIdle utilise uniquement le type d’instance préféré.

Afficher les types d’instances acquis

Lorsque vous utilisez des types de nœuds flexibles, votre ressource de calcul peut être constituée d’un mélange de différents types d’instances. Tous les types d’instances de secours sont compatibles avec votre type préféré, en conservant le même nombre de processeurs virtuels, la mémoire, la disposition du disque, l’architecture du processeur et l’image du système d’exploitation pour vous assurer que votre charge de travail s’exécute correctement.

Vous pouvez afficher les types d’instances acquis pour votre ressource de calcul :

1. Dans la page des détails du calcul, cliquez sur les trois points en regard du bouton Terminer , puis sélectionnez Afficher json.
2. Passez en revue le node_type_id champ de chaque exécuteur pour voir quels types d’instances sont en cours d’exécution.

Vous pouvez également utiliser l’API Obtenir des informations sur les clusters pour récupérer ces informations par programmation. En outre, les utilisateurs disposant de l’autorisation d’accéder aux tables système peuvent interroger la node_timelines table. Consultez le Schéma de la table de chronologie de nœud.

Désactiver les types de nœuds flexibles sur une ressource de calcul

Si vous préférez que le lancement du calcul échoue plutôt que de basculer vers un autre type d’instance, vous pouvez désactiver le comportement de nœud flexible au niveau de la ressource de calcul individuelle. Cela n’est pris en charge que lors de l’utilisation de l’API Clusters. Pour désactiver les types de nœuds flexibles, définissez les champs de type de nœud flexibles comme vides dans la configuration de calcul. Par exemple:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}