Melhorar a confiabilidade de inicialização de computação usando tipos de nó flexíveis

Os recursos de computação clássicos no Azure Databricks usam tipos de nó flexíveis, o que permite que o recurso de computação volte a tipos de instância alternativos e compatíveis quando o tipo de instância especificado não estiver disponível.

Esse comportamento melhora a confiabilidade de inicialização da computação reduzindo falhas de capacidade (erros de estoque) durante as inicializações de computação. Para instâncias pontuais com fallback, os tipos de nó flexíveis podem tentar adquirir instâncias várias vezes em diferentes tipos de instância antes de voltar para instâncias sob demanda. Isso resulta em um percentual maior de instâncias em execução como spot em vez de sob demanda, reduzindo os custos totais de computação.

Como os tipos de nó flexíveis funcionam

Quando você inicia um recurso de computação, o provedor de nuvem às vezes fica sem capacidade para o tipo de instância especificado. Isso resulta em um erro de saída de estoque:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Embora esses erros sejam mais comuns em instâncias spot, eles também podem ocorrer em instâncias sob demanda.

Com tipos de nó flexíveis habilitados, o Azure Databricks gera ou utiliza automaticamente sua lista de alternativa especificada de tipos de instância compatíveis. Se o tipo de instância preferencial não estiver disponível, o Azure Databricks tentará adquirir esses tipos de instância de backup em vez de falhar imediatamente.

Habilitar tipos de nós flexíveis em seu ambiente de trabalho

Administradores do espaço de trabalho podem ativar tipos de nós flexíveis nas configurações de administração do espaço de trabalho. Quando ativado, todos os novos recursos de computação clássicos no workspace usarão tipos de nós flexíveis, a menos que sejam explicitamente desativados.

1. Como administrador do workspace, acesse a página de configurações.
2. Clique na guia Computação .
3. Alterne a configuração Habilitar tipos de nó flexíveis automáticos :
   • Habilitado: todos os novos recursos de computação clássicos usam automaticamente tipos de nó flexíveis, a menos que sejam desabilitados explicitamente.
   • Desabilitado: os recursos de computação clássicos só usam tipos de nó flexíveis se você configurar node_type_flexibility explicitamente na configuração de recursos de computação.

Essa configuração em todo o workspace não afeta os recursos de computação existentes. Quando desabilitados, os usuários ainda podem configurar tipos de nó flexíveis para recursos de computação individuais configurando explicitamente os campos worker_node_type_flexibility ou driver_node_type_flexibility com listas de fallback personalizadas. Para impedir que os usuários configurem esses campos, os administradores do workspace podem usar políticas de computação. Veja exemplos de políticas de tipo de nó flexível.

Especificar uma lista de fallback personalizada

Quando tipos de nó flexíveis são habilitados em seu workspace, o Azure Databricks gera automaticamente uma lista de substituição de tipos de instância compatíveis para novos recursos de computação.

Se você não quiser usar a lista de fallback gerada automaticamente, poderá especificar sua própria lista de fallback. Além disso, se os tipos de nó flexíveis estiverem desabilitados em seu espaço de trabalho, você ainda poderá especificar uma lista de alternativa personalizada para o recurso de computação. Somente determinados tipos de instância são compatíveis. Consulte os requisitos de tipo de instância de Fallback. Para obter uma referência de tipos de instância compatíveis, consulte a referência de compatibilidade de tipo de nó flexível.

As listas de fallback personalizadas só têm suporte ao configurar a computação usando a API. Consulte a documentação de referência da API de Clusters .

Por exemplo, a configuração a seguir especifica para qual tipo de instância o recurso de computação retornará, se necessário:

  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Requisitos para tipo de instância fallback

Os tipos de instância de fallback devem ser compatíveis com o tipo de instância preferencial da computação. Sua lista de tipos de instância de fallback deve atender aos seguintes requisitos:

• Mesmo número de vCPUs e memória que o tipo de instância preferencial (instâncias de reserva devem ter entre 100% e 110% da memória do tipo de instância preferencial)
• Mesmo número de discos locais e tamanho de disco que o tipo de instância preferencial
• Mesma arquitetura de CPU que o tipo de instância preferencial (todos os ARM ou todos os x86)
• Mesma imagem do sistema operacional e suporte ao Photon assim como o tipo de instância preferido.
• Não há tipos de instância de GPU (não há suporte para GPUs)
• Máximo de 5 tipos de instância de substituição exclusivos

• Todos os tipos de instância devem ter suporte de armazenamento consistente: todos suportam armazenamento PREMIUM_LRS ou nenhum deles suporta.

Usar tipos de nó flexíveis com pools

Você também pode personalizar uma lista de fallback para pools. Na API de Pools, defina o campo node_type_flexibility para especificar os tipos de instância de substituição. Por exemplo:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Os pools não dão suporte ao uso de tipos de instância flexíveis para manter a contagem ociosa mínima. Pool só pode iniciar VMs usando os tipos de instância de fallback quando se tenta iniciar uma computação a partir do pool. O pré-aquecimento do contador minIdle usa apenas o tipo de instância preferido.

Visualizar os tipos de instância adquiridos

Ao usar tipos de nó flexíveis, o recurso de computação pode consistir em uma combinação de diferentes tipos de instância. Todos os tipos de instância de fallback são compatíveis com seu tipo preferencial, mantendo a mesma contagem de vCPU, memória, layout de disco, arquitetura de CPU e imagem do sistema operacional para garantir que sua carga de trabalho seja executada corretamente.

Você pode exibir quais tipos de instância foram adquiridos para o recurso de computação:

1. Na página de detalhes de computação, clique nos três pontos ao lado do botão Encerrar e selecione Exibir JSON.
2. Examine o node_type_id campo de cada executor para ver quais tipos de instância estão em execução.

Você também pode usar a API obter informações de clusters para recuperar essas informações programaticamente. Além disso, os usuários com permissão para acessar tabelas do sistema podem consultar a node_timelines tabela. Consulte Esquema da tabela de linha do tempo do nó.

Desabilitar tipos de nó flexíveis em um recurso de computação

Se você preferir que a inicialização da computação falhe em vez de fazer fallback para um tipo de instância alternativa, poderá desabilitar o comportamento do nó flexível no nível de computação-recurso individual. Isso só tem suporte ao usar a API de Clusters. Para desabilitar tipos de nó flexíveis, defina os campos de tipo de nó flexíveis como vazios na configuração de computação. Por exemplo:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}