Partilhar via

Como definir configurações de clusters de Big Data após a implantação

Aplica-se a:SQL Server 2019 (15.x)

Important

Os Clusters de Big Data do Microsoft SQL Server 2019 foram desativados. O suporte para clusters de Big Data do SQL Server 2019 terminou em 28 de fevereiro de 2025. Para obter mais informações, consulte a postagem no blog de anúncios e as opções de Big Data na plataforma microsoft SQL Server.

As configurações com escopo de cluster, serviço e recurso para Clusters de Big Data do SQL Server podem ser configuradas após a implantação por meio da azdata CLI. Essa funcionalidade permite que os administradores de Clusters de Big Data do SQL Server ajustem as configurações para sempre atender aos requisitos de carga de trabalho. Este artigo aborda cenários de exemplo sobre como configurar os requisitos de carga de trabalho de fuso horário e Spark. A funcionalidade de configuração pós-implantação segue um fluxo de aplicação definido, dif.

Note

A configuração de configurações pós-implantação só está disponível nos Clusters de Big Data do SQL Server CU9 e em implantações posteriores. A configuração de configurações não inclui escala, armazenamento ou configuração de ponto de extremidade. Opções e instruções para configurar clusters de Big Data do SQL Server antes da CU9 podem ser encontradas aqui.

Cenário passo a passo: configurar fuso horário em clusters de Big Data do SQL Server

A partir dos Clusters de Big Data do SQL Server CU13, é possível personalizar a configuração de fuso horário do cluster para que os carimbos de data/hora dos serviços se alinhem com o fuso horário selecionado. A configuração não se aplica ao plano de controle de cluster de Big Data, define a nova configuração de fuso horário para todos os pools do SQL Server (mestre, computação e dados), componentes do Hadoop e Spark.

Note

Por padrão, os Clusters de Big Data do SQL Server definem UTC como o fuso horário.

Use o seguinte comando para definir a configuração de fuso horário:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Aplicar as configurações pendentes ao cluster

O comando a seguir aplicará a configuração e reiniciará todos os serviços. Examine as últimas seções deste artigo sobre como controlar as alterações e controlar o processo de configuração.

azdata bdc settings apply

Cenário passo a passo: configurar o cluster para atender aos requisitos de carga de trabalho do Spark

Exibir as configurações atuais do serviço Spark do cluster de Big Data

O exemplo a seguir mostra como exibir as configurações definidas pelo usuário do serviço Spark. Você pode exibir todas as configurações possíveis configuráveis, gerenciadas pelo sistema e todas as configurações configuráveis e configurações pendentes por meio de parâmetros opcionais. Visite a azdata bdc spark instrução para obter mais informações.

azdata bdc spark settings show

Sample output

Spark Service

Setting Running Value
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

Alterar o número padrão de núcleos e memória para o driver Spark

Atualize o número padrão de núcleos para dois e a memória padrão para 7424 MB para o serviço Spark. Isso afeta todos os recursos com o Spark, para o serviço Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Alterar o número padrão de núcleos e memória para os executores do Spark no Pool de Armazenamento

Atualize o número padrão de núcleos do executor para 4 para o Pool de Armazenamento.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configurar caminhos adicionais para o classpath padrão de aplicativos Spark

O /opt/hadoop/share/hadoop/tools/lib/ caminho contém várias bibliotecas a serem usadas por seus aplicativos spark, mas o caminho referenciado não é carregado por padrão no classpath de aplicativos Spark. Para habilitar essa configuração, aplique o seguinte padrão de configuração.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Exibir as alterações de configurações pendentes preparadas no cluster de Big Data

Exiba as alterações de configurações pendentes somente para o serviço Spark e todo o cluster de Big Data.

Configurações pendentes do serviço Spark

azdata bdc spark settings show --filter-option=pending --include-details

Spark Service

Setting Running Value Configured Value Configurable Configured Hora da Última Atualização
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Todas as configurações pendentes

azdata bdc settings show --filter-option=pending --include-details --recursive

Configurações de serviço do Spark – Pendentes

Setting Running Value Configured Value Configurable Configured Hora da Última Atualização
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Configurações do Spark de Recurso de Armazenamento-0 – Pendente

Setting Running Value Configured Value Configurable Configured Hora da Última Atualização
spark-defaults-conf.spark.executor.cores 1 4 true true

Aplicar as configurações pendentes ao cluster de Big Data

azdata bdc settings apply

Monitorar o status da atualização de configuração

azdata bdc status show

Optional steps

Reverter configurações pendentes

Se você determinar que não deseja mais alterar as configurações pendentes, poderá cancelar o estágio dessas configurações. Isso reverterá as configurações pendentes em todos os escopos.

azdata bdc settings revert

Anular a atualização de configuração

Se a atualização de configuração falhar para qualquer um dos componentes, você poderá cancelar o processo de atualização e retornar o cluster de volta às configurações anteriores. As configurações que foram preparadas para alteração durante a atualização serão listadas novamente como configurações pendentes.

azdata bdc settings cancel-apply

Next steps

Configurar um cluster de Big Data do SQL Server

  • Last updated on