Configurar um cluster de Big Data do SQL Server – versão pré-CU9

Aplica-se a:SQL Server 2019 (15.x)

No SQL Server 2019, os Clusters de Big Data lançam CU8 e anteriores, você pode definir as configurações do cluster de Big Data no momento da implantação por meio do arquivo de implantação bdc.json . A instância mestra do SQL Server pode ser configurada após a implantação apenas usando mssql-conf.

Configuration Scopes

A configuração de Clusters de Big Data pré-CU9 tem dois níveis de escopo: servicee resource. A hierarquia das configurações também segue essa ordem, da mais alta para a mais baixa. Os componentes BDC levarão o valor da configuração definida no escopo mais baixo. Se a configuração não estiver definida em um determinado escopo, ela herdará o valor de seu escopo pai mais alto.

Por exemplo, talvez você queira definir o número padrão de núcleos que o driver Spark usará no pool de armazenamento e Sparkhead nos recursos. É possível fazer isso de duas formas:

• Especificar um valor de núcleos padrão no escopo do Spark serviço
• Especificar um valor de núcleos padrão no escopo e storage-0 no sparkhead recurso

No primeiro cenário, todos os recursos de escopo inferior do serviço Spark (pool de armazenamento e Sparkhead) herdarão o número padrão de núcleos do valor padrão do serviço Spark.

No segundo cenário, cada recurso usará o valor definido em seu respectivo escopo.

Se o número padrão de núcleos estiver configurado no escopo do serviço e do recurso, o valor com escopo de recurso substituirá o valor com escopo de serviço, pois esse é o escopo configurado pelo usuário mais baixo para a configuração determinada.

Para obter informações específicas sobre a configuração, consulte os artigos apropriados:

Configurar a instância mestra do SQL Server

Configure a instância mestra de Clusters de Big Data do SQL Server.

As configurações do servidor não podem ser configuradas para a instância mestra do SQL Server no momento da implantação. Este artigo descreve uma solução alternativa temporária sobre como definir configurações como a edição do SQL Server, habilitar ou desabilitar o SQL Server Agent, habilitar sinalizadores de rastreamento específicos ou habilitar/desabilitar comentários do cliente.

Para alterar qualquer uma dessas configurações, siga estas etapas:

1. Crie um arquivo mssql-custom.conf personalizado que inclua as configurações de destino. O exemplo a seguir habilita o SQL Agent, a telemetria, define um PID para Enterprise Edition e habilita o sinalizador de rastreamento 1204.:

   [sqlagent]
   enabled=true
   
   [telemetry]
   customerfeedback=true
   userRequestedLocalAuditDirectory = /tmp/audit
   
   [DEFAULT]
   pid = Enterprise
   
   [traceflag]
   traceflag0 = 1204
   

2. Copie o arquivo mssql-custom.conf para /var/opt/mssql no contêiner mssql-server no pod master-0. Substitua <namespaceName> pelo nome do cluster de Big Data.

   kubectl cp mssql-custom.conf master-0:/var/opt/mssql/mssql-custom.conf -c mssql-server -n <namespaceName>
   

3. Reinicie a instância do SQL Server. Substitua <namespaceName> pelo nome do cluster de Big Data.

   kubectl exec -it master-0  -c mssql-server -n <namespaceName> -- /bin/bash
   supervisorctl restart mssql-server
   exit
   

Known limitations

• As etapas acima exigem permissões de administrador do cluster do Kubernetes
• Não é possível alterar a ordenação de servidor para a instância mestra do SQL Server do cluster de Big Data após a implantação.

Configurar o Apache Spark e o Apache Hadoop

Para configurar o Apache Spark e o Apache Hadoop em clusters de Big Data, você precisa modificar o perfil do cluster no momento da implantação.

Um Cluster de Big Data tem quatro categorias de configuração:

• sql
• hdfs
• spark
• gateway

sql, hdfs, spark, sql são serviços. Cada serviço é associado à categoria de configuração com o mesmo nome. Todas as configurações de gateway vão para a categoria gateway.

Por exemplo, todas as configurações no serviço hdfs pertencem à categoria hdfs. Observe que todas as configurações hadoop (site principal), HDFS e Zookeeper pertencem à categoria hdfs; todas as configurações livy, Spark, Yarn, Hive, Metastore pertencem à categoria spark.

As configurações com suporte listam as propriedades do Apache Spark &Hadoop que você pode configurar ao implantar um Cluster de Big Data do SQL Server.

As seguintes seções listam as propriedades que você não pode modificar em um cluster:

• Configurações sem suporte spark
• Configurações sem suporte hdfs
• Configurações sem suporte gateway

Next steps

Configurar um cluster de Big Data do SQL Server