Configurar o PolyBase para acessar dados externos no Armazenamento de Blobs do Azure

SQL Server 2022

No SQL Server 2022 (16.x), configure suas fontes de dados externas para usar novos conectores quando você se conectar ao Armazenamento do Azure. A tabela a seguir resume a alteração:

1. Execute sp_configure com 'hadoop connectivity' definido para um fornecedor do Azure Blob Storage. Para encontrar o valor para os fornecedores, veja Configuração de conectividade PolyBase. Por defeito, a conectividade Hadoop está definida para 7.

   -- Values map to various external data sources.
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage
   EXECUTE sp_configure
       @configname = 'hadoop connectivity',
       @configvalue = 7;
   GO
   
   RECONFIGURE;
   

2. Reinicie o SQL Server usando services.msc. Reiniciar o SQL Server reinicia estes serviços:

   • Serviço de Movimentação de Dados do SQL Server PolyBase
   • Mecanismo PolyBase do SQL Server

   

1. Reinicie o SQL Server usando services.msc. Reiniciar o SQL Server reinicia estes serviços:

   • Serviço de Movimentação de Dados do SQL Server PolyBase
   • Mecanismo PolyBase do SQL Server

   

1. Crie uma chave mestra de base de dados (DMK) na base de dados. O DMK é obrigado a encriptar o segredo das credenciais.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. Crie uma credencial com escopo de base de dados para o Armazenamento de Blobs do Azure; IDENTITY pode ser qualquer valor, pois não é usado.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).
   -- SECRET: your Azure storage account key.
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user',
        SECRET = '<azure_storage_account_key>';
   

3. Crie uma fonte de dados externa com CREATE EXTERNAL DATA SOURCE. Quando se liga ao Azure Storage através do wasb[s] conector, a autenticação deve ser feita com uma chave de conta de armazenamento, e não com uma assinatura de acesso partilhada (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       TYPE = HADOOP,
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. Crie uma tabela externa apontando para os dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensores do carro; LOCATION não pode ser /, mas, tal como neste exemplo, /Demo/ não precisa de existir previamente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);
   

1. Crie uma chave mestra de base de dados (DMK) na base de dados. O DMK é obrigado a encriptar o segredo das credenciais.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. Criar uma credencial com escopo de banco de dados para o Azure Blob Storage usando uma assinatura de acesso compartilhado (SAS); IDENTITY pode ser qualquer coisa, pois não é usado.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
        -- Remove ? from the beginning of the SAS token
        SECRET = '<azure_shared_access_signature>';
   

3. Crie uma fonte de dados externa com CREATE EXTERNAL DATA SOURCE. Ao ligar ao Azure Storage através do conector WASB[s], autenticação com assinatura de acesso partilhada (SAS).

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. Crie uma tabela externa apontando para os dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensores do carro; LOCATION não pode ser /, mas, tal como neste exemplo, /Demo/ não precisa de existir previamente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);