Configurar o PolyBase para acessar dados externos no Armazenamento de Blobs do Azure

SQL Server 2022

No SQL Server 2022 (16.x), configure suas fontes de dados externas para usar os conectores novos ao se conectar ao Azure Storage. A tabela a seguir resume a mudança:

1. Execute sp_configure com 'hadoop connectivity' definido como um provedor de Armazenamento de Blobs do Azure. Para localizar o valor para provedores, consulte a configuração de conectividade do PolyBase. Por padrão, a conectividade hadoop é definida como 7.

   -- Values map to various external data sources.
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage
   EXECUTE sp_configure
       @configname = 'hadoop connectivity',
       @configvalue = 7;
   GO
   
   RECONFIGURE;
   

2. Reinicie o SQL Server usando services.msc. A reinicialização do o SQL Server reiniciará estes serviços:

   • Serviço de movimentação de dados de PolyBase do SQL Server
   • Mecanismo PolyBase do SQL Server

   

1. Reinicie o SQL Server usando services.msc. A reinicialização do o SQL Server reiniciará estes serviços:

   • Serviço de movimentação de dados de PolyBase do SQL Server
   • Mecanismo PolyBase do SQL Server

   

1. Crie uma chave mestra de banco de dados (DMK) no banco de dados. O DMK é necessário para criptografar o segredo da credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. Crie uma credencial com escopo de banco de dados para o Armazenamento de Blobs do Azure. A IDENTITY pode ser qualquer coisa, pois não foi usada.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).
   -- SECRET: your Azure storage account key.
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user',
        SECRET = '<azure_storage_account_key>';
   

3. Crie uma fonte de dados externa, usando CREATE EXTERNAL DATA SOURCE. Quando você se conecta ao Armazenamento do Azure por meio do wasb[s] conector, a autenticação deve ser feita com uma chave de conta de armazenamento, não com uma SAS (assinatura de acesso compartilhado).

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       TYPE = HADOOP,
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. Crie uma tabela externa que aponta para dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensor de carros; LOCATION não pode ser /, mas /Demo/, como neste exemplo, não precisa existir anteriormente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);
   

1. Crie uma chave mestra de banco de dados (DMK) no banco de dados. O DMK é necessário para criptografar o segredo da credencial.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. Crie uma credencial com escopo de banco de dados para o Armazenamento de Blobs do Azure usando uma assinatura de acesso compartilhado (SAS). A IDENTITY pode ser qualquer coisa, pois não é usada.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
        -- Remove ? from the beginning of the SAS token
        SECRET = '<azure_shared_access_signature>';
   

3. Crie uma fonte de dados externa, usando CREATE EXTERNAL DATA SOURCE. Ao se conectar ao Armazenamento do Azure por meio do conector WASB, a autenticação é feita com uma SAS (assinatura de acesso compartilhado).

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. Crie um formato de arquivo externo com CREATE EXTERNAL FILE FORMAT.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. Crie uma tabela externa que aponta para dados armazenados no armazenamento do Azure com CREATE EXTERNAL TABLE. Neste exemplo, os dados externos contêm dados de sensor de carros; LOCATION não pode ser /, mas /Demo/, como neste exemplo, não precisa existir anteriormente.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. Crie estatísticas em uma tabela externa.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);