Azure Blob Storage의 외부 데이터에 액세스하도록 PolyBase 구성

SQL Server 2022

SQL Server 2022(16.x)에서, Azure Storage에 연결할 때 새 커넥터를 사용하도록 외부 데이터 원본을 구성합니다. 다음 테이블에 변경 내용이 요약되어 있습니다.

1. Azure Blob Storage 공급자로 설정된 'hadoop connectivity' 실행합니다. 공급자에 대한 값을 찾으려면 PolyBase 연결 구성을 참조하세요. 기본적으로 Hadoop 연결은 .로 설정됩니다 7.

   -- Values map to various external data sources.
   -- Example: value 7 stands for Hortonworks HDP 2.1 to 2.6 on Linux,
   -- 2.1 to 2.3 on Windows Server, and Azure Blob Storage
   EXECUTE sp_configure
       @configname = 'hadoop connectivity',
       @configvalue = 7;
   GO
   
   RECONFIGURE;
   

2. services.msc를 사용하여 SQL Server를 다시 시작합니다. SQL Server를 다시 시작하면 다음 서비스가 다시 시작됩니다.

   • SQL Server PolyBase 데이터 이동 서비스
   • SQL Server PolyBase 엔진

   

1. services.msc를 사용하여 SQL Server를 다시 시작합니다. SQL Server를 다시 시작하면 다음 서비스가 다시 시작됩니다.

   • SQL Server PolyBase 데이터 이동 서비스
   • SQL Server PolyBase 엔진

   

1. 데이터베이스에 DMK(데이터베이스 마스터 키)를 만듭니다. DMK는 자격 증명 비밀을 암호화하는 데 필요합니다.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. Azure Blob Storage의 데이터베이스 범위 자격 증명을 만듭니다. IDENTITY는 사용되지 않으므로 무엇이든 가능합니다.

   -- IDENTITY: any string (this is not used for authentication to Azure storage).
   -- SECRET: your Azure storage account key.
   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'user',
        SECRET = '<azure_storage_account_key>';
   

3. CREATE EXTERNAL DATA SOURCE를 사용하여 외부 데이터 원본을 만듭니다. 커넥터를 통해 wasb[s] Azure Storage에 연결하는 경우 SAS(공유 액세스 서명)가 아닌 스토리지 계정 키를 사용하여 인증을 수행해야 합니다.

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       TYPE = HADOOP,
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. CREATE EXTERNAL FILE FORMAT을 사용하여 외부 파일 형식을 만듭니다.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. CREATE EXTERNAL TABLE을 사용하여 Azure Storage에 저장된 데이터를 가리키는 외부 테이블을 만듭니다. 이 예제에서는 외부 데이터에 자동차 센서 데이터가 포함됩니다. LOCATION은 /가 될 수 없지만 이 예에서 /Demo/는 이전에 존재할 필요가 없었기 때문에 가능합니다.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. 외부 테이블에 대한 통계를 생성합니다.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);
   

1. 데이터베이스에 DMK(데이터베이스 마스터 키)를 만듭니다. DMK는 자격 증명 비밀을 암호화하는 데 필요합니다.

   CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<strong password>';
   

2. SAS(공유 액세스 서명)을 사용하여 Azure Blob Storage의 데이터베이스 범위 자격 증명을 만듭니다. IDENTITY는 사용되지 않으므로 무엇이든 가능합니다.

   CREATE DATABASE SCOPED CREDENTIAL AzureStorageCredential
   WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
        -- Remove ? from the beginning of the SAS token
        SECRET = '<azure_shared_access_signature>';
   

3. CREATE EXTERNAL DATA SOURCE를 사용하여 외부 데이터 원본을 만듭니다. WASB[s] 커넥터를 통해 Azure Storage에 연결하는 경우 SAS(공유 액세스 서명)를 사용하여 인증합니다.

   -- LOCATION:  Azure account storage account name and blob container name.
   -- CREDENTIAL: The database scoped credential created above.
   CREATE EXTERNAL DATA SOURCE AzureStorage
   WITH (
       LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.blob.core.windows.net',
       CREDENTIAL = AzureStorageCredential
   );
   

4. CREATE EXTERNAL FILE FORMAT을 사용하여 외부 파일 형식을 만듭니다.

   -- FORMAT TYPE: Type of format in Hadoop (DELIMITEDTEXT,  RCFILE, ORC, PARQUET).
   CREATE EXTERNAL FILE FORMAT TextFileFormat
   WITH (
       FORMAT_TYPE = DELIMITEDTEXT,
       FORMAT_OPTIONS (FIELD_TERMINATOR = '|', USE_TYPE_DEFAULT = TRUE)
   );
   

5. CREATE EXTERNAL TABLE을 사용하여 Azure Storage에 저장된 데이터를 가리키는 외부 테이블을 만듭니다. 이 예제에서는 외부 데이터에 자동차 센서 데이터가 포함됩니다. LOCATION은 /가 될 수 없지만 이 예에서 /Demo/는 이전에 존재할 필요가 없었기 때문에 가능합니다.

   -- LOCATION: path to file or directory that contains the data (relative to HDFS root).
   CREATE EXTERNAL TABLE [dbo].[CarSensor_Data]
   (
       SensorKey INT NOT NULL,
       CustomerKey INT NOT NULL,
       GeographyKey INT NULL,
       Speed FLOAT NOT NULL,
       YearMeasured INT NOT NULL
   )
   WITH (
       DATA_SOURCE = AzureStorage,
       LOCATION = '/Demo/',
       FILE_FORMAT = TextFileFormat
   );
   

6. 외부 테이블에 대한 통계를 생성합니다.

   CREATE STATISTICS StatsForSensors
   ON CarSensor_Data(CustomerKey, Speed);