Analise dados com um pool SQL sem servidor

Neste tutorial, você aprenderá a analisar dados com o pool SQL sem servidor.

O pool SQL interno sem servidor

Os pools SQL sem servidor permitem que você use o SQL sem precisar reservar capacidade. A cobrança de um pool SQL sem servidor é baseada na quantidade de dados processados para executar a consulta e não no número de nós usados para executar a consulta.

Cada espaço de trabalho vem com um pool SQL sem servidor pré-configurado chamado Built-in.

Analise os dados do NYC Taxi com um pool SQL sem servidor

1. In the Synapse Studio, go to the Develop hub

2. Crie um novo script SQL.

3. Cole o código a seguir no script. (Atualize contosolake para o nome da sua conta de armazenamento e users com o nome do seu contêiner.)

   SELECT
       TOP 100 *
   FROM
       OPENROWSET(
           BULK 'https://contosolake.dfs.core.windows.net/users/NYCTripSmall.parquet',
           FORMAT='PARQUET'
       ) AS [result]
   

4. Selecione Executar.

A exploração de dados é apenas um cenário simplificado onde você pode entender as características básicas dos seus dados. Saiba mais sobre exploração e análise de dados neste tutorial.

Criar banco de dados de exploração de dados

Você pode navegar pelo conteúdo dos arquivos diretamente via master banco de dados. Para alguns cenários simples de exploração de dados, não é necessário criar um banco de dados separado. No entanto, à medida que você continua a exploração de dados, convém criar alguns objetos utilitários, como:

• External data sources that represent the named references for storage accounts.
• Credenciais com âmbito de base de dados que permitem especificar como realizar a autenticação na fonte de dados externa.
• Usuários de banco de dados com permissões para acessar algumas fontes de dados ou objetos de banco de dados.
• Utility views, procedures, and functions that you can use in the queries.

1. Use o master banco de dados para criar um banco de dados separado para objetos de banco de dados personalizados. Não é possível criar objetos de banco de dados personalizados no master banco de dados.

   CREATE DATABASE DataExplorationDB 
                   COLLATE Latin1_General_100_BIN2_UTF8
   

   Important

   Utilize uma colação com o sufixo _UTF8 para garantir que o texto UTF-8 seja convertido corretamente em colunas VARCHAR. Latin1_General_100_BIN2_UTF8 fornece o melhor desempenho nas consultas que leem dados de arquivos Parquet e contêineres do Azure Cosmos DB. Para obter mais informações sobre como alterar agrupamentos, consulte Tipos de agrupamento suportados para Synapse SQL.

2. Alterne o contexto do banco de dados de master para DataExplorationDB usar o comando a seguir. Você também pode usar o controlo da interface do utilizador usar base de dados para alternar a sua base de dados atual.

   USE DataExplorationDB
   

3. From DataExplorationDB create utility objects such as credentials and data sources.

   CREATE EXTERNAL DATA SOURCE ContosoLake
   WITH ( LOCATION = 'https://contosolake.dfs.core.windows.net')
   

   Nota

   Uma fonte de dados externa pode ser criada sem uma credencial. Se uma credencial não existir, a identidade do chamador será usada para acessar a fonte de dados externa.

4. Opcionalmente, use o banco de dados recém-criado DataExplorationDB para criar um login para um usuário no DataExplorationDB qual acessará dados externos:

   CREATE LOGIN data_explorer WITH PASSWORD = 'My Very Strong Password 1234!';
   

   Em seguida, no DataExplorationDB, crie um utilizador de base de dados para o login acima e conceda a permissão ADMINISTER DATABASE BULK OPERATIONS.

   CREATE USER data_explorer FOR LOGIN data_explorer;
   GO
   GRANT ADMINISTER DATABASE BULK OPERATIONS TO data_explorer;
   GO
   

5. Explore o conteúdo do arquivo usando o caminho relativo e a fonte de dados:

   SELECT
       TOP 100 *
   FROM
       OPENROWSET(
               BULK '/users/NYCTripSmall.parquet',
               DATA_SOURCE = 'ContosoLake',
               FORMAT='PARQUET'
       ) AS [result]
   

6. Publique suas alterações no espaço de trabalho.

O banco de dados de exploração de dados é apenas um espaço reservado simples onde você pode armazenar seus objetos utilitários. O pool Synapse SQL permite que você faça muito mais e crie um Data Warehouse Lógico - uma camada relacional criada sobre as fontes de dados do Azure. Saiba mais sobre como criar um armazém de dados lógico neste tutorial.

Próximos passos