Obter dados do Armazenamento do Azure

Neste artigo, você aprenderá a obter dados do Armazenamento do Azure (contêiner do ADLS Gen2, contêiner de blobs ou blobs individuais). Você pode inserir dados em sua tabela continuamente ou de uma só vez. Depois de ingeridos, os dados ficam disponíveis para consulta.

• Ingestão contínua (versão prévia): a ingestão contínua envolve a configuração de um pipeline de ingestão que permite que uma casa de eventos ouça eventos do Armazenamento do Azure. O pipeline notifica a central de eventos para extrair informações quando eventos subscritos ocorrerem. Os eventos são BlobCreated e BlobRenamed.

  Importante

  Esse recurso está na versão prévia.

• Ingestão única: use esse método para recuperar dados do Armazenamento do Azure como uma operação única.

  Observação

  • Um fluxo de ingestão contínua pode afetar sua cobrança. Para obter mais informações, consulte consumo de Eventhouse e de Banco de Dados KQL.

Pré-requisitos

• Um workspace com uma capacidade habilitada para Microsoft Fabric.
• Um banco de dados KQL com permissões de edição.
• Uma conta de armazenamento do Azure.

Pré-requisitos para ingestão contínua

• Uma identidade de workspace do Fabric. Não há suporte para meu workspace. Se necessário, crie um novo workspace.

No ambiente do Azure:

• Registre o provedor de recursos da Grade de Eventos com sua assinatura do Azure.
• Atribua permissões de função Storage Blob Data Reader à identidade do workspace.
• Atribua permissões ao usuário que configura a ingestão contínua ou a um grupo do AD com o usuário que está configurando a ingestão contínua:
  • Colaborador da Conta de Armazenamento.
  • Permissão de Colaborador do EventGrid.
• Crie um contêiner de blob para armazenar os arquivos de dados.

  • Carregue um arquivo de dados. A estrutura do arquivo de dados é usada para definir o esquema de tabela. Para obter mais informações, consulte Formatos de dados compatíveis com Real-Time Intelligence.

    Observação

    Você deve carregar um arquivo de dados:

    • Antes da configuração para definir o esquema de tabela durante a instalação.
    • Depois da configuração para disparar a ingestão contínua, visualizar dados e verificar a conexão.

Adicionar a atribuição de função de identidade do workspace à conta de armazenamento

1. Nas configurações do espaço de trabalho no Fabric, copie o ID de identidade do espaço de trabalho.

   

2. No portal do Azure, navegue até sua conta de Armazenamento do Azure e selecione Controle de Acesso (IAM)>Adicionar>Adicionar atribuição de função.

3. Selecione Leitor de Dados do Blob de Armazenamento.

4. Na caixa de diálogo Adicionar atribuição de função , selecione + Selecionar membros.

5. Cole o ID da identidade do workspace, selecione o aplicativo e depois Selecionar>Revisar + atribuir.

Criar um contêiner com o arquivo de dados

1. Na conta de armazenamento, selecione Contêineres.

2. Selecione + Contêiner, insira um nome para o contêiner e selecione Salvar.

3. Insira o contêiner, selecione carregar e carregue o arquivo de dados preparado anteriormente.

   Para obter mais informações, consulte formatos com suporte e compactações com suporte.

4. No menu de contexto , [...], selecione propriedades de contêiner e copie a URL para entrada durante a configuração.

   

Fonte

Defina a origem para obter dados.

1. No workspace, abra o EventHouse e selecione o banco de dados.

2. Na faixa de opções do banco de dados KQL, selecione Obter Dados.

3. Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados do armazenamento do Azure.

   

Configurar

Inspecionar

A guia Inspecionar será aberta com uma visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Opcionalmente:

• Use a lista suspensa do arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.

• Use a lista suspensa de tipo de arquivo para explorar opções avançadas com base no tipo de dados.

• Use o menu suspenso "Table_mapping" para definir um novo mapeamento.

• Selecione </> para abrir o visualizador de comandos para exibir e copiar os comandos automáticos gerados de suas entradas. Você também pode abrir os comandos em um conjunto de consultas

• Selecione o ícone de lápis para Editar colunas.

Editar colunas

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• A tabela é do tipo novo ou existente
• Tipo de mapeamento é novo ou existente

Mapeamento de transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) dão suporte a transformações simples de tempo de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a origem possuindo o tipo de dados int ou long. Para obter mais informações, confira a lista completa de transformações de mapeamento com suporte.

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

• Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Avançado>Manter esquema de tabela. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.

  

• Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear dados de origem para as colunas existentes. Para usar a primeira linha como nomes de coluna, selecione A primeira linha é o cabeçalho da coluna.

  

Tabela (CSV, TSV, PSV):

• Se você estiver ingerindo formatos tabulares em uma tabela existente, poderá selecionar Table_mapping>Usar esquema existente. Os dados tabulares não incluem necessariamente os nomes de coluna usados para mapear dados de origem para as colunas existentes. Quando essa opção é verificada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para dados de entrada, independentemente da estrutura de dados.

• Para usar a primeira linha como nomes de coluna, selecione Primeira linha como cabeçalho.

  

JSON:

• Para determinar a divisão em colunas dos dados JSON, selecione níveis aninhados, de 1 a 100.

  

Resumo

Na janela Resumo , todas as etapas são marcadas com marcas de verificação verdes quando a ingestão de dados é concluída com êxito. Você pode selecionar um cartão para explorar os dados, excluir os dados ingeridos ou criar um painel com as principais métricas.

Conteúdo relacionado

• Para gerenciar seu banco de dados, consulte Gerenciamento de dados
• Para criar, armazenar e exportar consultas, consulte Consultar dados em um conjunto de consultas KQL