Criar recursos manualmente para ingestão de Grade de Eventos

O Azure Data Explorer oferece ingestão contínua do Armazenamento do Azure (armazenamento de Blob do Azure e Azure Data Lake Storage Gen2) usando um pipeline de Ingestão de Grade de Eventos. No pipeline de ingestão de Grade de Eventos, um serviço de Grade de Eventos do Azure roteia eventos de blob criados ou renomeados de blob de uma conta de armazenamento para o Azure Data Explorer por meio de Hubs de Eventos do Azure.

Neste artigo, você aprenderá a criar manualmente os recursos necessários para a Ingestão de Grade de Eventos: uma assinatura de Grade de Eventos, um namespace de Hubs de Eventos e um hub de eventos. O namespace dos Hubs de Eventos e a criação do hub de eventos são descritos nos Pré-requisitos. Para usar a criação automática desses recursos ao definir a ingestão da Grade de Eventos, consulte Criar uma conexão de dados da Grade de Eventos no Azure Data Explorer.

Pré-requisitos

• Uma assinatura do Azure. Crie uma conta do Azure gratuita.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Uma conta de armazenamento . Uma assinatura de notificação de Grade de Eventos pode ser definida em contas de Armazenamento do Azure para BlobStorage, StorageV2ou Data Lake Storage Gen2.
• Um namespace e um hub de eventos dos Hubs de Eventos.

Criar uma subscrição do Event Grid

1. No portal do Azure, aceda à sua conta de armazenamento.

2. No menu à esquerda, selecione Eventos>+ Assinatura de Evento.

   

3. Na janela Criar Assinatura de Evento na guia Básico , forneça os seguintes valores:

   

   Setting	Valor sugerido	Descrição do campo
   Nome	ensaio-ligação à rede	O nome da assinatura da Grade de Eventos que você deseja criar.
   Esquema de eventos	Esquema de grade de eventos	O esquema que deve ser usado para a Grade de Eventos.
   Tipo de tópico	Conta de armazenamento	O tipo de tópico Grade de Eventos. Preenchido automaticamente.
   Recurso de origem	gridteststorage1	O nome da sua conta de armazenamento. Preenchido automaticamente.
   Nome do tópico do sistema	gridteststorage1...	O tópico do sistema em que o Armazenamento do Azure publica eventos. Este tópico do sistema encaminha o evento para um assinante que recebe e processa eventos. Preenchido automaticamente.
   Filtrar Tipos de Eventos	Blob criado	Para quais eventos específicos ser notificado. Ao criar a assinatura, selecione um dos tipos suportados: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. A renomeação de Blob é suportada apenas para armazenamento ADLSv2.

4. Em DETALHES DO PONTO FINAL, selecione Hubs de Eventos.

   

5. Selecione Selecionar um ponto de extremidade e preencha o hub de eventos que você criou, por exemplo, test-hub.

6. Em IDENTIDADE GERENCIADA PARA ENTREGA, SELECIONE OPCIONALMENTE UM TIPO DE IDENTIDADE GERENCIADA USANDO AS INFORMAÇÕES DA TABELA A SEGUIR.

   

   Tipo	Description
   Nenhum (predefinição)	Os eventos não são entregues usando identidades gerenciadas.
   Sistema atribuído	Os eventos são entregues usando uma identidade gerenciada atribuída ao sistema. IMPORTANTE: Antes de usar essa opção, verifique se você habilitou a identidade atribuída ao sistema no tópico do sistema de Grade de Eventos e deu a ela a função de Remetente de Dados dos Hubs de Eventos do Azure no hub de eventos. Para obter mais informações, consulte Habilitar identidade gerenciada para tópicos do sistema.

   Importante

   Se você desabilitar a autenticação local no namespace Hubs de Eventos que contém o hub de eventos usado para notificações de streaming, deverá usar identidades gerenciadas para entregar eventos ao usar essa assinatura de evento.

7. Selecione a guia Filtros se quiser filtrar eventos.

   Use os Filtros de assunto para acompanhar eventos de assuntos específicos. Defina os filtros para as notificações da seguinte forma:

   

   1. Selecione Ativar filtragem de assunto
   2. O campo Subject Begins With é o prefixo literal do sujeito. Como o padrão aplicado é iniciado, ele pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
      • Para definir um filtro no contêiner de blob, defina o campo da seguinte maneira: /blobServices/default/containers/[container prefix].
      • Para definir um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), defina o campo da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   3. O campo Subject Ends With é o sufixo literal do blob. Não são permitidos curingas.
   4. O campo de correspondência de assunto que diferencia maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas.

   Para obter mais informações sobre como filtrar eventos, consulte eventos de armazenamento de blob.

   Use Filtros Avançados para adicionar filtros personalizados que atendam às suas necessidades.

   Por exemplo, ao usar o SDK do Azure Data Lake para carregar um arquivo, a criação de arquivo dispara um evento de Grade de Eventos com tamanho 0. Esse evento é descartado pelo Azure Data Explorer. A liberação de arquivos acionará outro evento se o parâmetro Close estiver definido como true. Esse evento indica que esta é a atualização final e o fluxo de arquivos foi fechado. Para evitar processamento desnecessário e erros de ingestão de arquivos vazios, filtre os eventos CreateFile usando o seguinte filtro:

   

   Setting	Valor sugerido	Descrição do campo
   Key	data.api	O campo no esquema de eventos usado para filtragem.
   Operator	String não está em	Um operador a ser avaliado na chave selecionada.
   Valor	CreateFile	O valor usado para avaliar a chave.

8. Selecione Criar

Próximo passo