Event Grid-gegevensverbinding

Event Grid-gegevensopname is een pijplijn die luistert naar Azure Storage en Azure Data Explorer bijwerkt om informatie op te halen wanneer zich geabonneerde gebeurtenissen voordoen. Azure Data Explorer biedt continue opname vanuit Azure Storage (Blob Storage en ADLSv2) met een Azure Event Grid-abonnement voor meldingen voor het aanmaken of hernoemen van blobs en deze meldingen naar Azure Data Explorer streamen via Azure Event Hubs.

De Event Grid-opnamepijplijn doorloopt verschillende stappen. U maakt een doeltabel in Azure Data Explorer waarin de gegevens in een bepaalde indeling worden opgenomen. Vervolgens maakt u een Event Grid-gegevensverbinding in Azure Data Explorer. De Event Grid-gegevensverbinding moet informatie over routering van gebeurtenissen kennen, zoals naar welke tabel de gegevens moeten worden verzonden en naar de tabeltoewijzing. U geeft ook opnameeigenschappen op, waarin de gegevens worden beschreven die moeten worden opgenomen, de doeltabel en de toewijzing. U kunt voorbeeldgegevens genereren en blobs uploaden of de naam van blobs wijzigen om uw verbinding te testen. Verwijder blobs na opname.

Event Grid-opname kan worden beheerd via Azure Portal, met behulp van de opnamewizard, programmatisch met C# of Python, of met de Azure Resource Manager-sjabloon.

Zie overzicht van gegevensopname in Azure Data Explorer voor algemene informatie over gegevensopname in Azure Data Explorer.

Verificatiemechanismen voor Event Grid-gegevensverbindingen

• Gegevensverbinding op basis van beheerde identiteit (aanbevolen): Het gebruik van een gegevensverbinding op basis van een beheerde identiteit is de veiligste manier om verbinding te maken met gegevensbronnen. Het biedt volledige controle over de mogelijkheid om gegevens op te halen uit een gegevensbron.

  Voor het instellen van een Event Grid-gegevensverbinding met beheerde identiteit zijn de volgende stappen en machtigingen vereist:

  1. Zorg ervoor dat u de rol EventGrid-inzender hebt toegewezen aan het Azure-abonnement van het brongegevensopslagaccount.
  2. Een beheerde identiteit toevoegen aan uw cluster.
  3. Machtigingen verlenen aan de beheerde identiteit op de gegevensbron. Als u gegevens wilt ophalen uit Azure Storage, moet de beheerde identiteit ten minste machtigingen hebben voor opslagblobgegevenslezer voor het Azure Storage-account.
  4. Machtigingen verlenen aan de beheerde identiteit op de Event Hub. Als u blobmeldingen van de Event Hub wilt ophalen, moet de beheerde identiteit machtigingen voor Azure Event Hubs-gegevensontvanger hebben voor de Azure Event Hubs.
  5. Stel een beleid voor beheerde identiteiten in op de doeldatabases.
  6. Maak een gegevensverbinding met behulp van verificatie van beheerde identiteiten om gegevens op te halen.

  Opmerking

  • De Event Hub-consumentengroep moet uniek zijn per consument. Maak een toegewezen consumentengroep voor elke Azure Data Explorer-gegevensverbinding.

  Waarschuwing

  • Als de machtigingen voor beheerde identiteiten worden verwijderd uit de gegevensbron, werkt de gegevensverbinding niet meer en kan de gegevens niet worden opgehaald uit de gegevensbron.
  • Als lokale verificatie is uitgeschakeld in een bestaande Event Hubs-naamruimte waarin blobmeldingen worden gestreamd, moet u verificatie van beheerde identiteiten gebruiken voor de gegevensverbinding en resources correct configureren. Zie Bekende Problemen met Event Grid voor meer informatie.

• Gegevensverbinding op basis van een sleutel: als er geen verificatie van een beheerde identiteit is opgegeven voor de gegevensverbinding, wordt de verbinding automatisch standaard ingesteld op verificatie op basis van sleutels. Met sleutelverbindingen worden gegevens opgehaald via een resourceverbindingsreeks, zoals de Azure Event Hubs-verbindingsreeks. Azure Data Explorer haalt de verbindingsreeks voor de resource op voor de opgegeven resource en slaat deze veilig op. De verbindingsreeks wordt vervolgens gebruikt om gegevens op te halen uit de gegevensbron.

  Waarschuwing

  Als de sleutel wordt geroteerd, werkt de gegevensverbinding niet meer en kan de gegevens niet worden opgehaald uit de gegevensbron. U kunt het probleem oplossen door de gegevensverbinding bij te werken of opnieuw te maken.

Gegevensopmaak

• Bekijk ondersteunde indelingen.
• Bekijk ondersteunde compressies.

  • De oorspronkelijke niet-gecomprimeerde gegevensgrootte moet deel uitmaken van de blobmetagegevens, anders schat Azure Data Explorer deze. De opnamelimiet voor niet-gecomprimeerde grootte per bestand is 6 GB.

    Opmerking

    Event Grid-meldingsabonnement kan worden ingesteld op Azure Storage-accounts voor BlobStorage, StorageV2of Data Lake Storage Gen2.

Opname-eigenschappen

U kunt opname-eigenschappen van de blobopname opgeven via de blobmetagegevens. U kunt de volgende eigenschappen instellen:

Routering van gebeurtenissen

Wanneer u een gegevensverbinding met uw cluster maakt, geeft u de routering op voor waar opgenomen gegevens moeten worden verzonden. De standaardroutering is naar de doeltabel die is opgegeven in de verbindingsreeks die is gekoppeld aan de doeldatabase. De standaardroutering voor uw gegevens wordt ook wel statische routeringgenoemd. U kunt een alternatieve routering voor uw gegevens opgeven met behulp van de eigenschappen van gebeurtenisgegevens.

Gebeurtenisgegevens routeren naar een alternatieve database

Routering van gegevens naar een alternatieve database is standaard uitgeschakeld. Als u de gegevens naar een andere database wilt verzenden, moet u eerst de verbinding instellen als een verbinding met meerdere databases. U kunt dit doen in Azure Portal, C#, Python of een ARM-sjabloon. De gebruiker, groep, service-principal of beheerde identiteit die wordt gebruikt om databaseroutering toe te staan, moet ten minste de contributor rol hebben en schrijfrechten voor het cluster. Zie Een Event Grid-gegevensverbinding maken voor Azure Data Explorer voor meer informatie.

Als u een alternatieve database wilt opgeven, stelt u de instellingseigenschap Databasevoor gegevensinvoer in.

Gebeurtenisgegevens routeren naar een alternatieve tabel

Bij het instellen van een blobopslagverbinding met een Azure Data Explorer-cluster, geeft u de eigenschappen van de doeltabel op:

• tabelnaam
• gegevensindeling
• in kaart brengen

U kunt ook eigenschappen van de doeltabel voor elke blob opgeven met behulp van metagegevens van de blob. De gegevens worden dynamisch gerouteerd, zoals opgegeven door opname-eigenschappen.

In het onderstaande voorbeeld ziet u hoe u opname-eigenschappen instelt voor de metagegevens van de blob voordat u deze uploadt. Blobs worden doorgestuurd naar verschillende tabellen.

Daarnaast kunt u de doeldatabase opgeven. Er wordt een Event Grid-gegevensverbinding gemaakt binnen de context van een specifieke database. Daarom is deze database de standaarddatabaseroutering van de gegevensverbinding. Als u de gegevens naar een andere database wilt verzenden, stelt u de opnameeigenschap KustoDatabase in en stelt u de gegevensverbinding in als een gegevensverbinding met meerdere databases. Routering van gegevens naar een andere database is standaard uitgeschakeld (niet toegestaan). Als u een eigenschap voor databaseopname instelt die anders is dan de database van de gegevensverbinding, zonder dat gegevensroutering naar meerdere databases is toegestaan (de verbinding instellen als een gegevensverbinding met meerdere databases), mislukt de opname.

Zie Blobs uploaden voor meer informatie.

var container = new BlobContainerClient("<storageAccountConnectionString>", "<containerName>");
await container.CreateIfNotExistsAsync();
var blob = container.GetBlobClient("<blobName>");
// Blob is dynamically routed to table `Events`, ingested using `EventsMapping` data mapping
await blob.SetMetadataAsync(
    new Dictionary<string, string>
    {
        { "rawSizeBytes", "4096" }, // the uncompressed size is 4096 bytes
        { "kustoTable", "Events" },
        { "kustoDataFormat", "json" },
        { "kustoIngestionMappingReference", "EventsMapping" },
        { "kustoDatabase", "AnotherDB" }
    }
);
await blob.UploadAsync(BinaryData.FromString(File.ReadAllText("<filePath>")));

Uploaden van blobs

U kunt een blob maken op basis van een lokaal bestand, opname-eigenschappen instellen op de metagegevens van de blob en deze uploaden. Zie De Event Grid-gegevensverbinding gebruiken voor voorbeelden.

Naam van blobs wijzigen

Wanneer u ADLSv2 gebruikt, kunt u de naam van een blob wijzigen om blobopname naar Azure Data Explorer te activeren. Zie Bijvoorbeeld De naam van blobs wijzigen.

Blobs verwijderen met behulp van de opslaglevenscyclus

Logica die is ingebouwd in Azure Data Explorer, verwijdert de blobs niet na opname. Gebruik de levenscyclus van Azure Blob Storage om uw blobverwijdering te beheren. Het is raadzaam om de blobs drie tot vijf dagen te bewaren.

Bekende Problemen met Event Grid

Werken zonder lokale verificatie

Als lokale verificatie is uitgeschakeld in de Event Hubs-naamruimte die de Event Hub bevat die wordt gebruikt voor streamingmeldingen, gebruikt u de volgende stappen om ervoor te zorgen dat gegevens correct stromen van de opslag naar de Event Hub met behulp van beheerde identiteiten:

$eventGridSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTGRID SYSTEM TOPIC>"
$eventGridResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTGRID SYSTEM TOPIC>"
$eventGridSystemTopicName = "<EVENTGRID SYSTEM TOPIC NAME>"
$eventGridSubscriptionName = "<EVENTGRID SUBSCRIPTION NAME>"

$eventhubSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTHUB NAMESPACE>"
$eventhubResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTHUB NAMESPACE>"
$eventhubNamespaceName = "<THE EVENTHUB NAMESPACE NAME>"
$eventhubName = "<THE EVENTHUB NAME>"

Set-AzContext -SubscriptionId $eventGridSubscriptionId

Write-Host "Checking if Event Grid Topic exists"
$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$hasSystemAssignedIdentity = $eg.IdentityType -match "SystemAssigned"

if ($hasSystemAssignedIdentity) {
    Write-Host -ForegroundColor Green "Event Grid Topic $eventGridSystemTopicName already has a system-assigned identity"
}
else {
    Write-Host "Event Grid Topic $eventGridSystemTopicName doesn't have a system-assigned identity. Assigning one..."
    Update-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName -EnableSystemAssignedIdentity $true
    Write-Host -ForegroundColor Green "System-assigned identity has been assigned to Event Grid Topic $eventGridSystemTopicName"
}

$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$identityPrincipalId = $eg.IdentityPrincipalId

Set-AzContext -SubscriptionId $eventhubSubscriptionId

$eventhubResourceId = "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"

Write-Host "Checking if Azure Event Hubs Data Sender role is assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
$roleAssignment = Get-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope $eventhubResourceId
$hasRoleAssignment = $null -ne $roleAssignment

if ($hasRoleAssignment) {
    Write-Host -ForegroundColor Yellow "Azure Event Hubs Data Sender role is already assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}
else {
    Write-Host "Going to assign Azure Event Hubs Data Sender role to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubResourceId"
    New-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"
    Write-Host -ForegroundColor Green "Azure Event Hubs Data Sender role has been assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}

Write-Host "Checking if Event Subscription $eventSubscriptionName is using Systeam assigned identity"
$eventGridSubscribtion = Get-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName
$deliveryIdentityType = $eventGridSubscribtion.DeliveryWithResourceIdentityType
$destination = $eventGridSubscribtion.Destination

if ($deliveryIdentityType -eq "SystemAssigned") {
    Write-Host -ForegroundColor Yellow "Event Subscription $eventGridSubscriptionName is allready using System Assigned Identity"
}
else {
    Write-Host "Event Subscription $eventGridSubscriptionName is not using System Assigned Identity. Updating..."
    Update-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName -DeliveryWithResourceIdentityType "SystemAssigned" -DeliveryWithResourceIdentityDestination $destination
    Write-Host -ForegroundColor Green "Event Subscription $eventGridSubscriptionName is now using System Assigned Identity"
}

Write-Host -ForegroundColor Green "%%%%%%%% Script has been executed successfully %%%%%%%%"

Configureer bovendien de Event Grid-gegevensverbinding voor het gebruik van verificatie van beheerde identiteiten, zodat Azure Data Explorer meldingen van de Event Hub kan ontvangen.

Event Grid-opname instellen op bestanden die zijn geëxporteerd uit Azure Data Explorer

Wanneer u Azure Data Explorer gebruikt om de bestanden te exporteren die worden gebruikt voor event grid-opname, moet u rekening houden met:

• Event Grid-meldingen worden niet geactiveerd als de verbindingsreeks die is opgegeven voor de exportopdracht of de verbindingsreeks die aan een externe tabel wordt geleverd, een verbindingsreeks is in ADLS Gen2-indeling (bijvoorbeeld abfss://filesystem@accountname.dfs.core.windows.net) maar het opslagaccount niet is ingeschakeld voor hiërarchische naamruimte.
• Als het account niet is ingeschakeld voor hiërarchische naamruimte, moet de verbindingsreeks de Blob Storage-indeling gebruiken (bijvoorbeeld https://accountname.blob.core.windows.net). De export werkt zoals verwacht, zelfs wanneer u de ADLS Gen2-verbindingsreeks gebruikt, maar meldingen worden niet geactiveerd en Event Grid-opname werkt niet.

Opslag-gebeurtenissen uit aangepaste onderdelen emuleren

Wanneer u aangepaste onderdelen gebruikt om Azure Storage-gebeurtenissen te emuleren, moeten de geëmuleerde gebeurtenissen strikt voldoen aan het Azure Blob Storage-gebeurtenisschema, omdat Azure Data Explorer gebeurtenissen negeert die niet kunnen worden geparseerd door de Event Grid SDK.

Verwante inhoud

• Een Event Grid-gegevensverbinding maken
• Gegevens uit Azure Event Hubs opnemen in Azure Data Explorer met behulp van de opnamewizard
• Gegevens uit een container of Azure Data Lake Storage opnemen in Azure Data Explorer