Een Event Hubs-gegevensverbinding maken voor Azure Data Explorer

Vereiste voorwaarden

• Een Microsoft-account of een Microsoft Entra-gebruikersidentiteit. Er is geen Azure-abonnement vereist.
• Een Azure Data Explorer-cluster en -database. Een cluster en database maken.
• Streaming-ingestie moet worden geconfigureerd op uw Azure Data Explorer-cluster.

Gegevens ophalen

1. Kies in het linkermenu Query.

2. Klik met de rechtermuisknop op de database waar u de gegevens wilt opnemen. Selecteer Gegevens ophalen.

   

Bron

In het venster Gegevens ophalen is het tabblad Bron geselecteerd.

Selecteer de gegevensbron in de beschikbare lijst. In dit voorbeeld neemt u gegevens op uit Event Hubs.

Configureren

1. Selecteer een doeldatabase en -tabel. Als u gegevens wilt opnemen in een nieuwe tabel, selecteert u + Nieuwe tabel en voert u een tabelnaam in.

   Opmerking

   Tabelnamen kunnen maximaal 1024 tekens bevatten, waaronder spaties, alfanumerieke, afbreekstreepjes en onderstrepingstekens. Speciale tekens worden niet ondersteund.

   

2. Vul de volgende velden in:

   Omgeving	veldbeschrijving
   Abonnement	De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte	De naam die uw naamruimte identificeert.
   Evenementencentrum	De Event Hub die u wilt
   Consumentengroep	De consumentengroep die in uw gebeurtenis is gedefinieerd
   Naam van gegevensverbinding	De naam waarmee uw gegevensverbinding wordt geïdentificeerd.
   Geavanceerde filters
   Compressie	Het compressietype van de berichtenbelading van de event hub.
   Eigenschappen van gebeurtenissysteem	De eigenschappen van het Event Hub-systeem. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, creëert of bewerk u het tabelschema en de mapping om de geselecteerde eigenschappen op te nemen.
   Begindatum voor het ophalen van gebeurtenissen	De gegevensverbinding haalt bestaande Event Hubs-gebeurtenissen op die zijn gemaakt na de begindatum van het ophalen van gebeurtenissen. Alleen gebeurtenissen die worden bewaard door de bewaarperiode van Event Hubs, kunnen worden opgehaald. Als de begindatum van het ophalen van gebeurtenissen niet is opgegeven, is de standaardtijd het tijdstip waarop de gegevensverbinding wordt gemaakt.

3. Volgende selecteren

Inspecteren

Het tabblad Inspecteren wordt geopend met een voorbeeld van de gegevens.

Selecteer Voltooien om het opnameproces te voltooien.

Optioneel:

• Als de gegevens die u in het voorbeeldvenster ziet niet zijn voltooid, hebt u mogelijk meer gegevens nodig om een tabel te maken met alle benodigde gegevensvelden. Gebruik de volgende opdrachten om nieuwe gegevens op te halen uit uw Event Hub:

  • Nieuwe gegevens verwijderen en ophalen: hiermee verwijdert u de weergegeven gegevens en zoekt u naar nieuwe gebeurtenissen.

  • Meer gegevens ophalen: zoekt naar meer gebeurtenissen naast de al gevonden gebeurtenissen.

    Opmerking

    Als u een voorbeeld van uw gegevens wilt zien, moet uw Event Hub gebeurtenissen verzenden.

• Selecteer Opdrachtviewer om de automatische opdrachten weer te geven en te kopiëren die zijn gegenereerd op basis van uw invoer.

• Gebruik het schemadefinitiebestand vervolgkeuzelijst om het bestand te wijzigen waaruit het schema is afgeleid.

• Wijzig de automatisch uitgestelde gegevensindeling door de gewenste indeling in de vervolgkeuzelijst te selecteren. Zie Gegevensindelingen die worden ondersteund door Azure Data Explorer voor ingestie.

• Kolommen bewerken.

• Verken geavanceerde opties op basis van het gegevenstype.

Kolommen aanpassen

De wijzigingen die u in een tabel kunt aanbrengen, zijn afhankelijk van de volgende parameters:

• Het type tabel is nieuw of bestaand
• Het mappingtype is nieuw of bestaand

Transformaties in kaart brengen

Sommige gegevensformaatkoppelingen (Parquet, JSON en Avro) bieden ondersteuning voor eenvoudige transformaties tijdens het inlezen. Om mappingtransformaties toe te passen, maakt of bewerkt u een kolom in het Kolommen bewerken venster.

Mappingtransformaties kunnen worden uitgevoerd op een kolom met het type string of datetime, waarbij de bron het gegevenstype int of long heeft. Ondersteunde toewijzingstransformaties zijn:

• DateTimeFromUnixSeconden
• DateTimeFromUnixMilliseconden
• **DateTimeFromUnixMicroseconds** (conversie van Unix-tijd in microseconden naar een DateTime-object)
• DateTimeFromUnixNanoseconden

Geavanceerde opties op basis van gegevenstype

Tabellair (CSV, TSV, PSV):

• Als u tabelindelingen opneemt in een bestaande tabel, kunt u Geavanceerd>Huidig tabelschema behoudenselecteren. Tabelgegevens bevatten niet noodzakelijkerwijs de kolomnamen die worden gebruikt om brongegevens toe te wijzen aan de bestaande kolommen. Wanneer deze optie is aangevinkt, wordt de toewijzing op volgorde uitgevoerd en blijft het tabelschema hetzelfde. Als deze optie is uitgeschakeld, worden nieuwe kolommen gemaakt voor binnenkomende gegevens, ongeacht de gegevensstructuur.

• Als u de eerste rij als kolomnamen wilt gebruiken, selecteert u Geavanceerd>Eerste rij is kolomkop.

  

JSON:

• Als u de kolomverdeling van JSON-gegevens wilt bepalen, selecteert u Advanced>Geneste niveaus, van 1 tot en met 100.

• Als u Geavanceerde>Fouten in gegevensindeling negerenselecteert, worden de gegevens opgenomen in JSON-indeling. Als u dit selectievakje uitgeschakeld laat, worden de gegevens opgenomen in multijson-indeling.

  

Samenvatting

In het venster Gegevensvoorbereiding worden alle drie de stappen gemarkeerd met groene vinkjes wanneer de gegevensopname is voltooid. U kunt de opdrachten bekijken die voor elke stap zijn gebruikt, of een kaart selecteren om de opgenomen gegevens op te vragen, visualiseren of verwijderen.

Vereiste voorwaarden

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Een cluster en database maken.
• Een bestemmingstabel. Maak een tabel of gebruik een bestaande tabel.
• Een invoertoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

Gegevens ophalen

1. Ga in Azure Portal naar uw cluster en selecteer Databases. Selecteer vervolgens de database die de doeltabel bevat.

   

2. Selecteer gegevensopname in het linkermenu. Selecteer vervolgens in de bovenste balk gegevensverbinding toevoegen.

3. Vul het formulier in met de volgende gegevens en selecteer Creëren.

   Omgeving	Voorgestelde waarde	veldbeschrijving
   Naam van gegevensverbinding	test-hub-connection	De naam van de verbinding die u wilt maken in Azure Data Explorer.
   Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte	Een unieke naam voor de naamruimte	De naam die u eerder hebt gekozen om de naamruimte te identificeren.
   Evenementencentrum	test-hub	De Event Hub die u hebt gemaakt.
   Consumentengroep	testgroep	De consumentengroep die u hebt gedefinieerd in de gemaakte Event Hub.
   Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De eigenschappen van het Event Hub-systeem. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, creëert of bewerk u het tabelschema en de mapping om de geselecteerde eigenschappen op te nemen.
   Compressie	Geen	Het compressietype van de berichtenbelading van de event hub. Ondersteunde compressietypen: None, gzip.
   Beheerde identiteit (aanbevolen)	Door het systeem toegewezen	De beheerde identiteit die door het Data Explorer-cluster wordt gebruikt voor toegang tot lezen vanuit de Event Hub. U wordt aangeraden beheerde identiteiten te gebruiken om de toegang tot uw Event Hub te beheren. Opmerking: Wanneer de gegevensverbinding wordt gemaakt: * Door het systeem toegewezen identiteiten worden automatisch gemaakt als ze niet bestaan * De beheerde identiteit wordt automatisch toegewezen aan de rol Azure Event Hubs-gegevensontvanger en wordt toegevoegd aan uw Data Explorer-cluster. U wordt aangeraden te controleren of de rol is toegewezen en of de identiteit is toegevoegd aan het cluster.

   Opmerking

   Als u een bestaande gegevensverbinding hebt die geen beheerde identiteiten gebruikt, raden we u aan deze bij te werken voor het gebruik van beheerde identiteiten.

Vereiste voorwaarden

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Een cluster en database maken.
• Een bestemmingstabel. Maak een tabel of gebruik een bestaande tabel.
• Een invoertoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

Gegevens ophalen

1. Blader in de Azure portal naar uw instantie van Event Hubs.

2. Selecteer Gegevens analyseren met Kusto in het menu Functies.

3. Selecteer Start om de opnamewizard te openen in Azure Data Explorer.

   

   Opmerking

   • U moet ten minste machtigingen voor databasegebruikers hebben.
   • Als u toegang wilt inschakelen tussen een cluster en een opslagaccount zonder openbare toegang, bekijkt u Maak een beheerd privé-eindpunt.
   • Het cluster en de Event Hub moeten worden gekoppeld aan dezelfde tenants. Als dat niet het is, gebruikt u een van de SDK-opties, zoals C# of Python.

4. Het deelvenster Gegevens opnemen wordt geopend met het tabblad Doel geselecteerd. Selecteer de velden Cluster en Database in de vervolgkeuzelijsten. Zorg ervoor dat u een cluster selecteert dat actief is. Anders kunt u Database niet selecteren en doorgaan met het opnameproces.

5. Selecteer Onder Tabel de optie Nieuwe tabel en voer een naam in voor de nieuwe tabel. U kunt ook een bestaande tabel gebruiken.

6. Kies Volgende: Bron.

7. Onder Brontype worden het Event Hub-type en de details automatisch ingevuld op basis van het Event Hubs-exemplaar waaruit u bent begonnen.

8. Vul onder Gegevensverbinding de volgende velden in en selecteer Volgende: Schema.

   Omgeving	Voorgestelde waarde	veldbeschrijving
   Abonnement		De abonnements-id waar de Event Hub-resource zich bevindt.
   Event hub-naamruimte		De naam die uw naamruimte identificeert.
   Evenementencentrum		De Event Hub die u wilt gebruiken.
   Naam van gegevensverbinding	TestDataConnection	De naam waarmee uw gegevensverbinding wordt geïdentificeerd.
   Consumentengroep		De consumentengroep die is gedefinieerd in uw Event Hub.
   Compressie		Het compressietype van de berichtenbelading van de event hub.
   Eigenschappen van gebeurtenissysteem	Relevante eigenschappen selecteren	De eigenschappen van het Event Hub-systeem. Als er meerdere records per gebeurtenisbericht zijn, worden de systeemeigenschappen toegevoegd aan de eerste record. Wanneer u systeemeigenschappen toevoegt, creëert of bewerk u het tabelschema en de mapping om de geselecteerde eigenschappen op te nemen.
   Begindatum voor het ophalen van gebeurtenissen	Gecoördineerde Universele Tijd (UTC)	De gegevensverbinding haalt bestaande Event Hubs-gebeurtenissen op die zijn gemaakt na de begindatum van het ophalen van gebeurtenissen. Alleen gebeurtenissen die worden bewaard door de bewaarperiode van Event Hubs, kunnen worden opgehaald. Als de begindatum van het ophalen van gebeurtenissen niet is opgegeven, is de standaardtijd het tijdstip waarop de gegevensverbinding wordt gemaakt.

9. Als streaming is ingeschakeld voor het cluster, kunt u streamingopname selecteren. Als streaming niet is ingeschakeld voor het cluster, stelt u de latentie voor gegevensbatch in. Voor Event Hubs is de aanbevolen batchtijd 30 seconden.

   

10. Selecteer de gegevensindeling. Voor csv-opgemaakte gegevens negeert u de eerste record om de koprij van het bestand te negeren. Voor gegevens met JSON-indeling selecteert u Gegevensformaatfouten negeren om de gegevens in JSON-indeling te verwerken. Laat deze optie niet geselecteerd om de gegevens in multi-JSON-indeling te verwerken. Selecteer de geneste niveaus om de verdeling van de kolomgegevens van de tabel te bepalen.

11. Als de gegevens die u in het voorbeeldvenster ziet niet zijn voltooid, hebt u mogelijk meer gegevens nodig om een tabel te maken met alle benodigde gegevensvelden. Gebruik de volgende opdrachten om nieuwe gegevens op te halen uit uw Event Hub:

    • Nieuwe gegevens verwijderen en ophalen: verwijdert de gegevens die worden weergegeven en zoekt naar nieuwe gebeurtenissen.
    • Meer gegevens ophalen: zoekt naar meer gebeurtenissen naast de al gevonden gebeurtenissen.

    Opmerking

    Als u een voorbeeld van uw gegevens wilt zien, moet uw Event Hub gebeurtenissen verzenden.

12. Selecteer Volgende: Samenvatting.

13. In het tot stand gebrachte venster Continue opname van Event Hub worden alle stappen gemarkeerd met groene vinkjes wanneer de instelling is voltooid.

Vereiste voorwaarden

• Een Azure-abonnement. Maak een gratis Azure-account.
• Een Azure Data Explorer-cluster en -database. Een cluster en database maken.
• Een bestemmingstabel. Maak een tabel of gebruik een bestaande tabel.
• Een invoertoewijzing voor de tabel.
• Een Event Hub met gegevens voor opname.

ARM-template

In het volgende voorbeeld ziet u een Azure Resource Manager-sjabloon voor het toevoegen van een Event Hubs-gegevensverbinding. U kunt de sjabloon bewerken en implementeren in Azure Portal met behulp van het formulier.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Verwijder de gegevensverbinding via Azure Portal, zoals wordt uitgelegd op het tabblad Portal.

Als u de Event Hub-verbinding wilt verwijderen uit Azure Portal, voert u de volgende stappen uit:

1. Ga naar uw cluster. Selecteer Databases in het linkermenu. Selecteer vervolgens de database waarin de doeltabel zich bevindt.
2. Selecteer Gegevensverbindingen in het linkermenu. Schakel vervolgens het selectievakje in naast de relevante Event Hub-gegevensverbinding.
3. Selecteer Verwijderen in de bovenste menubalk.