Migreren van Azure Data Explorer (ADX) naar Fabric Real-Time intelligence (Eventhouse)

In dit artikel leest u hoe u uw analyseworkloads geleidelijk kunt overzetten van Azure Data Explorer naar Eventhouse in Fabric Real-Time intelligentie zonder uitvaltijd. Begin met het gebruik van Fabric als de querylaag terwijl ADX gegevens blijft opnemen om de functies van Fabric te verkennen. Wanneer u klaar bent, migreert u volledig door het schema en de opname naar Fabric te verplaatsen.

ADX-gegevens gebruiken in Fabric

Houd ADX alleen voor opname en verplaats query's naar Fabric met behulp van een van deze twee methoden om ADX-gegevens uit Fabric te gebruiken zonder gegevens te dupliceren.

• Snelkoppeling naar infrastructuurdatabase (volger)

  Maak een databasesnelkoppeling naar een Azure Data Explorer-database en voer een query uit zonder gegevens naar Fabric te migreren. Een snelkoppeling naar een database in de Infrastructuur-Real-Time intelligence-workload is een ingesloten verwijzing in een KQL-database (Kusto Query Language) naar een brondatabase in Azure Data Explorer. Het gedrag van de snelkoppeling naar de database is vergelijkbaar met een volgdatabase. Het is alleen-lezen, synchroniseert nieuwe gegevens met een lichte vertraging (seconden tot minuten) en laat alle Fabric-items ADX-gegevens bekijken en er query's op uitvoeren zonder deze opnieuw op te nemen.

• Het ADX-cluster koppelen als een bevraagbare bron

  Zorg ervoor dat u in Fabric verbinding hebt met het ADX-cluster. Voeg een Azure Data Explorer-bron toe in KQL-queryset, waarmee bepaalde Fabric-items, zoals queryset en realtime dashboards, ADX-gegevens kunnen opvragen. Zie Querygegevens in een KQL-queryset - Microsoft Fabric voor meer informatie.

  Probeer de mogelijkheden van Fabric, zoals copilot-ondersteunde querygeneratie, Notebooks, Activator en Power BI-rapporten op uw ADX-gegevens. Voer al uw dashboards en query's uit in Fabric terwijl de opname blijft plaatsvinden in ADX. Wanneer u klaar bent om volledig te migreren, volgt u de volgende stappen.

Migratiestappen op hoog niveau

Volg deze stappen om van ADX naar Fabric te migreren:

1. Een nieuwe KQL-database maken in Fabric met het ADX-schema
2. Een weergave maken met samenvoegoperator die toegang heeft tot zowel tabel in KQL-database als tabel in ADX-database
3. Query-eindpunten omleiden naar KQL Database in Fabric Eventhouse
4. Gegevensopname overschakelen naar Fabric
5. Het ADX-cluster buiten gebruik stellen

In de volgende secties vindt u meer informatie over elke stap.

KQL-database maken in Fabric met ADX-schema

1. Maak een lege KQL-database in een Fabric-eventhouse die uiteindelijk de ADX-database vervangt. Het moet hetzelfde schema voor tabellen en functies hebben als uw ADX-database. Zie Een eventhouse en een KQL-database maken voor instructies.

2. Het schema repliceren

   Gebruik de Synchronisatie kusto of exporteer het schema uit de ADX-database om het opnieuw te maken in de KQL-database van Fabric. SyncKusto is een speciaal hulpprogramma waarmee Kusto-databaseschema's (tabellen, functies, enzovoort) tussen omgevingen worden gesynchroniseerd.

   U kunt ook de KQL-opdracht uitvoeren: .show database schema in ADX, waarmee een script wordt gegenereerd van alle tabeldefinities, functies en beleidsregels, en vervolgens het gegenereerde script uitvoeren op KQL-database in Fabric.

3. Schema controleren

   Controleer of alle tabellen, kolommen, gegevenstypen en relevante beleidsregels (retentie, caching, enzovoort) in de KQL-database overeenkomen met die in de ADX-database. Op dit moment is de Fabric KQL-database leeg, maar klaar om gegevens te ontvangen. U kunt ook nog steeds query's uitvoeren op ADX met behulp van methoden uit de sectie ADX-gegevens verkennen in de sectie Fabric .

Samenvoegweergaven maken voor naadloze gegevenstoegang

Als u onderbrekingen tijdens de gegevensmigratie wilt voorkomen, maakt u KQL-weergaven in Fabric die gegevens uit zowel de oude ADX-database als de nieuwe Fabric KQL-database combineren. Met deze methode kunnen query's een volledige gegevensset retourneren tijdens de overgang:

1. Samenvoegweergaven definiëren

   Maak voor elke tabel een opgeslagen functie in Fabric (met) .create function with (view=true)die de Fabric-tabel samenvoegt met de bijbehorende ADX-tabel. Geef de functie exact dezelfde naam als de tabel om deze transparant te overschrijven. Maak bijvoorbeeld voor een tabel MyTableeen functie met behulp van de volgende opdracht:

   .create function with (view=true) MyTable() {
       MyTable 
       | union cluster("YourADXCluster").database("YourDatabase").MyTable
   }
   

   Deze weergave retourneert de samenvoeging van de lokale MyTable in de Fabric KQL-database, die momenteel leeg is of nieuwe gegevens ontvangt, en de externe tabel MyTable in de ADX-database.

   Omdat de naam van de weergave MyTable is, voert elke query of elk rapport met die tabelnaam automatisch query's uit op beide bronnen.

   Fabric en ADX bevinden zich mogelijk in verschillende clusters of tenants. Als de aanmaakopdracht klaagt over de externe verwijzing, gebruikt u de skipvalidation=true optie bij het maken van de functie, die soms nodig is voor functies tussen clusters.

2. De weergave testen

   Voer een telling of voorbeeldquery uit in de weergave (bijvoorbeeld MyTable | count) om ervoor te zorgen dat er gegevens worden geretourneerd uit ADX. De Fabric KQL-database is nu nog steeds leeg, maar terwijl u opname in de volgende stap migreert, worden in de weergave zowel oude als nieuwe records geretourneerd.

Query-eindpunten omleiden naar KQL Database in Fabric Eventhouse

Werk nu uw hulpprogramma's en toepassingen bij om een query uit te voeren op de nieuwe Fabric KQL-database in plaats van de ADX-database:

1. Verbindingsreeksen bijwerken

   Wijzig analysetoepassingen, KQL-query's of Power BI-rapporten om het eindpunt van de KQL-database (query-URI) te gebruiken in plaats van het ADX-cluster. De query's blijven hetzelfde omdat tabelnamen en KQL niet zijn gewijzigd, maar ze worden nu uitgevoerd in Fabric. Vanwege de samenvoegweergave die in de vorige stap is gemaakt, krijgen gebruikers die query's uitvoeren op de Fabric KQL-database nog steeds alle historische gegevens van ADX via de weergave plus eventuele nieuwe gegevens die zijn opgenomen in Fabric.

2. Rapporten en apps testen

   Zorg ervoor dat dashboards en scripts resultaten krijgen zoals verwacht uit de Fabric KQL-database. De prestaties kunnen enigszins verschillen. Fabric kan enkele ADX-gegevens in de cache opslaan als u een snelkoppeling hebt gebruikt. Met deze stap worden de query-eindpunten effectief verplaatst naar Fabric. Van hieruit vinden alle lees-/querybewerkingen plaats in Fabric.

Gegevensopname overschakelen naar Fabric

Met query's die nu door Fabric worden geleverd, stuurt u de binnenkomende gegevensstromen naar Fabric:

1. Opnamepijplijnen opnieuw aanwijzen

   Wijzig alle gegevensproducenten, zoals IoT-apparaten, ETL-taken (extract-transform-load), Event Hubs-verbindingen en andere die eerder in de ADX-database zijn opgenomen, zodat ze worden opgenomen in de KQL-database van Fabric. Deze stap kan bestaan uit het wijzigen van cluster-URL's, verificatie of het bijwerken van verbindingsreeksen in Azure Data Factory, Stream Analytics of aangepaste apps voor het gebruik van het opname-eindpunt of de URI van de KQL-database.

2. Nieuwe gegevensstroom controleren

   Controleer of nieuwe records in tabellen in de KQL-database terechtkomen. De KQL-database in Fabric begint met het verzamelen van gegevens. Omdat u de samenvoegweergaven gebruikt, bevatten query's in Fabric nog steeds een uniforme gegevensset. Na verloop van tijd worden gegevens in ADX verouderd omdat er na deze switch geen nieuwe gegevens in ADX worden opgenomen.

Het ADX-cluster buiten gebruik stellen

Wanneer u zeker weet dat alle vereiste gegevens beschikbaar zijn in Fabric, moet u de oude ADX-resources buiten gebruik stellen:

1. Samenvoegverwijzingen verwijderen

   Wijzig of verwijder de samenvoegweergaven zodat query's niet worden opgehaald uit het ADX-cluster. Werk bijvoorbeeld de functiedefinitie bij om alleen lokale gegevens te MyTable { MyTable } gebruiken of verwijder de functie als de fysieke tabel in Fabric alle gegevens bevat. Controleer of uw query's en dashboards werken zoals verwacht met alleen fabric-gegevens.

2. Historische gegevens archiveren of overdragen (indien nodig)

   Als er nog steeds historische gegevens in ADX zijn die niet zijn verplaatst (bijvoorbeeld als u niet hebt gewacht totdat deze ouder wordt), kunt u overwegen om die gegevens te exporteren naar Fabric voordat u afsluit. Ga anders verder als de gegevens in ADX buiten de bewaarvereisten blijven.

3. ADX buiten gebruik stellen

   Wanneer Fabric zowel query's als opname verwerkt, sluit u het ADX-cluster af of verwijdert u het om kosten te besparen. Alle gebruikers moeten nu verbinding maken met Fabric.

Samenvatting

Door de stappen in dit artikel te volgen, migreert u met minimale onderbrekingen van ADX naar Fabric. U begint met het verplaatsen van de verbruikslaag naar Fabric, waarmee functies zoals Copilot, Power BI, Notebooks en Activator worden ontgrendeld en vervolgens de back-end geleidelijk naar Fabric wordt verplaatst. De realtime intelligentie (Eventhouse) van Fabric verwerkt nu zowel opname als query's op uw gegevens en ADX wordt niet gebruikt.