Beslissingshandleiding voor Microsoft Fabric: Een strategie voor gegevensverplaatsing kiezen

Microsoft Fabric biedt u verschillende manieren om gegevens naar Fabric te brengen, op basis van wat u nodig hebt. Tegenwoordig kunt u mirroring, kopieeractiviteiten in pijplijnen, kopieertaak of Eventstreams gebruiken. Elke optie biedt een ander niveau van controle en complexiteit, zodat u kunt kiezen wat het beste past bij uw scenario.

Spiegelen is ontworpen om een eenvoudige en gratis oplossing te zijn voor het spiegelen van de database naar Fabric, maar omvat niet elk geavanceerd scenario. Kopieeractiviteiten in pijplijnen bieden u volledig aanpasbare functies voor gegevensopname, maar hiervoor moet u zelf pijplijn bouwen en beheren. De kopieertaak vult de ruimte tussen deze twee opties. Het biedt meer flexibiliteit en controle dan Spiegeling, plus systeemeigen ondersteuning voor zowel batch- als incrementeel kopiëren, zonder de complexiteit van het bouwen van pijplijnen.

Probeer Eventstreams in Real-Time Intelligence voor realtime streamingopname en gebeurtenisgestuurde scenario's. Ze bieden gegevensverplaatsing met lage latentie, bieden u de mogelijkheid om gegevens zonder code of SQL-transformaties te transformeren en bieden ondersteuning voor routering op basis van inhoud naar meerdere bestemmingen, waaronder Eventhouse, Lakehouse en Activator.

Belangrijke concepten

• Spiegeling biedt u een eenvoudige en gratis manier om operationele gegevens te spiegelen in Fabric voor analyse. Het is geoptimaliseerd voor gebruiksgemak met minimale installatie en schrijft naar één, alleen-lezenbestemming in OneLake.

• Kopieeractiviteiten in pijplijnen zijn gebouwd voor gebruikers die georchestreerde, op pijplijnen gebaseerde gegevensopnamewerkstromen nodig hebben. U kunt deze uitgebreid aanpassen en transformatielogica toevoegen, maar u moet zelf pijplijnonderdelen definiëren en beheren, inclusief het bijhouden van de status van de laatste uitvoering voor incrementeel kopiëren.

• Kopiërentaak maakt gegevensopname eenvoudiger met native ondersteuning voor meerdere leveringsstijlen, waaronder bulksgewijze kopie, incrementele kopie en change data capture (CDC)-replicatie, zonder dat u pijplijnen hoeft te bouwen, terwijl u nog steeds toegang heeft tot vele geavanceerde opties. Het ondersteunt veel bronnen en bestemmingen en werkt goed als u meer controle wilt dan Spiegeling, maar minder complexiteit dan het beheren van pijplijnen met kopieeractiviteit.

• Eventstreams: ontworpen voor realtime opname, transformatie en verwerking van streaminggegevens. Ondersteunt pijplijnen met lage latentie, schemabeheer en routering naar bestemmingen zoals Eventhouse, Lakehouse, Activator en aangepaste eindpunten (AMQP, Kafka en HTTP-eindpunten).

Handleiding voor beslissingen over gegevensverplaatsing

Scenariën

Bekijk deze scenario's om u te helpen kiezen welke strategie voor gegevensverplaatsing het beste werkt voor uw behoeften.

Scenario 1

James is een financieel manager bij een verzekeringsmaatschappij. Zijn team gebruikt Azure SQL Database om beleidsgegevens, claims en klantgegevens bij te houden in meerdere bedrijfseenheden. Het leidinggevend team wil realtime dashboards maken voor het bewaken van bedrijfsprestaties, maar James kan analysequery's niet toestaan om de operationele systemen te vertragen die duizenden dagelijkse transacties verwerken.

James heeft continue gegevensreplicatie nodig zonder enige instellingscomplexiteit of doorlopend onderhoud. Hij wil geen planning beheren, incrementele belastingen configureren of zich zorgen maken over tabelselectie. Hij heeft alles automatisch gespiegeld nodig. Omdat dit alleen voor leidinggevenden geldt, werkt het gebruik van de gegevens in een alleen-lezenindeling in OneLake perfect. De oplossing moet ook kosteneffectief zijn omdat deze uit zijn afdelingsbudget komt.

James kijkt naar de opties en kiest Spiegeling. Mirroring biedt de op CDC gebaseerde continue replicatie die hij nodig heeft en verwerkt automatisch alle tabellen zonder enige configuratie. De eenvoudige installatie betekent dat hij geen technische expertise nodig heeft en de gratis kosten passen bij zijn budget. De tabellaire indeling met het kenmerk Alleen-lezen in OneLake biedt zijn team de realtime toegang tot analyse die ze nodig hebben zonder dat dit van invloed is op de operationele prestaties.

Scenario 2

Lisa is een bedrijfsanalist bij een logistiek bedrijf. Ze moet verzendingsgegevens van meerdere Snowflake-databases kopiëren naar Fabric Lakehouse-tabellen voor supply chain-analyse. De gegevens bevatten zowel historische records voor de eerste belasting als nieuwe zendingen die de hele dag door binnenkomen. Lisa wil dit proces volgens een aangepast schema uitvoeren - om de 4 uur tijdens kantooruren.

Lisa moet specifieke tabellen selecteren uit elk Snowflake-exemplaar, kolommen toewijzen aan gestandaardiseerde namen en upsert-gedrag gebruiken om updates voor bestaande verzendingsrecords af te handelen. Ze heeft mogelijkheden voor tabel- en kolombeheer nodig om verschillende schema's in verschillende regio's af te handelen en ze wil geavanceerde bewaking om de gegevenskwaliteit en de prestaties van de verwerking bij te houden.

Lisa bekijkt de opties en selecteert Kopieertaak. De kopieertaak biedt de aangepaste planning die ze nodig heeft voor de vereisten voor haar kantooruren, ondersteunt alle gegevensbronnen, waaronder Snowflake, en biedt de mogelijkheden voor tabel- en kolombeheer voor de installatie van meerdere regio's. Met de gebruiksvriendelijke interface met geavanceerde configuratieopties kan ze incrementele kopie afhandelen met detectie op basis van watermerken en upsertgedrag zonder pijplijnen te bouwen.

Scenario 3

David is senior data engineer bij een telecommunicatiebedrijf. Hij bouwt een complexe werkstroom voor gegevensopname die klantgebruiksgegevens uit Oracle moet extraheren met behulp van aangepaste SQL-query's, bedrijfstransformaties moet toepassen en deze in meerdere bestemmingen moet laden, waaronder zowel Fabric Warehouse als externe systemen. De werkstroom moet ook coördineren met andere pijplijnactiviteiten, zoals gegevensvalidatie en meldingsstappen.

David heeft volledige controle over het kopieerproces nodig, inclusief de mogelijkheid om door de gebruiker gedefinieerde query's te gebruiken om tabellen samen te voegen en gegevens te filteren op de bron. Hij heeft geavanceerde en volledig aanpasbare configuratieopties nodig, voorspelbare prestaties voor grote gegevensvolumes en de mogelijkheid om het kopieerproces te integreren in bredere werkstromen voor pijplijnindeling met afhankelijkheden en foutafhandeling.

David beoordeelt de beschikbare opties en kiest Kopieeractiviteiten in pijplijnen. Deze benadering biedt hem de geavanceerde en volledig aanpasbare configuratie die hij nodig heeft, ondersteunt door de gebruiker gedefinieerde query's voor complexe gegevensextractie en biedt de indeling op basis van pijplijnen die vereist is voor zijn werkstroom. Dankzij de geavanceerde bewakings- en controlemogelijkheden kan hij het complexe proces bijhouden, terwijl het pijplijnframework hem de mogelijkheid biedt om kopieeractiviteiten te coördineren met andere stappen voor gegevensverwerking.

Scenario 4

Ash is een productmanager bij een telecombedrijf. Haar team moet metrische gegevens van de klantondersteuning bewaken, zoals oproepvolumes, wachttijden en agentprestaties, in realtime om ervoor te zorgen dat de SLA voldoet en de klanttevredenheid verbetert. De gegevens zijn afkomstig van meerdere operationele systemen, waaronder CRM-platforms, callcenterlogboeken en agenttoewijzingsdatabases, en komen de hele dag met hoge frequentie aan.

Ash gebruikt Fabric Eventstreams om deze gegevens in beweging op te nemen en te transformeren. Ze configureert streamingconnectors voor het ophalen van gegevens uit verschillende bronnen, past transformaties toe met behulp van de ervaring zonder code en stuurt de verwerkte gebeurtenissen naar Eventhouse voor realtime analyse. Ze integreert Data Activator om waarschuwingen en geautomatiseerde werkstromen te activeren wanneer de SLA-drempelwaarden worden overschreden, zodat ze meldingen naar supervisors kan verzenden of personeelsniveaus dynamisch kan aanpassen.

Het resultaat is een realtime dashboard dat binnen enkele seconden wordt bijgewerkt, waardoor ash's team inzicht heeft in metrische gegevens over liveprestaties en snelle, gegevensgestuurde beslissingen mogelijk maakt. Deze streamingarchitectuur elimineert de latentie van batchpijplijnen en stelt het bedrijf in staat om direct te reageren op de behoeften van de klant.

Get started

Nu u een idee hebt van welke strategie voor gegevensverplaatsing u wilt gebruiken, kunt u aan de slag met deze resources:

• Aan de slag met spiegelen
• Aan de slag met Eventstreams
• Een kopieertaak maken
• Een kopieeractiviteit maken