Veelgestelde vragen over Azure Synapse Link voor Dataverse

Gegevensbestanden mogen niet worden gewijzigd door een klant en er mogen geen klantbestanden in de gegevensmappen worden geplaatst.

Voor toegang tot veel-op-veel-relaties is de relatie beschikbaar als een tabel die u kunt selecteren op de pagina Tabellen toevoegen voor een nieuwe koppeling en in de tabellen beheren voor een bestaande koppeling.

Azure Synapse Link is een gratis functie met Dataverse. Voor het gebruik van Azure Synapse Link voor Dataverse worden geen extra kosten in rekening gebracht onder Dataverse. Houd echter rekening met mogelijke kosten voor de Azure-service:

• Gegevensopslag in Azure Data Lake Storage Gen2: Prijzen voor Azure Storage Data Lake Gen2 | Microsoft Azure
• Kosten voor gegevensverbruik (zoals Synapse-werkruimte): prijzen - Azure Synapse Analytics | Microsoft Azure Voor uitgebreide informatie over Microsoft Cost Management gaat u naar: Azure-kosten beheren - Microsoft Cost Management | Microsoft Learn

Wanneer u een nieuwe kolom toevoegt aan een tabel in de bron, wordt deze ook toegevoegd aan het einde van het bestand in de bestemming in de bijbehorende bestandspartitie. Hoewel de rijen die bestonden voordat de kolom werd toegevoegd, niet worden weergegeven in de nieuwe kolom, worden in nieuwe of bijgewerkte rijen de zojuist toegevoegde kolom weergegeven.

Wanneer u een kolom verwijdert uit een tabel in de bron, wordt de kolom niet verwijderd uit het doel. In plaats daarvan worden de rijen niet meer bijgewerkt en worden ze gemarkeerd als null terwijl de vorige rijen behouden blijven.

Het wijzigen van het gegevenstype van een kolom is een belangrijke wijziging en u moet de koppeling verbreken en opnieuw koppelen.

Het verwijderen van een rij wordt anders verwerkt op basis van de opties voor het schrijven van gegevens die u kiest:

• In-place update met CSV-indeling: dit is de standaardmodus. Wanneer u een tabelrij in deze modus verwijdert, wordt de rij ook verwijderd uit de bijbehorende gegevenspartitie in Azure Data Lake. Met andere woorden, gegevens worden permanent verwijderd uit de bestemming.
• Alleen toevoegen met CSV-indeling en incrementele mapupdate: In deze modus wordt, wanneer een Dataverse-tabelrij verwijderd wordt, deze niet permanent verwijderd uit het doel. In plaats daarvan wordt een rij toegevoegd en ingesteld als isDeleted=True aan het bestand in de bijbehorende gegevenspartitie in Azure Data Lake.
• Exporteren naar Delta Lake-indeling: Azure Synapse Link voert een voorlopig verwijderen uit op gegevens tijdens de volgende deltasynchronisatiecyclus, gevolgd door een harde verwijdering na 30 dagen.

Azure Synapse Link volgt het Common Data Model om gegevens en de betekenis ervan te delen tussen toepassingen en bedrijfsprocessen, zoals Microsoft Power Apps, Power BI, Dynamics 365 en Azure. In elke CDM-map worden metagegevens zoals een kolomkop opgeslagen in het model.json bestand. Meer informatie: Common Data Model en Azure Data Lake Storage Gen2 | Microsoft Learn

Model.json behoudt de databaselengte van de kolomgrootte. Dataverse heeft een concept van databaselengte voor elke kolom. Als u een kolom maakt met een grootte van 200 en deze later verkleint naar 100, kunnen uw bestaande gegevens nog steeds in Dataverse aanwezig blijven. Dat doet het door DBLength op 200 te houden en MaxLength op 100 te houden. Wat u in Model.json ziet, is DBLength en als u dat gebruikt voor downstreamprocessen, hoeft u nooit minder ruimte in te richten voor uw Dataverse-kolommen.

Er zijn drie datum- en tijdnotaties die kunnen worden verwacht in de geëxporteerde Dataverse-tabellen.

Dit gedrag wordt verwacht wanneer u de exportmodus alleen toevoegen kiest en tabellen hebt zonder een geldige CreatedOn-kolom . Blobs zijn ingedeeld in bestanden zoals 1.csv, 2.csv (aangepaste partitionering wordt gebruikt vanwege het ontbreken van een geldige aanmaakdatum). Wanneer een partitie 95% van maxBlockPerBlobLimit nadert, genereert het systeem automatisch een nieuw bestand, dat hier wordt geïllustreerd als 1_001.csv.

Voor Dataverse-tabellen waarbij het gegevensvolume binnen een jaar hoog is, raden we u aan maandelijkse partities te gebruiken. Dit resulteert in kleinere bestanden en betere prestaties. En als de rijen in Dataverse-tabellen regelmatig worden bijgewerkt, kunt u met het splitsen in meerdere kleinere bestanden de prestaties verbeteren in het geval van in-place updatescenario's. Delta Lake is alleen beschikbaar met jaarlijkse partitie vanwege de superieure prestaties in vergelijking met csv-indeling.

In de modus Alleen toevoegen worden incrementele gegevens uit Dataverse-tabellen toegevoegd aan de bijbehorende bestandspartitie in de lake. Voor meer informatie: Geavanceerde configuratieopties in Azure Synapse Link

De modus Alleen toevoegen is de aanbevolen optie voor het schrijven van Dataverse-tabelgegevens naar de lake, vooral wanneer de gegevensvolumes hoog zijn in een partitie met vaak veranderende gegevens. Nogmaals, dit is een veelgebruikte en sterk aanbevolen optie voor zakelijke klanten. Daarnaast kunt u ervoor kiezen om deze modus te gebruiken voor scenario's waarin de bedoeling is om wijzigingen van Dataverse incrementeel te controleren en de wijzigingen voor ETL-, AI- en ML-scenario's te verwerken. De modus Alleen toevoegen biedt een geschiedenis van wijzigingen, in plaats van de meest recente wijziging of in place update, en maakt verschillende tijdreeksen van AI-scenario's mogelijk, zoals voorspellings- of prognoseanalyses op basis van historische waarden.

In de modus Alleen toevoegen moet u de meest recente versie van de record identificeren met dezelfde id VersionNumber en SinkModifiedOn vervolgens toepassen isDeleted=0 op de nieuwste versie.

Als Azure Synapse Link voor Dataverse in de modus 'Alleen Toevoegen' geen bevestiging krijgt van de Azure Data Lake dat de gegevens zijn doorgevoerd om welke reden dan ook, zoals netwerkvertragingen, probeert Azure Synapse Link het opnieuw in deze scenario's en worden de gegevens opnieuw doorgevoerd. Het downstreamverbruik moet tolerant worden gemaakt voor dit scenario door gegevens te filteren met behulp van SinkModifiedOn.

Het wordt verwacht. Modifiedon is de datum/tijd waarop de record wordt gewijzigd in Dataverse; Sinkmodifiedon is de datum en tijd waarop de record wordt gewijzigd in de data lake.

Een tabel waarvoor wijzigingen bijhouden niet is ingeschakeld, wordt niet ondersteund naast de volgende systeemtabellen:

• Bijlage
• Kalender
• Agendaregel

Bepaalde Dataverse-tabellen, zoals postcomment, postregarding, postlike, post en postrole, zijn niet beschikbaar voor klanten om synchronisatie via Azure Synapse Link mogelijk te maken.

In sommige gevallen kunnen deze tabellen worden weergegeven wanneer langetermijnretentie van Dataverse is ingeschakeld. Als dat gebeurt, kan een subset of alle records uit deze tabellen worden geëxporteerd. Dit is verwacht gedrag voor langetermijnretentiescenario's.

De Delta Lake-conversietaak wordt geactiveerd wanneer er een gegevenswijziging is aangebracht in het geconfigureerde tijdsinterval. Er is geen optie om de Apache Spark-pool te stoppen of te onderbreken. U kunt echter het tijdsinterval wijzigen nadat de koppeling is gemaakt onder Geavanceerde tijdsinterval voor tabellen > beheren.

Opzoekkolommen bestaan uit een id en een waarde. Opzoekwaarden worden alleen gewijzigd in de hoofdtabel. Als u de waarde van een opzoekkolom beter wilt weergeven, raden we u aan samen te voegen met de oorspronkelijke hoofdtabel om de meest recente waarde op te halen.

In Dataverse behouden berekende kolommen alleen de formulegegevens en de werkelijke waarde is afhankelijk van de basistabelkolom. Berekende kolommen worden dus alleen ondersteund wanneer alle kolommen zich in dezelfde geëxporteerde tabel bevinden.

Alle tabellen die geen createdOn-veld hebben, worden standaard gesynchroniseerd met de modus Toevoegen. Dit omvat relatietabellen en de activityparty-tabel.

• Dataverse-gegevens worden opgeslagen in de verbonden opslagcontainer. U hebt de rol Inzender voor opslagblobgegevens in het gekoppelde opslagaccount nodig om lees- en querybewerkingen uit te voeren via Synapse Workspace.
• Als u ervoor kiest om gegevens te exporteren met de Delta Lake-indeling, wordt uw CSV-bestand opgeschoond na de Delta Lake-conversie. U moet query's uitvoeren op gegevens met non_partitioned tabellen via Synapse Workspace.

Dataverse-gegevens kunnen continu worden gewijzigd door transacties te maken, bij te werken en te verwijderen. Deze fout wordt veroorzaakt doordat het onderliggende bestand wordt gewijzigd wanneer u gegevens uit het bestand leest. Dus voor tabellen met continue wijzigingen moet u uw verbruikspijplijn wijzigen zodat momentopnamegegevens (gepartitioneerde tabellen) voor verbruik worden gebruikt. Meer informatie: Problemen met een serverloze SQL-pool oplossen

Azure Synapse Link voor Dataverse is ontworpen voor analysedoeleinden. We raden klanten aan om langetermijnretentie te gebruiken voor archiefdoeleinden. Meer informatie: Overzicht van langetermijnretentie van gegevens in Dataverse

Voor elke directe SQL-aanroep om een record te verwijderen, wordt de Azure Synapse Link voor Dataverse-service niet geactiveerd omdat BPO. Verwijderen wordt niet aangeroepen. Voor een voorbeeldfunctie gaat u naar Overgenomen toegang opschonen.

Zie ook

Azure Synapse Link voor Dataverse