Overzicht van gegevensimport- en exporttaken

Gebruik de werkruimte Gegevensbeheer om taken voor het importeren en exporteren van gegevens te maken en te beheren. Standaard wordt met het proces voor gegevensimport en -export een faseringstabel gemaakt voor elke entiteit in de doeldatabase. Met faseringstabellen kunt u gegevens controleren, opschonen of converteren voordat u deze verplaatst.

Gegevensimport- en exportproces

Volg deze stappen om gegevens te importeren of te exporteren.

1. Maak een import- of exporttaak en voer de volgende taken uit:

   • Definieer de projectcategorie.
   • Identificeer de entiteiten die u wilt importeren of exporteren.
   • Stel de gegevensindeling voor de taak in.
   • Bepaal de volgorde van de entiteiten, zodat ze in logische groepen en in een logische volgorde worden verwerkt.
   • Bepaal of u faseringstabellen wilt gebruiken.

2. Controleer of de bron- en doelgegevens juist zijn toegewezen.

3. Controleer de beveiliging voor uw import- of exporttaak.

4. Voer de import- of exporttaak uit.

5. Controleer aan de hand van de taakhistorie of de taak naar verwachting is uitgevoerd.

6. Schoon de faseringstabellen op.

In de overige gedeelten van dit artikel vindt u meer informatie over elke stap van het proces.

Een import- of exporttaak maken

Voer een gegevensimport- of exporttaak één keer of meerdere keren uit.

De projectcategorie definiëren

Selecteer een projectcategorie die past bij uw import- of exporttaak. Met projectcategorieën kunt u gerelateerde taken beheren.

De entiteiten identificeren die u wilt importeren of exporteren

Voeg specifieke entiteiten toe aan een import- of exporttaak of selecteer een sjabloon die u wilt toepassen. Sjablonen vullen een taak met een lijst met entiteiten. De optie Sjabloon toepassen is beschikbaar als u de taak een naam geeft en opslaat.

De gegevensindeling voor de taak instellen

Wanneer u een entiteit selecteert, moet u de indeling selecteren van de gegevens die worden geëxporteerd of geïmporteerd. U definieert indelingen via de tegel Instelling van gegevensbronnen. Een brongegevensindeling is een combinatie van Type, Bestandsindeling, Scheidingsteken rij en Scheidingsteken voor kolommen. Hoewel er andere kenmerken zijn, zijn deze kenmerken de belangrijkste kenmerken die u moet begrijpen. In de volgende tabel staan de geldige combinaties.

Gebruik Unicode in plaats van een specifieke codepagina om gegevens te importeren of te exporteren. Deze keuze biedt de meest consistente resultaten en elimineert fouten in gegevensbeheertaken omdat deze Unicode-tekens bevatten. De door het systeem gedefinieerde brongegevensindelingen waarin Unicode wordt gebruikt, hebben Unicode in de bronnaam. De Unicode-indeling wordt toegepast door een Unicode-coderende ANSI-codepagina te kiezen als Codepagina op het tabblad Landinstellingen. Selecteer een van de volgende codepagina's voor Unicode:

Zie Codepagina-id's voor meer informatie over codepagina's.

De volgorde van de entiteiten bepalen

U kunt entiteiten in een gegevenssjabloon sequentieeren of in import- en exporttaken. Wanneer u een taak uitvoert die meer dan één gegevensentiteit bevat, moet u ervoor zorgen dat u de gegevensentiteiten correct volgorde geeft. Sequentieerentiteiten voornamelijk om functionele afhankelijkheden tussen entiteiten aan te pakken. Als entiteiten geen functionele afhankelijkheden hebben, plant u ze voor parallelle import of export.

Uitvoeringseenheden, -niveaus en -volgordes

De uitvoeringseenheid, het niveau in de uitvoeringseenheid en de volgorde van entiteiten bepalen in welke volgorde de gegevens worden geëxporteerd of geïmporteerd.

• Entiteiten worden in elke uitvoeringseenheid parallel verwerkt.
• In elke uitvoeringseenheid worden entiteiten parallel verwerkt als ze hetzelfde niveau hebben.
• In elk niveau worden entiteiten verwerkt op basis van hun volgnummer in dat niveau.
• Nadat één niveau is verwerkt, wordt het volgende niveau verwerkt.

Opnieuw sequentiëren

In de volgende situaties kan opnieuw sequentiëren nut hebben:

• Als u slechts één gegevenstaak gebruikt voor al uw wijzigingen, gebruikt u opties voor het wijzigen van de volgorde om de uitvoeringstijd voor de volledige taak te optimaliseren. In deze gevallen gebruikt u de uitvoeringseenheid om de module, het niveau weer te geven dat het functiegebied in de module vertegenwoordigt en de volgorde om de entiteit weer te geven. Met deze benadering kunt u parallel werken in verschillende modules, maar u kunt ook op volgorde in een module werken. Houd rekening met alle afhankelijkheden om ervoor te zorgen dat parallelle bewerkingen slagen.
• Als u meerdere gegevenstaken gebruikt (bijvoorbeeld één taak voor elke module), gebruikt u sequentiëren om het niveau en de volgorde van entiteiten te beïnvloeden voor optimale uitvoering.
• Als er helemaal geen afhankelijkheden zijn, reeksentiteiten op verschillende uitvoeringseenheden voor maximale optimalisatie.

Het menu Resequencing is beschikbaar wanneer u meerdere entiteiten selecteert. Resequencen op basis van uitvoeringseenheid, niveau of volgorde-opties. Stel een stapgrootte in om de door u geselecteerde entiteiten opnieuw te rangschikken. Het eenheids-, niveau- en volgnummer dat voor elke entiteit is geselecteerd, wordt bijgewerkt door de opgegeven verhoging.

Sorteren

Gebruik de optie Sorteren op om de entiteitslijst in opeenvolgende volgorde weer te geven.

Afkappen

Voor importprojecten kunt u ervoor kiezen om records in de entiteiten te verwijderen voordat u ze importeert. Afkappen is handig als u uw records wilt importeren in een schone set tabellen. Deze instelling is standaard uitgeschakeld.

Controleren of de bron- en doelgegevens juist zijn toegewezen

Toewijzing is een functie die zowel op importtaken als op exporttaken wordt toegepast.

• In de context van een importtaak wordt met toewijzing beschreven welke kolommen in het bronbestand de kolommen in de faseringstabel worden. Op deze manier kan het systeem bepalen welke kolomgegevens in het bronbestand naar welke kolom van de faseringstabel moeten worden gekopieerd.
• In de context van een exporttaak wordt met toewijzing beschreven welke kolommen van de faseringstabel (de bron) de kolommen in het doelbestand worden.

Als de kolomnamen in de faseringstabel en het bestand overeenkomen, wordt de toewijzing automatisch uitgevoerd, op basis van de namen. Als de namen echter verschillen, worden kolommen niet automatisch toegewezen. In deze gevallen moet u de toewijzing voltooien door de optie Kaart weergeven te selecteren voor de entiteit in de gegevenstaak.

Er zijn twee toewijzingsweergaven beschikbaar: Toewijzingsvisualisatie, de standaardweergave en toewijzingsgegevens. Met een rood sterretje (*) worden de vereiste velden in de entiteit aangeduid. Voordat u met de entiteit kunt werken, dient u deze velden toe te wijzen. U kunt de toewijzing van andere velden desgewenst ongedaan maken wanneer u met de entiteit werkt. Als u de toewijzing van een veld ongedaan wilt maken, selecteert u het veld in de kolom Entiteit of Bron en selecteert u vervolgens Selectie verwijderen. Selecteer Opslaan om uw wijzigingen op te slaan en sluit de pagina om terug te keren naar het project. U kunt hetzelfde proces gebruiken om de veldtoewijzingen van bron naar fasering te bewerken nadat u de import heeft uitgevoerd.

U kunt een toewijzing op de pagina genereren door Brontoewijzing maken te selecteren. Een gegenereerde toewijzing gedraagt zich als een automatische toewijzing. Daarom moet u niet-toegewezen velden handmatig toewijzen.

De beveiliging voor uw import- of exporttaak controleren

U kunt de toegang tot de werkruimte Gegevensbeheer beperken, zodat gebruikers van niet-beheerders alleen toegang hebben tot specifieke gegevenstaken. Toegang tot een gegevenstaak houdt volledige toegang tot de uitvoeringshistorie van die taak en de faseringstabellen in. Zorg er daarom voor dat u de juiste toegangscontroles instelt wanneer u een datataak aanmaakt.

Een taak beveiligen op rollen en gebruikers

Gebruik het menu Toepasselijke rollen om de taak tot een of meer beveiligingsrollen te beperken. Alleen gebruikers in deze rollen hebben toegang tot de taak.

U kunt een taak ook beperken tot bepaalde gebruikers. Wanneer u een taak beveiligt door gebruikers in plaats van rollen, hebt u meer controle als er meerdere gebruikers aan een rol zijn toegewezen.

Een taak beveiligen op rechtspersoon

Gegevenstaken zijn algemeen van aard. Daarom, als u een gegevensverwerkingstaak in een rechtspersoon maakt en gebruikt, kunnen andere rechtspersonen in het systeem de taak zien. Mogelijk geeft u in sommige toepassingsscenario's de voorkeur aan dit standaardgedrag. Een organisatie die facturen importeert met behulp van gegevensentiteiten, kan bijvoorbeeld een gecentraliseerd factuurverwerkingsteam bieden dat verantwoordelijk is voor het beheren van factuurfouten voor alle afdelingen in de organisatie. In dit scenario is het nuttig voor het centrale team voor het verwerken van facturen om vanuit alle rechtspersonen toegang te hebben tot taken voor het importeren van facturen. Daarom voldoet het standaardgedrag aan de vereisten vanuit het perspectief van een rechtspersoon.

Een organisatie kan echter ook de voorkeur geven aan aparte factuurverwerkingsteams per rechtspersoon. In dit geval moet een team in een rechtspersoon alleen toegang hebben tot de taak voor het importeren van facturen binnen de eigen rechtspersoon. Om te voldoen aan deze vereiste, kunt u toegangsbeheer op basis van rechtspersoon voor de gegevenstaken configureren via het menu Toepasselijke rechtspersonen in de gegevenstaak. Na de configuratie krijgen gebruikers alleen taken te zien die beschikbaar zijn in de rechtspersoon waarbij ze momenteel zijn aangemeld. Als een gebruiker taken van een andere rechtspersoon wil weergeven, moet hij of zij overschakelen naar die rechtspersoon.

U kunt een taak tegelijkertijd beveiligen door rollen, gebruikers en juridische entiteiten.

De import- of exporttaak uitvoeren

Voer een taak eenmalig uit door de knop Importeren of Exporteren te selecteren nadat u de taak hebt gedefinieerd. Als u een terugkerende taak wilt instellen, selecteert u Terugkerende gegevenstaak maken.

Automatische ondersteuning bij het opnieuw starten van batchknooppunten

Automatische ondersteuning voor opnieuw proberen voor importeren en exporteren in batchtaken wordt geïmplementeerd om nieuwe pogingen in te schakelen wanneer een batch opnieuw wordt opgestart. Deze functie is beschikbaar vanaf versie 10.0.42.

In de volgende diagrammen ziet u een overzicht van de wijzigingen die zijn aangebracht met behulp van de exportstroom als voorbeeld. Een vergelijkbaar ontwerp is toegepast voor het importeren.

Vorig ontwerp: Eén reguliere batchopdracht met één runtime-batchtaak.

Nieuw ontwerp: Een reguliere batchtaak (Job1) die een nieuwe subtaak op runtime (Job2) creëert. Voeg de reguliere batchtaak toe aan Job2 in plaats van Job1.

Controleren of de taak naar verwachting is uitgevoerd

U kunt de taakgeschiedenis gebruiken om problemen op te lossen en zowel import- als exporttaken te onderzoeken. De taakgeschiedenis organiseert historische taakuitvoeringen per tijdsbereik.

Voor elke taakuitvoering worden de volgende gegevens weergegeven:

• Uitvoeringsdetails
• Uitvoeringslogboek

In uitvoeringsgegevens wordt de status weergegeven van elke gegevensentiteit die door de taak is verwerkt. U kunt snel de volgende informatie vinden:

• De entiteiten die door de taak zijn verwerkt.
• Voor een entiteit, hoeveel records de taak succesvol heeft verwerkt, en hoeveel er zijn mislukt.
• De gefaseerde records voor elke entiteit.

U kunt de faseringsgegevens in een bestand voor exporttaken downloaden of u kunt de gegevens downloaden als een pakket voor import- en exporttaken.

Vanuit de uitvoeringsgegevens kunt u ook het uitvoeringslogboek openen.

Parallelle invoer

Als u het importeren van gegevens wilt versnellen, schakelt u parallelle verwerking in voor het importeren van een bestand als de entiteit parallelle import ondersteunt. Volg deze stappen om de parallelle import voor een entiteit te configureren.

1. Ga naar Systeembeheer > Werkgebieden > Gegevensbeheer.

2. Selecteer in de sectie Importeren/exporteren de tegel Raamwerkparameters om de pagina Raamwerkparameters voor het importeren/exporteren van gegevens te openen.

3. Selecteer op het tabblad Entiteitsinstellingen de optie Uitvoeringsparameters voor entiteit configureren om de pagina Uitvoeringsparameters voor entiteit importeren te openen.

4. Stel de volgende velden in om parallelle import voor een entiteit te configureren:

   • Selecteer de entiteit in het veld Entiteit. Als het entiteitsveld leeg is, is de lege waarde de standaardinstelling voor alle volgende importbewerkingen, als de entiteit parallelle import ondersteunt.
   • Voer in het veld Drempel voor records importeren het drempelaantal in voor records importeren. Deze waarde bepaalt het aantal records dat elke thread verwerkt. Als een bestand 10.000 records heeft, betekent een recordaantal van 2500 met een aantal taken van vier dat elke thread 2500 records verwerkt.
   • Voer in het veld Taakaantal importeren het aantal importtaken in. Het aantal kan niet groter zijn dan de maximum aantal batchthreads dat is toegewezen voor batchverwerking in de configuratie van de systeembeheerserver>.

Taakgeschiedenis opschonen

Standaard worden taakgeschiedenisvermeldingen en gerelateerde faseringstabelgegevens die ouder zijn dan 90 dagen automatisch verwijderd. U kunt de functie voor het opschonen van de taakgeschiedenis in gegevensbeheer gebruiken om periodieke opschoning van de uitvoeringsgeschiedenis in te stellen met een retentieperiode korter dan deze standaardinstelling. Deze functionaliteit vervangt de vorige functie voor het opschonen van faseringstabellen, die nu is afgeschaft. Tijdens het opschonen worden gegevens uit de volgende tabellen verwijderd:

• Alle faseringstabellen

• DMFSTAGINGVALIDATIONLOG

• DMFSTAGINGEXECUTIONERRORS

• DMFSTAGINGLOGDETAIL

• DMFSTAGINGLOG

• DMFDEFINITIONGROUPEXECUTIONHISTORY

• DMFEXECUTION

• DMFDEFINITIONGROUPEXUTION

Toegang krijgen tot de opschoningsfunctie voor uitvoeringsgeschiedenis via Gegevensbeheer > Opschonen van taakgeschiedenis.

Planningsparameters

Wanneer u het opschoonproces plant, geeft u de volgende parameters op om de opschooncriteria te definiëren.

• Aantal dagen dat u de geschiedenis wilt behouden : gebruik deze instelling om de hoeveelheid uitvoeringsgeschiedenis te beheren die u wilt behouden. Geef de geschiedenis op in het aantal dagen. Wanneer u de opschoontaak plant als een terugkerende batchtaak, fungeert deze instelling als een continu bewegend venster, waardoor de geschiedenis voor het opgegeven aantal dagen intact blijft terwijl de rest wordt verwijderd. De standaardwaarde is zeven dagen.

• Aantal uren voor het uitvoeren van de taak : afhankelijk van de hoeveelheid geschiedenis die moet worden opgeschoond, kan de totale uitvoeringstijd voor de opschoontaak variëren van enkele minuten tot enkele uren. Stel deze parameter in op het aantal uren dat de taak wordt uitgevoerd. Nadat de opschoontaak is uitgevoerd voor het opgegeven aantal uren, wordt de taak afgesloten en hervat de opschoonbewerking de volgende keer dat deze wordt uitgevoerd op basis van het terugkeerschema.

  U kunt een maximale uitvoeringstijd opgeven door een maximumlimiet in te stellen voor het aantal uren dat de taak moet worden uitgevoerd met behulp van deze instelling. De opschoningslogica doorloopt één taakuitvoerings-id tegelijk in een chronologisch gerangschikte volgorde, waarbij de oudste eerste is voor het opschonen van de gerelateerde uitvoeringsgeschiedenis. Er worden geen nieuwe uitvoerings-id's voor opschonen meer opgehaald wanneer de resterende uitvoeringsduur binnen de laatste 10% van de opgegeven duur is. In sommige gevallen duurt de opschoningstaak langer dan de opgegeven maximale tijd. Deze duur is grotendeels afhankelijk van het aantal records dat moet worden verwijderd voor de huidige uitvoerings-id die de taak heeft gestart voordat de drempelwaarde van 10% is bereikt. Het opschonen dat de taak is gestart, moet worden voltooid om ervoor te zorgen dat de gegevensintegriteit wordt gegarandeerd. Dit betekent dat het opschonen wordt voortgezet ondanks het overschrijden van de opgegeven limiet. Wanneer de taak is voltooid, haalt de opdracht geen nieuwe uitvoerings-id's meer op en wordt de opschoontaak afgerond. De resterende uitvoeringsgeschiedenis die niet is opgeschoond omdat er onvoldoende uitvoeringstijd is, wordt opgehaald wanneer de opschoontaak de volgende keer wordt gepland. De standaard- en minimumwaarde voor deze instelling is ingesteld op twee uur.

• Terugkerende batch : voer de opschoontaak uit als een eenmalige, handmatige uitvoering of plan deze voor terugkerende uitvoering in batch. Plan de batch met behulp van de instellingen voor uitvoeren op de achtergrond . Dit is de standaard-batchinstallatie.

Taakgeschiedenis opschonen en archiveren

De functie voor het opschonen en archiveren van de taakgeschiedenis vervangt de vorige versies van de functionaliteit voor opschonen. In dit gedeelte worden deze nieuwe mogelijkheden uitgelegd.

Een van de belangrijkste wijzigingen in de functionaliteit voor opschonen is het gebruik van de systeembatchtaak voor het opschonen van de geschiedenis. Met behulp van de systeembatchtaak kunnen financiële en operationele apps de batchtaak voor opschonen automatisch plannen en laten draaien zodra het systeem gereed is. U hoeft de batchtaak niet meer handmatig te plannen. In deze standaarduitvoeringsmodus wordt de batchtaak elk uur uitgevoerd vanaf middernacht en wordt de uitvoeringsgeschiedenis voor de meest recente zeven dagen bewaard. De verwijderde geschiedenis wordt gearchiveerd voor toekomstige ophaalacties. Vanaf versie 10.0.20 is deze functie altijd ingeschakeld.

De tweede wijziging in het opschoningsproces is het archiveren van de verwijderde uitvoeringsgeschiedenis. Met de opschoningstaak worden de verwijderde records gearchiveerd naar de blob-opslag die DIXF gebruikt voor normale integraties. Het gearchiveerde bestand heeft de DIXF-pakketindeling en is zeven dagen beschikbaar in de blob. Gedurende deze tijd kan het worden gedownload. U kunt de standaardduur van zeven dagen voor het gearchiveerde bestand wijzigen in maximaal 90 dagen in de parameters.

De standaardinstellingen wijzigen

Deze functionaliteit is momenteel beschikbaar als preview-versie. Als u deze wilt gebruiken, schakelt u de vlucht DMFEnableExecutionHistoryCleanupSystemJobin. Schakel ook de opruimfunctie voor het voorbereidingsproces in bij functiebeheer.

Als u de standaardinstelling voor de levensduur van het gearchiveerde bestand wilt wijzigen, gaat u naar de werkruimte voor gegevensbeheer en selecteert u Taakgeschiedenis opschonen. Stel Aantal dagen om pakket te bewaren in blob in op een waarde tussen 7 en 90 (inclusief). Deze wijziging wordt van kracht op de archieven die na deze wijziging worden gemaakt.

Het gearchiveerde pakket downloaden

Deze functionaliteit is momenteel beschikbaar als preview-versie. Als u het wilt gebruiken, schakelt u de vlucht DMFEnableExecutionHistoryCleanupSystemJob in. Schakel ook de functie testomgeving-opruiming in bij functiebeheer.

Als u de gearchiveerde uitvoeringsgeschiedenis wilt downloaden, gaat u naar de werkruimte voor gegevensbeheer en selecteert u Taakgeschiedenis opschonen. Selecteer Back-upgeschiedenis pakket om het geschiedenisformulier te openen. Op dit formulier wordt de lijst met alle gearchiveerde pakketten weergegeven. Selecteer een archief en selecteer Pakket downloaden om het te downloaden. Het gedownloade pakket heeft de DIXF-pakketindeling en bevat de volgende bestanden:

• Het bestand met faseringstabellen voor entiteiten
• DMFDefinitiegroepuitvoering
• DMFDEFINITIONGROUPEXECUTIONHISTORY
• DMFEXECUTION
• DMFSTAGINGEXECUTIONERRORS
• DMFSTAGINGLOG
• DMFSTAGINGLOGDETAILS
• DMFSTAGINGVALIDATIONLOG

Samengestelde entiteitsgegevens sorteren met behulp van xslt

Met deze functionaliteit kunt u een samengestelde entiteit exporteren en xslt-bestand toepassen op het sorteren van de gegevens in het XML-bestand.

Als u samengestelde entiteitsgegevens wilt sorteren met behulp van xslt, voert u de volgende stappen uit:

1. Maak een xslt-bestand om de gegevens in XML-indeling te sorteren. Als u bijvoorbeeld een XSLT-bestand hebt voor de kant en klare samengestelde entiteit Inkooporders V3, kunt u de gegevens voor de XML-kenmerkindeling in volgorde sorteren op INVOICEVENDORACCOUNTNUMBER voor PURCHPURCHASEORDERHEADERV2ENTITY en order op LINENUMBER voor PURCHPURCHASEORDERLINEV2ENTITY.

<xsl:stylesheet version='1.0' xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> 
   <xsl:template match="/*"> 
        <xsl:copy> 
            <xsl:apply-templates select="@*" /> 
<xsl:apply-templates> 
     <xsl:sort select="@INVOICEVENDORACCOUNTNUMBER" data-type="text" order="ascending" /> 
</xsl:apply-templates> 
        </xsl:copy> 
   </xsl:template>  
   <xsl:template match="PURCHPURCHASEORDERHEADERV2ENTITY"> 
           <xsl:copy> 
<xsl:apply-templates select="@*"/> 
    <xsl:apply-templates select="*"> 
        <xsl:sort select="@LINENUMBER" data-type="number" order="descending"/> 
   </xsl:apply-templates> 
          </xsl:copy> 
    </xsl:template> 
    <xsl:template match="@*|node()"> 
           <xsl:copy> 
<xsl:apply-templates select="@*|node()"/> 
           </xsl:copy> 
    </xsl:template> 
</xsl:stylesheet> 

1. Ga naar het werkgebied Gegevensbeheer.
2. Selecteer in de lijst Gegevensexportprojecten een project met XML-gegevensbron en selecteer Kaart weergeven.
3. Selecteer Kaart weergeven voor elke entiteit.
4. Ga naar het tabblad Transformaties
5. Selecteer Nieuw en upload het xslt-bestand dat in stap 1 is gemaakt.