Delen via

Gegevensstroomtaak

van toepassing op:SQL Server SSIS Integration Runtime in Azure Data Factory

De gegevensstroomtaak bevat de gegevensstroomengine waarmee gegevens worden verplaatst tussen bronnen en bestemmingen, en waarmee de gebruiker gegevens kan transformeren, opschonen en wijzigen terwijl deze wordt verplaatst. Als u een gegevensstroomtaak aan een pakketbesturingsstroom wilt toevoegen, kan het pakket gegevens extraheren, transformeren en laden.

Een gegevensstroom bestaat uit ten minste één gegevensstroomonderdeel, maar is meestal een set verbonden gegevensstroomonderdelen: bronnen die gegevens extraheren; transformaties die gegevens wijzigen, routeren of samenvatten; en bestemmingen waarmee gegevens worden geladen.

Tijdens runtime bouwt de gegevensstroomtaak een uitvoeringsplan op basis van de gegevensstroom en voert de gegevensstroomengine het plan uit. U kunt een gegevensstroomtaak maken die geen gegevensstroom heeft, maar de taak wordt alleen uitgevoerd als deze ten minste één gegevensstroom bevat.

Als u gegevens uit tekstbestanden bulksgewijs wilt invoegen in een SQL Server-database, kunt u de taak Bulksgewijs invoegen gebruiken in plaats van een gegevensstroomtaak en een gegevensstroom. De taak Bulksgewijs invoegen kan echter geen gegevens transformeren. Zie Taak bulksgewijs invoegen voor meer informatie.

Meerdere stromen

Een gegevensstroomtaak kan meerdere gegevensstromen bevatten. Als een taak verschillende gegevenssets kopieert en de volgorde waarin de gegevens worden gekopieerd, niet significant is, kan het handiger zijn om meerdere gegevensstromen op te nemen in de gegevensstroomtaak. U kunt bijvoorbeeld vijf gegevensstromen maken, waarbij gegevens uit een plat bestand worden gekopieerd naar een andere dimensietabel in een sterschema van een datawarehouse.

De gegevensstroomengine bepaalt echter de volgorde van uitvoering wanneer er meerdere gegevensstromen binnen één gegevensstroomtaak zijn. Als volgorde belangrijk is, moet het pakket daarom meerdere gegevensstroomtaken gebruiken, elke taak die één gegevensstroom bevat. U kunt vervolgens prioriteitsbeperkingen toepassen om de uitvoeringsvolgorde van de taken te beheren.

In het volgende diagram ziet u een gegevensstroomtaak met meerdere gegevensstromen.

Gegevensstromen

Logboekvermeldingen

Integration Services biedt een set logboek gebeurtenissen die beschikbaar zijn voor alle taken. Integration Services biedt ook aangepaste logboekvermeldingen voor veel taken. Zie Integration Services (SSIS) Loggingvoor meer informatie. De gegevensstroomtaak bevat de volgende aangepaste logboekvermeldingen:

Logboekvermelding Description
Buffergrootteafstemming Geeft aan dat de gegevensstroomtaak de grootte van de buffer heeft gewijzigd. De logboekvermelding beschrijft de redenen voor de wijziging van de grootte en vermeldt de tijdelijke nieuwe buffergrootte.
OnPipelinePostEndOfRowset Geeft aan dat een component het eind van het rijsetsignaal heeft gekregen, dat wordt vastgesteld door de laatste aanroep van de ProcessInput-methode. Er wordt een vermelding geschreven voor elk onderdeel in de gegevensstroom die invoer verwerkt. De vermelding bevat de naam van het onderdeel.
OnPipelinePostPrimeOutput Geeft aan dat het onderdeel de laatste aanroep van de PrimeOutput-methode heeft voltooid. Afhankelijk van de gegevensstroom kunnen meerdere logboekvermeldingen worden geschreven. Als het onderdeel een bron is, betekent deze logboekvermelding dat het onderdeel de verwerking van rijen heeft voltooid.
OnPipelinePreEndOfRowset Geeft aan dat een onderdeel op het punt staat zijn einde-van-de-rijsetsignaal te ontvangen, dat is ingesteld door de laatste aanroep van de ProcessInput-methode. Er wordt een vermelding geschreven voor elk onderdeel in de gegevensstroom die invoer verwerkt. De vermelding bevat de naam van het onderdeel.
OnPipelinePrePrimeOutput Geeft aan dat het onderdeel op het punt staat de aanroep van de PrimeOutput-methode te ontvangen. Afhankelijk van de gegevensstroom kunnen meerdere logboekvermeldingen worden geschreven.
OnPipelineRowsSent Rapporteert het aantal rijen dat is opgegeven aan een onderdeelinvoer door een aanroep naar de ProcessInput-methode . De logboekvermelding bevat de naam van het onderdeel.
PipelineBufferLeak Bevat informatie over elk onderdeel dat buffers actief heeft gehouden nadat de bufferbeheerder is weggegaan. Als een buffer nog actief is, zijn er geen bufferbronnen vrijgegeven en kunnen geheugenlekken ontstaan. De logboekvermelding bevat de naam van het onderdeel en de id van de buffer.
PipelineComponentTime Rapporteert de hoeveelheid tijd (in milliseconden) die het onderdeel in elk van de vijf belangrijke verwerkingsstappen heeft besteed: Valideren, PreExecute, PostExecute, ProcessInput en ProcessOutput.
PipelineExecutionPlan Rapporteert het uitvoeringsplan van de gegevensstroom. Het uitvoeringsplan bevat informatie over hoe buffers naar onderdelen worden verzonden. In combinatie met de logboekvermelding PipelineExecutionTrees wordt beschreven wat er gebeurt binnen de gegevensstroomtaak.
PipelineExecutionTrees Rapporteert de uitvoeringsbomen van de lay-out in de gegevensstroom. De planner van de gegevensstroomengine maakt gebruik van de bomen om het uitvoeringsplan van de gegevensstroom te bouwen.
PipelineInitialization Bevat initialisatie-informatie over de taak. Deze informatie omvat de mappen die moeten worden gebruikt voor tijdelijke opslag van BLOB-gegevens, de standaardbuffergrootte en het aantal rijen in een buffer. Afhankelijk van de configuratie van de gegevensstroomtaak kunnen meerdere logboekvermeldingen worden geschreven.

Deze logboekvermeldingen bieden een schat aan informatie over de uitvoering van de gegevensstroomtaak telkens wanneer u een pakket uitvoert. Terwijl u de pakketten herhaaldelijk uitvoert, kunt u informatie vastleggen die in de loop van de tijd belangrijke historische informatie biedt over de verwerking die de taak uitvoert, problemen die van invloed kunnen zijn op de prestaties en het gegevensvolume dat door de taak wordt verwerkt.

Zie een van de volgende onderwerpen voor meer informatie over het gebruik van deze logboekvermeldingen om de prestaties van de gegevensstroom te bewaken en te verbeteren:

Voorbeeldberichten van een gegevensstroomtaak

De volgende tabel bevat voorbeeldberichten voor logboekvermeldingen voor een zeer eenvoudig pakket. Het pakket maakt gebruik van een OLE DB-bron om gegevens uit een tabel te extraheren, een sorteertransformatie om de gegevens te sorteren en een OLE DB-bestemming om de gegevens naar een andere tabel te schrijven.

Logboekvermelding Messages
Buffergrootteafstemming Rows in buffer type 0 would cause a buffer size greater than the configured maximum. There will be only 9637 rows in buffers of this type.

Rows in buffer type 2 would cause a buffer size greater than the configured maximum. There will be only 9497 rows in buffers of this type.

Rows in buffer type 3 would cause a buffer size greater than the configured maximum. There will be only 9497 rows in buffers of this type.
OnPipelinePostEndOfRowset A component will be given the end of rowset signal. : 1180 : Sort : 1181 : Sort Input

A component will be given the end of rowset signal. : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input
OnPipelinePostPrimeOutput A component has returned from its PrimeOutput call. : 1180 : Sort

A component has returned from its PrimeOutput call. : 1 : OLE DB Source
OnPipelinePreEndOfRowset A component has finished processing all of its rows. : 1180 : Sort : 1181 : Sort Input

A component has finished processing all of its rows. : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input
OnPipelinePrePrimeOutput PrimeOutput will be called on a component. : 1180 : Sort

PrimeOutput will be called on a component. : 1 : OLE DB Source
OnPipelineRowsSent Rows were provided to a data flow component as input. : : 1185 : OLE DB Source Output : 1180 : Sort : 1181 : Sort Input : 76

Rows were provided to a data flow component as input. : : 1308 : Sort Output : 1291 : OLE DB Destination : 1304 : OLE DB Destination Input : 76
PipelineComponentTime The component "Calculate LineItemTotalCost" (3522) spent 356 milliseconds in ProcessInput.

The component "Sum Quantity and LineItemTotalCost" (3619) spent 79 milliseconds in ProcessInput.

The component "Calculate Average Cost" (3662) spent 16 milliseconds in ProcessInput.

The component "Sort by ProductID" (3717) spent 125 milliseconds in ProcessInput.

The component "Load Data" (3773) spent 0 milliseconds in ProcessInput.

The component "Extract Data" (3869) spent 688 milliseconds in PrimeOutput filling buffers on output "OLE DB Source Output" (3879).

The component "Sum Quantity and LineItemTotalCost" (3619) spent 141 milliseconds in PrimeOutput filling buffers on output "Aggregate Output 1" (3621).

The component "Sort by ProductID" (3717) spent 16 milliseconds in PrimeOutput filling buffers on output "Sort Output" (3719).
PipelineExecutionPlan SourceThread0

Drives: 1

Influences: 1180 1291

Output Work List

CreatePrimeBuffer of type 1 for output ID 11.

SetBufferListener: "WorkThread0" for input ID 1181

CreatePrimeBuffer of type 3 for output ID 12.

CallPrimeOutput on component "OLE DB Source" (1)

End Output Work List

End SourceThread0

WorkThread0

Drives: 1180

Influences: 1180 1291

Input Work list, input ID 1181 (1 EORs Expected)

CallProcessInput on input ID 1181 on component "Sort" (1180) for view type 2

End Input Work list for input 1181

Output Work List

CreatePrimeBuffer of type 4 for output ID 1182.

SetBufferListener: "WorkThread1" for input ID 1304

CallPrimeOutput on component "Sort" (1180)

End Output Work List

End WorkThread0

WorkThread1

Drives: 1291

Influences: 1291

Input Work list, input ID 1304 (1 EORs Expected)

CallProcessInput on input ID 1304 on component "OLE DB Destination" (1291) for view type 5

End Input Work list for input 1304

Output Work List

End Output Work List

End WorkThread1
PipelineExecutionTrees begin execution tree 0

output "OLE DB Source Output" (11)

input "Sort Input" (1181)

end execution tree 0

begin execution tree 1

output "OLE DB Source Error Output" (12)

end execution tree 1

begin execution tree 2

output "Sort Output" (1182)

input "OLE DB Destination Input" (1304)

output "OLE DB Destination Error Output" (1305)

end execution tree 2
PipelineInitialization No temporary BLOB data storage locations were provided. The buffer manager will consider the directories in the TEMP and TMP environment variables.

The default buffer size is 10485760 bytes.

Buffers will have 10000 rows by default

The data flow will not remove unused components because its RunInOptimizedMode property is set to false.

Veel logboek gebeurtenissen schrijven meerdere vermeldingen en de berichten voor een aantal logboekvermeldingen bevatten complexe gegevens. Om de inhoud van complexe berichten gemakkelijker te begrijpen en te communiceren, kunt u de berichttekst parseren. Afhankelijk van de locatie van de logboeken kunt u Transact-SQL instructies of een scriptonderdeel gebruiken om de complexe tekst te scheiden in kolommen of andere indelingen die u nuttiger vindt.

De volgende tabel bevat bijvoorbeeld het bericht 'Rijen zijn geleverd aan een gegevensstroomonderdeel als invoer. : 1185 : OLE DB-bronuitvoer : 1180 : Sorteren : 1181 : Sorteerinvoer : 76", geparseerd in kolommen. Het bericht is geschreven door de gebeurtenis OnPipelineRowsSent toen rijen van de OLE DB-bron naar de sorteertransformatie werden verzonden.

Rubriek Description Waarde
PathID De waarde van de ID-eigenschap van het pad tussen de OLE DB-bron en de Sort-transformatie. 1185
Padnaam De waarde uit de eigenschap Name van het pad. OLE DB-bronuitvoer
ComponentID De waarde van de id-eigenschap van de sorteertransformatie. 1180
ComponentName De waarde van de eigenschap Naam van de sorteertransformatie. Sorteren
InputID De waarde van de ID-eigenschap van de invoer naar de sorteringstransformatie. 1181
InputName De waarde van de eigenschap Name van de invoer naar de sorteertransformatie. Invoer sorteren
RowsSent Het aantal rijen dat naar de invoer van de sorteertransformatie wordt verzonden. 76

Configuratie van de gegevensstroomtaak

U kunt eigenschappen instellen in het venster Eigenschappen of programmatisch.

Klik op het volgende onderwerp voor meer informatie over het instellen van deze eigenschappen in het venster Eigenschappen :

Programmatische configuratie van de gegevensstroomtaak

Klik op het volgende onderwerp voor meer informatie over het programmatisch toevoegen van een gegevensstroomtaak aan een pakket en het instellen van gegevensstroomeigenschappen:

de eigenschappen van een taak of container instellen

Verwante inhoud

Video, Balanced Data Distributer, op technet.microsoft.com.

  • Last updated on