Transformatie van evenwichtige gegevensdistributeur

van toepassing op:SQL Server SSIS Integration Runtime in Azure Data Factory

De BDD-transformatie (Balanced Data Distributor) maakt gebruik van de gelijktijdige verwerkingscapaciteit van moderne CPU's. Hiermee worden buffers van binnenkomende rijen gelijkmatig verdeeld over uitvoer op afzonderlijke threads. Door afzonderlijke threads te gebruiken voor elk uitvoerpad, verbetert het BDD-onderdeel de prestaties van een SSIS-pakket op machines met meerdere kernen of meerdere processoren.

In het volgende diagram ziet u een eenvoudig voorbeeld van het gebruik van de BDD-transformatie. In dit voorbeeld kiest de BDD-transformatie één pijplijnbuffer tegelijk van de invoergegevens uit een platte bestandsbron en verzendt deze op een van de drie uitvoerpaden op round robin-wijze. In SQL Server Data Tools kunt u de waarden van een DefaultBufferSize(standaardgrootte van de pijplijnbuffer) en DefaultBufferMaxRows(standaard maximum aantal rijen in een pijplijnbuffer) controleren in het venster Eigenschappen met eigenschappen van een gegevensstroomtaak.

De transformatie van de Balanced Data Distributor helpt de prestaties van een pakket in een scenario te verbeteren dat voldoet aan de volgende voorwaarden:

1. Er komt momenteel een grote hoeveelheid gegevens binnen in de BDD-transformatie. Als de gegevensgrootte klein is en slechts één buffer de gegevens kan bevatten, is er geen punt in het gebruik van de BDD-transformatie. Als de gegevensgrootte groot is en er meerdere buffers nodig zijn om de gegevens op te slaan, kan BDD efficiënt buffers van gegevens parallel verwerken met behulp van afzonderlijke threads.

2. De gegevens kunnen sneller worden gelezen dan de rest van de gegevensstroom kan verwerken. In dit scenario worden de transformaties die worden uitgevoerd op de gegevens langzaam uitgevoerd, vergeleken met de snelheid waarmee gegevens binnenkomen. Als het knelpunt zich op de bestemming bevindt, moet de bestemming echter parallelliseerbaar zijn.

3. De gegevens hoeven niet te worden besteld. Als de gegevens bijvoorbeeld moeten worden gesorteerd, moet u de gegevens niet splitsen met behulp van de BDD-transformatie.

Als het knelpunt in een SSIS-pakket wordt veroorzaakt door de snelheid waarmee gegevens uit de bron kunnen worden gelezen, helpt het BDD-onderdeel niet om de prestaties te verbeteren. Als het knelpunt in een SSIS-pakket komt omdat de bestemming geen ondersteuning biedt voor parallelle uitvoering, helpt de BDD niet; U kunt echter alle transformaties parallel uitvoeren en de transformatie Union All gebruiken om de uitvoergegevens uit verschillende uitvoerpaden van de BDD-transformatie te combineren voordat de gegevens naar de bestemming worden verzonden.