Delen via

Azure Feature Pack voor Integratie Services (SSIS)

van toepassing op:SQL Server SSIS Integration Runtime in Azure Data Factory

Sql Server Integration Services (SSIS) Feature Pack voor Azure is een extensie die de onderdelen bevat die op deze pagina worden vermeld, zodat SSIS verbinding kan maken met Azure-services, gegevens kan overdragen tussen Azure- en on-premises gegevensbronnen en gegevens verwerkt die zijn opgeslagen in Azure.

SSIS Feature Pack voor Azure downloaden

De downloadpagina's bevatten ook informatie over vereisten. Zorg ervoor dat u SQL Server installeert voordat u het Azure Feature Pack installeert op een server of dat de onderdelen in het feature pack mogelijk niet beschikbaar zijn wanneer u pakketten implementeert in de SSIS Catalog-database, SSISDB, op de server.

Onderdelen in het functiepakket

TLS 1.2 gebruiken

De TLS-versie die door Azure Feature Pack wordt gebruikt, volgt de systeeminstellingen van .NET Framework. Als u TLS 1.2 wilt gebruiken, voegt u een waarde toe met de REG_DWORD naam SchUseStrongCrypto met gegevens 1 onder de volgende twee registersleutels.

  1. HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\Microsoft\.NETFramework\v4.0.30319
  2. HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319

Afhankelijkheid van Java

Java is vereist voor het gebruik van ORC-/Parquet-bestandsindelingen met Azure Data Lake Store/Flexible File-connectors.
De architectuur (32/64-bits) van Java-build moet overeenkomen met die van de SSIS-runtime die moet worden gebruikt. De volgende Java-builds zijn getest.

Zulu's OpenJDK instellen

  1. Download en pak het zip-pakket voor de installatie uit.
  2. Voer vanaf de opdrachtprompt de opdracht uit sysdm.cpl.
  3. Selecteer omgevingsvariabelen op het tabblad Geavanceerd.
  4. Selecteer Nieuw in de sectie Systeemvariabelen.
  5. Voer JAVA_HOME de naam van de variabele in.
  6. Selecteer Bladeren in map, navigeer naar de uitgepakte map en selecteer de jre submap. Selecteer vervolgens OK en de waarde Variabele wordt automatisch ingevuld.
  7. Selecteer OK om het dialoogvenster Nieuwe systeemvariabele te sluiten.
  8. Selecteer OK om het dialoogvenster Omgevingsvariabelen te sluiten.
  9. Selecteer OK om het dialoogvenster Systeemeigenschappen te sluiten.

Aanbeveling

Als u het Parquet-formaat gebruikt en de foutmelding 'Er is een fout opgetreden bij het aanroepen van Java, java.lang.OutOfMemoryError:Java heap space' krijgt, kunt u een omgevingsvariabele _JAVA_OPTIONS toevoegen om de minimale en maximale heapgrootte voor de JVM aan te passen.

jvm hoop

Voorbeeld: variabele _JAVA_OPTIONS instellen met waarde -Xms256m -Xmx16g. De vlag Xms geeft de eerste geheugentoewijzingsgroep voor een Java Virtual Machine (JVM) op, terwijl Xmx de maximale geheugentoewijzingsgroep specificeert. Dit betekent dat JVM wordt gestart met Xms een hoeveelheid geheugen en een maximale Xmx hoeveelheid geheugen kan gebruiken. De standaardwaarden zijn min. 64 MB en maximaal 1G.

Zulu's OpenJDK instellen op Azure-SSIS Integration Runtime

Dit moet worden gedaan via een aangepaste installatieinterface voor Azure-SSIS Integration Runtime. Stel dat zulu8.33.0.1-jdk8.0.192-win_x64.zip wordt gebruikt. De blobcontainer kan als volgt worden ingedeeld.

main.cmd
install_openjdk.ps1
zulu8.33.0.1-jdk8.0.192-win_x64.zip

Als invoerpunt start main.cmd de uitvoering van het PowerShell-script install_openjdk.ps1, dat op zijn beurt zulu8.33.0.1-jdk8.0.192-win_x64.zip extracteert en JAVA_HOME dienovereenkomstig instelt.

main.cmd

powershell.exe -file install_openjdk.ps1

Aanbeveling

Als u de Parquet-indeling gebruikt en een foutmelding krijgt waarin staat: 'Er is een fout opgetreden bij het aanroepen van Java, bericht: java.lang.OutOfMemoryError:Java heap space', kunt u een opdracht toevoegen in main.cmd om de minimale/maximale heapgrootte voor JVM te wijzigen. Voorbeeld:

setx /M _JAVA_OPTIONS "-Xms256m -Xmx16g"

De vlag Xms geeft de eerste geheugentoewijzingsgroep voor een Java Virtual Machine (JVM) op, terwijl Xmx de maximale geheugentoewijzingsgroep specificeert. Dit betekent dat JVM wordt gestart met Xms een hoeveelheid geheugen en een maximale Xmx hoeveelheid geheugen kan gebruiken. De standaardwaarden zijn min. 64 MB en maximaal 1G.

install_openjdk.ps1

Expand-Archive zulu8.33.0.1-jdk8.0.192-win_x64.zip -DestinationPath C:\
[Environment]::SetEnvironmentVariable("JAVA_HOME", "C:\zulu8.33.0.1-jdk8.0.192-win_x64\jre", "Machine")

De Java SE Runtime-omgeving van Oracle instellen

  1. Download en voer het exe-installatieprogramma uit.
  2. Volg de installatie-instructies om de installatie te voltooien.

Scenario: big data verwerken

Gebruik Azure Connector om de volgende verwerking van big data te voltooien:

  1. Gebruik de Azure Blob Upload-taak om invoergegevens te uploaden naar Azure Blob Storage.

  2. Gebruik de Azure HDInsight-clustertaak maken om een Azure HDInsight-cluster te maken. Deze stap is optioneel als u uw eigen cluster wilt gebruiken.

  3. Gebruik de Azure HDInsight Hive-taak of Azure HDInsight Pig-taak om een Pig- of Hive-taak aan te roepen in het Azure HDInsight-cluster.

  4. Gebruik de Azure HDInsight-clustertaak verwijderen om het HDInsight-cluster na gebruik te verwijderen als u in stap 2 een HDInsight-cluster op aanvraag hebt gemaakt.

  5. Gebruik de Azure HDInsight Blob Download-taak om de Pig/Hive-uitvoergegevens te downloaden uit Azure Blob Storage.

Schermopname van het scenario voor big data van SSIS Azure Connector.

Scenario: Gegevens beheren in de cloud

Gebruik de Azure Blob-bestemming in een SSIS-pakket om uitvoergegevens naar Azure Blob Storage te schrijven of gebruik de Azure Blob-bron om gegevens uit een Azure Blob Storage te lezen.

Schermopname van de gegevensstroom van de OLE DB-bron naar de Azure Blob-bestemming.

Schermopname van de gegevensstroom van de Azure Blob-bron naar het OLE DB-doel.

Gebruik de Foreach Loop-container met de Azure Blob Enumerator om gegevens in meerdere blobbestanden te verwerken.

Schermopname van de container 'Foreach Loop' binnen de besturingsstroom.

Opmerkingen bij de release

Versie 1.21.0

Verbeteringen

  1. Log4j bijgewerkt van versie 1.2.17 naar 2.17.1.

Versie 1.20.0

Verbeteringen

  1. Doelversie van .NET Framework bijgewerkt van 4.6 naar 4.7.2.
  2. 'Hernoemd 'Azure SQL DW-uploadtaak' naar 'Azure Synapse Analytics taak'.

Opgeloste fouten

  1. Wanneer u toegang krijgt tot Azure Blob Storage en de computer waarop SSIS wordt uitgevoerd zich in een niet-en-US landinstelling bevindt, mislukt de uitvoering van het pakket met het foutbericht 'Tekenreeks wordt niet herkend als een geldige datum/tijd-waarde'.
  2. Voor Azure Storage Connection Manager is geheim vereist (en ongebruikt), zelfs wanneer de beheerde Identiteit van Data Factory wordt gebruikt voor verificatie.

Versie 1.19.0

Verbeteringen

  1. Ondersteuning toegevoegd voor shared access Signature-verificatie voor Azure Storage-verbindingsbeheer.

Versie 1.18.0

Verbeteringen

  1. Voor de taak Flexibel bestand zijn drie verbeteringen: (1) ondersteuning voor jokertekens voor kopieer-/verwijderbewerkingen wordt toegevoegd; (2) gebruiker kan recursief zoeken naar verwijderingsbewerking in- of uitschakelen; en (3) de bestandsnaam van Bestemming voor kopieerbewerking kan leeg zijn om de naam van het bronbestand te behouden.

Versie 1.17.0

Dit is alleen een hotfixversie voor SQL Server 2019.

Opgeloste fouten

  1. Bij uitvoering in Visual Studio 2019 en gericht op SQL Server 2019, kan Flexibele bestandstaak/bron/bestemming mislukken met het foutbericht Attempted to access an element as a type incompatible with the array.
  2. Bij uitvoering in Visual Studio 2019 en gericht op SQL Server 2019, kan flexibele bestandsbron/bestemming met behulp van ORC/Parquet-indeling mislukken met het foutbericht Microsoft.DataTransfer.Common.Shared.HybridDeliveryException: An unknown error occurred. JNI.JavaExceptionCheckException.

Versie 1.16.0

Opgeloste fouten

  1. In bepaalde gevallen rapporteert pakketuitvoering 'Fout: Kan bestand of assembly 'Newtonsoft.Json, Version=11.0.0.0, Culture=neutral, PublicKeyToken=30ad4fe6b2a6aeed' of een van de bijbehorende afhankelijkheden niet laden.

Versie 1.15.0

Verbeteringen

  1. De opdracht om een map/bestand te verwijderen toevoegen aan Flexibele Bestandstaak
  2. Functie voor converteren van extern/uitvoergegevenstype toevoegen in flexibele bestandsbron

Opgeloste fouten

  1. In bepaalde gevallen treden er verbindingsproblemen op voor Data Lake Storage Gen2 met het foutbericht 'Er is geprobeerd toegang te krijgen tot een element als een type dat niet compatibel is met de array'.
  2. Ondersteuning voor Azure Storage Emulator terugbrengen
  • Last updated on