Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
In deze quickstart wordt beschreven hoe u Azure CLI gebruikt om een Azure Data Factory te maken. De pijplijn die u in deze data factory maakt, kopieert gegevens van de ene map naar een andere map in een Azure Blob Storage. Zie Gegevens transformeren in Azure Data Factory voor informatie over het transformeren van gegevens met behulp van Azure Data Factory.
Zie Inleiding tot Azure Data Factory voor een inleiding tot Azure Data Factory-service.
Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.
Vereiste voorwaarden
Gebruik de Bash-omgeving in Azure Cloud Shell. Zie Aan de slag met Azure Cloud Shell voor meer informatie.
Installeer de Azure CLI, indien gewenst, om CLI-referentieopdrachten uit te voeren. Als u in Windows of macOS werkt, kunt u Azure CLI uitvoeren in een Docker-container. Zie De Azure CLI uitvoeren in een Docker-container voor meer informatie.
Als u een lokale installatie gebruikt, meldt u zich aan bij Azure CLI met behulp van de opdracht az login. Volg de stappen die worden weergegeven in uw terminal om het verificatieproces te voltooien. Zie Verifiëren bij Azure met behulp van Azure CLI voor andere aanmeldingsopties.
Wanneer u hierom wordt gevraagd, installeert u de Azure CLI-extensie voor het eerste gebruik. Zie Extensies gebruiken en beheren met de Azure CLIvoor meer informatie over extensies.
Voer az version uit om de geïnstalleerde versie en afhankelijke bibliotheken te vinden. Voer az upgrade uit om naar de nieuwste versie te upgraden.
Opmerking
Als u Data Factory-exemplaren wilt maken, moet het gebruikersaccount waarmee u zich bij Azure aanmeldt, lid zijn van de rol Inzender of Eigenaar, of moet dit een beheerder van het Azure-abonnement zijn. Zie Azure-rollen voor meer informatie.
Een container en testbestand voorbereiden
In deze quickstart wordt gebruikgemaakt van een Azure Storage-account, dat een container met een bestand bevat.
Als u een resourcegroep met de naam
ADFQuickStartRGwilt maken, gebruikt u de opdracht az group create :az group create --name ADFQuickStartRG --location eastusMaak een opslagaccount met behulp van de opdracht az storage account create :
az storage account create --resource-group ADFQuickStartRG \ --name adfquickstartstorage --location eastusMaak een container met de naam
adftutorialmet behulp van de opdracht az storage container create :az storage container create --resource-group ADFQuickStartRG --name adftutorial \ --account-name adfquickstartstorage --auth-mode keyMaak in de lokale map een bestand met de naam
emp.txtdat u wilt uploaden. Als u in Azure Cloud Shell werkt, kunt u de huidige werkmap vinden met behulp van deecho $PWDBash-opdracht. U kunt standaard Bash-opdrachten gebruiken, zoalscat, om een bestand te maken:cat > emp.txt This is text.Gebruik Ctrl+D om het nieuwe bestand op te slaan.
Als u het nieuwe bestand wilt uploaden naar uw Azure Storage-container, gebruikt u de opdracht az storage blob upload :
az storage blob upload --account-name adfquickstartstorage --name input/emp.txt \ --container-name adftutorial --file emp.txt --auth-mode keyMet deze opdracht wordt geüpload naar een nieuwe map met de naam
input.
Een data factory maken
Voer de opdracht az datafactory create uit om een Azure Data Factory te maken:
az datafactory create --resource-group ADFQuickStartRG \
--factory-name ADFTutorialFactory
Belangrijk
Vervang ADFTutorialFactory door een wereldwijd unieke data factory-naam, bijvoorbeeld ADFTutorialFactorySP1127.
U kunt de data factory zien die u hebt gemaakt met behulp van de opdracht az datafactory show :
az datafactory show --resource-group ADFQuickStartRG \
--factory-name ADFTutorialFactory
Een gekoppelde service en gegevenssets maken
Maak vervolgens een gekoppelde service en twee gegevenssets.
Haal de verbindingsreeks voor uw opslagaccount op met behulp van de opdracht az storage account show-connection-string :
az storage account show-connection-string --resource-group ADFQuickStartRG \ --name adfquickstartstorage --key primaryMaak in uw werkmap een JSON-bestand met deze inhoud, dat uw eigen verbindingsreeks uit de vorige stap bevat. Geef het bestand
AzureStorageLinkedService.jsonde naam:{ "type": "AzureBlobStorage", "typeProperties": { "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net" } }Maak een gekoppelde service met de naam
AzureStorageLinkedService, met behulp van de opdracht az datafactory linked-service create :az datafactory linked-service create --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --linked-service-name AzureStorageLinkedService \ --properties AzureStorageLinkedService.jsonMaak in uw werkmap een JSON-bestand met deze inhoud met de naam
InputDataset.json:{ "linkedServiceName": { "referenceName": "AzureStorageLinkedService", "type": "LinkedServiceReference" }, "annotations": [], "type": "Binary", "typeProperties": { "location": { "type": "AzureBlobStorageLocation", "fileName": "emp.txt", "folderPath": "input", "container": "adftutorial" } } }Maak een invoergegevensset met de naam
InputDatasetmet behulp van de opdracht az datafactory dataset create :az datafactory dataset create --resource-group ADFQuickStartRG \ --dataset-name InputDataset --factory-name ADFTutorialFactory \ --properties InputDataset.jsonMaak in uw werkmap een JSON-bestand met deze inhoud met de naam
OutputDataset.json:{ "linkedServiceName": { "referenceName": "AzureStorageLinkedService", "type": "LinkedServiceReference" }, "annotations": [], "type": "Binary", "typeProperties": { "location": { "type": "AzureBlobStorageLocation", "folderPath": "output", "container": "adftutorial" } } }Maak een uitvoergegevensset met de naam
OutputDatasetdoor de opdracht az datafactory dataset create uit te voeren.az datafactory dataset create --resource-group ADFQuickStartRG \ --dataset-name OutputDataset --factory-name ADFTutorialFactory \ --properties OutputDataset.json
De pijplijn maken en uitvoeren
Maak en voer de pijplijn ten slotte uit.
Maak in uw werkmap een JSON-bestand met deze inhoud met de naam
Adfv2QuickStartPipeline.json:{ "name": "Adfv2QuickStartPipeline", "properties": { "activities": [ { "name": "CopyFromBlobToBlob", "type": "Copy", "dependsOn": [], "policy": { "timeout": "7.00:00:00", "retry": 0, "retryIntervalInSeconds": 30, "secureOutput": false, "secureInput": false }, "userProperties": [], "typeProperties": { "source": { "type": "BinarySource", "storeSettings": { "type": "AzureBlobStorageReadSettings", "recursive": true } }, "sink": { "type": "BinarySink", "storeSettings": { "type": "AzureBlobStorageWriteSettings" } }, "enableStaging": false }, "inputs": [ { "referenceName": "InputDataset", "type": "DatasetReference" } ], "outputs": [ { "referenceName": "OutputDataset", "type": "DatasetReference" } ] } ], "annotations": [] } }Maak een pijplijn met de naam
Adfv2QuickStartPipelinedoor het az datafactory pipeline create commando te gebruiken:az datafactory pipeline create --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --name Adfv2QuickStartPipeline \ --pipeline Adfv2QuickStartPipeline.jsonVoer de pijplijn uit met behulp van de opdracht az datafactory pipeline create-run :
az datafactory pipeline create-run --resource-group ADFQuickStartRG \ --name Adfv2QuickStartPipeline --factory-name ADFTutorialFactoryDeze opdracht retourneert een uitvoerings-id. Kopieer deze voor gebruik in de volgende opdracht.
Controleer of de pijplijnuitvoering is geslaagd met behulp van de opdracht az datafactory pipeline-run show :
az datafactory pipeline-run show --resource-group ADFQuickStartRG \ --factory-name ADFTutorialFactory --run-id 00000000-0000-0000-0000-000000000000
U kunt ook controleren of uw pijplijn is uitgevoerd zoals verwacht met behulp van Azure Portal. Zie Geïmplementeerde resources controleren voor meer informatie.
Hulpmiddelen opruimen
Alle resources in deze quickstart maken deel uit van dezelfde resourcegroep. Als u ze allemaal wilt verwijderen, gebruikt u de opdracht az group delete :
az group delete --name ADFQuickStartRG
Als u deze resourcegroep voor iets anders gebruikt, verwijdert u in plaats daarvan afzonderlijke resources. Als u bijvoorbeeld de gekoppelde service wilt verwijderen, gebruikt u de opdracht az datafactory linked-service delete .
In deze quickstart hebt u de volgende JSON-bestanden gemaakt:
- AzureStorageLinkedService.json
- InputDataset.json
- OutputDataset.json
- Adfv2QuickStartPipeline.json
Verwijder ze met behulp van standaard Bash-opdrachten.