Ambientes de computação suportados pelos pipelines do Azure Data Factory e Synapse

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo explica diferentes ambientes de computação que você pode usar para processar ou transformar dados. Ele também fornece detalhes sobre diferentes configurações (sob demanda vs. traga sua própria) suportadas ao configurar serviços associados que vinculam esses ambientes de computação.

A tabela a seguir fornece uma lista de ambientes de computação suportados e as atividades que podem ser executadas neles.

Ambiente de computação do HDInsight

Consulte a tabela abaixo para obter detalhes sobre os tipos de serviço vinculado de armazenamento suportados para configuração no ambiente On-demand e BYOC (Bring your own compute).

Serviço vinculado sob demanda do Azure HDInsight

Neste tipo de configuração, o ambiente computacional é totalmente gerenciado pelo serviço. Ele é criado automaticamente pelo serviço antes de um trabalho ser enviado para processar dados e removido quando o trabalho é concluído. Você pode criar um serviço vinculado para o ambiente de computação sob demanda, configurá-lo e controlar configurações granulares para execução de tarefas, gerenciamento de cluster e ações de inicialização.

O serviço pode criar automaticamente um cluster HDInsight sob demanda para processar dados. O cluster é criado na mesma região que a conta de armazenamento (propriedade linkedServiceName no JSON) associada ao cluster. A conta must de armazenamento deverá ser uma conta standard de Armazenamento do Azure de uso geral.

Observe os seguintes pontos importantes sobre o serviço vinculado HDInsight sob demanda:

• O cluster HDInsight sob demanda é criado em sua assinatura do Azure. Você poderá ver o cluster em seu portal do Azure quando o cluster estiver em execução.
• Os logs de trabalhos executados em um cluster HDInsight sob demanda são copiados para a conta de armazenamento associada ao cluster HDInsight. O clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definidos em sua definição de serviço vinculado são usados para efetuar login no cluster para solução de problemas detalhada durante o ciclo de vida do cluster.
• Você será cobrado apenas pelo tempo em que o cluster HDInsight estiver ativo e executando trabalhos.
• Você pode usar uma Ação de Script com o serviço vinculado do Azure HDInsight sob demanda.

Exemplo de utilização da chave da entidade de serviço

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Sistema

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Utilizador

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• exemplo JSON de nomes de serviços vinculados adicionais

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Autenticação do principal de serviço

O serviço vinculado HDInsight sob demanda requer uma autenticação da entidade de serviço para criar clusters HDInsight em seu nome. Para utilizar a autenticação por entidade de serviço, registe uma entidade de aplicação no Microsoft Entra ID e atribua-lhe a função de Colaborador da subscrição ou do grupo de recursos no qual o cluster HDInsight é criado. Para ver passos detalhados, veja Usar o portal para criar uma aplicação e uma entidade de serviço do Microsoft Entra que possam aceder a recursos. Anote os seguintes valores, que você usa para definir o serviço vinculado:

• ID da aplicação
• Chave de aplicação
• ID do inquilino

Utilize a autenticação da entidade de serviço especificando as seguintes propriedades:

Autenticação de identidade gerenciada

Ao usar a autenticação de Identidade Gerenciada para serviços vinculados sob demanda do Azure HDInsight, verifique se o objeto Identidade Gerenciada tem acesso à função de Colaborador ao grupo de recursos.

As contas de armazenamento primário do ADLS Gen2 agora oferecem suporte à autenticação baseada em UAMI (User Assigned Managed Identity), além da autenticação baseada em chave existente. O UAMI deve ter permissões de Proprietário de Dados de Blob de Armazenamento na conta de armazenamento principal.

Limitações:

• A conta de armazenamento principal do ADLS Gen2 e o UAMI devem residir no mesmo grupo de recursos usado para criar o cluster HDInsight sob demanda.
• O nome do objeto de credencial para o UAMI no Data Factory deve corresponder exatamente ao nome do UAMI.

Para obter mais informações, consulte Criar o Azure HDInsight - Azure Data Lake Storage Gen2 - portal e identidades gerenciadas no Azure HDInsight

Propriedades avançadas

Você também pode especificar as seguintes propriedades para a configuração granular do cluster HDInsight sob demanda.

• Exemplo - Configuração de cluster HDInsight sob demanda com propriedades avançadas

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Tamanhos dos nós

Você pode especificar os tamanhos dos nós head, data e zookeeper usando as seguintes propriedades:

• Especificando tamanhos de nós Consulte o artigo Tamanhos de Máquinas Virtuais para obter os valores de cadeia de caracteres que necessita especificar para as propriedades mencionadas na seção anterior. Os valores precisam estar em conformidade com os CMDLETs & APIS mencionados no artigo. Como você pode ver no artigo, o nó de dados de tamanho grande (padrão) tem 7 GB de memória, o que pode não ser bom o suficiente para o seu cenário.

Se você quiser criar nós principais e nós de trabalho de tamanho D4, especifique Standard_D4 como o valor para as propriedades headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se você especificar um valor errado para essas propriedades, poderá receber o seguinte erro: Falha ao criar cluster. Exceção: não foi possível concluir a operação de criação do cluster. A operação falhou com o código "400". Estado deixado pelo cluster: "Erro". Mensagem: 'PreClusterCreationValidationFailure'. Quando receber esse erro, verifique se está usando o nome CMDLET & APIS da tabela no artigo Tamanhos de máquinas virtuais .

Traga seu próprio ambiente de computação

Neste tipo de configuração, os usuários podem registrar um ambiente de computação já existente como um serviço vinculado. O ambiente de computação é gerenciado pelo usuário e o serviço o utiliza para executar as atividades.

Este tipo de configuração é suportado para os seguintes ambientes de computação:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• Banco de Dados SQL do Azure, Azure Synapse Analytics, SQL Server

Serviço vinculado do Azure HDInsight

Você pode criar um serviço vinculado do Azure HDInsight para registar o seu próprio cluster HDInsight com uma Azure Data Factory ou espaço de trabalho Synapse.

Exemplo de uso da autenticação básica

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao sistema

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao usuário

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

O serviço vinculado do Armazenamento do Azure para ADLS Gen2 agora oferece suporte a identidades gerenciadas atribuídas pelo sistema e pelo usuário, além dos métodos de autenticação existentes. Esse suporte está disponível por padrão ao usar o Azure Integration Runtime (Azure IR) e é suportado no Self-hosted Integration Runtime (SHIR) a partir da versão 5.55.9306.2 ou posterior. Para o Armazenamento de Blobs do Azure, o serviço associado ao Armazenamento do Azure continua a oferecer suporte apenas à autenticação de chave de conta. A autenticação de identidade gerenciada por cluster também está disponível por padrão ao usar o IR do Azure e tem suporte no SHIR a partir da versão 5.58 ou posterior. Ao criar um cluster, apenas um método de autenticação pode ser usado por cluster. Para obter detalhes sobre como criar e gerenciar clusters com identidade gerenciada, consulte Criar e gerenciar cluster do Azure HDInsight com autenticação de ID do Entra

Serviço associado do Azure Batch

Você pode criar um serviço vinculado do Azure Batch para registrar um pool de Batch de máquinas virtuais (VMs) em um espaço de trabalho de dados ou Synapse. Você pode executar atividades personalizadas usando o Azure Batch.

Consulte os seguintes artigos se você for novo no serviço Batch do Azure:

• Noções básicas do Azure Batch para obter uma visão geral do serviço Azure Batch.
• Cmdlet New-AzBatchAccount para criar uma conta de Lote do Azure (ou) portal do Azure para criar a conta do Lote do Azure usando o portal do Azure. Consulte o artigo Usando o PowerShell para gerenciar a Conta em Lote do Azure para obter instruções detalhadas sobre como usar o cmdlet.
• Cmdlet New-AzBatchPool para criar um pool do Azure Batch.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Serviço vinculado do Machine Learning Studio (versão clássica)

Você cria um serviço vinculado do Estúdio de Aprendizado de Máquina (clássico) para registrar um ponto de extremidade de pontuação em lote do Estúdio de Aprendizado de Máquina (clássico) em uma fábrica de dados ou espaço de trabalho Sinapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Serviço vinculado do Azure Machine Learning

Você cria um serviço vinculado do Azure Machine Learning para conectar um espaço de trabalho do Azure Machine Learning a um Data Factory ou espaço de trabalho Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço vinculado do Azure Data Lake Analytics

Você cria um serviço vinculado do Azure Data Lake Analytics para vincular um serviço de computação do Azure Data Lake Analytics a uma fábrica de dados ou espaço de trabalho Synapse. A atividade U-SQL do Data Lake Analytics no pipeline refere-se a esse serviço vinculado.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço associado do Azure Databricks

Você pode criar o serviço vinculado do Azure Databricks para registrar o espaço de trabalho do Databricks que você usa para executar as cargas de trabalho do Databricks (notebook, jar, python).

Exemplo - Usando novo cluster de trabalho no Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Exemplo - Usando cluster interativo existente no Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Serviço associado à Base de Dados SQL do Azure

Você cria um serviço vinculado Azure SQL e o utiliza com a Stored Procedure Activity para invocar um procedimento armazenado de um pipeline. Consulte o artigo do Azure SQL Connector para obter detalhes sobre este serviço vinculado.

Serviço vinculado do Azure Synapse Analytics

Você cria um serviço vinculado do Azure Synapse Analytics e o usa com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Consulte o artigo do Azure Synapse Analytics Connector para obter detalhes sobre este serviço vinculado.

Serviço vinculado do SQL Server

Você cria um serviço vinculado do SQL Server e o usa com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Consulte o artigo sobre o conector SQL Server para obter detalhes sobre este serviço vinculado.

Serviço associado do Azure Synapse Analytics (Artefactos)

Você cria um serviço vinculado do Azure Synapse Analytics (Artefatos) e o utiliza com a Atividade de Bloco de Anotações do Synapse e a Atividade de definição de trabalho do Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço associado do Azure Function

Você cria um serviço vinculado do Azure Functions e usa-o com a atividade do Azure Functions para executar Azure Functions em um pipeline. O tipo de retorno da função do Azure deve ser um JObject válido. (Tenha em mente que JArraynão é um JObject.) Qualquer tipo de retorno diferente de JObject irá falhar e gerará o erro do utilizador Conteúdo de resposta não é um JObject válido.

Conteúdo relacionado

Para obter uma lista das atividades de transformação suportadas, consulte Transformar dados.