Ambientes de computação compatíveis com os pipelines do Azure Data Factory e do Synapse

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo explica diferentes ambientes de computação que você pode usar para processar ou transformar dados. Também são fornecidos detalhes sobre as diferentes configurações (sob demanda versus traga a sua própria) com suporte ao configurar serviços vinculados que vinculam esses ambientes de computação.

A tabela a seguir fornece uma lista dos ambientes de computação com suporte e as atividades que podem ser executadas neles.

Ambiente de computação HDInsight

Consulte a tabela abaixo para ver detalhes sobre os tipos de serviço vinculado de armazenamento com suporte para a configuração no ambiente sob demanda e BYOC (Traga Seu Próprio Ambiente de Computação).

Serviço vinculado do Azure HDInsight sob demanda

Nesse tipo de configuração, o ambiente de computação é totalmente gerenciado pelo serviço. Ele é criado automaticamente pelo serviço antes de um trabalho ser enviado para processar os dados e é removido após a conclusão do trabalho. Você pode criar um serviço vinculado para o ambiente de computação sob demanda, configurá-lo e controlar as configurações granulares da execução do trabalho, gerenciamento de cluster e ações de inicialização.

O serviço pode criar automaticamente um cluster HDInsight sob demanda para processar dados. O cluster é criado na mesma região que a conta de armazenamento (propriedade linkedServiceName em JSON) associada ao cluster. A conta de armazenamento must deve ser uma conta de Armazenamento do Azure padrão de uso geral.

Observe os seguintes pontos importantes sobre o serviço vinculado do HDInsight sob demanda:

• O cluster HDInsight sob demanda é criado sob sua assinatura do Azure. Quando o cluster estiver ativo e em execução, você poderá vê-lo em seu Portal do Azure.
• Os logs para trabalhos que são executados em um cluster HDInsight sob demanda são copiados para a conta de armazenamento associada ao cluster HDInsight. clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword determinados em sua definição de serviço vinculado são usados para fazer logon no cluster para solução de problemas detalhada durante o ciclo de vida do cluster.
• Você é cobrado somente pelo tempo em que o cluster HDInsight estiver ativo e executando trabalhos.
• Você pode usar uma Ação de Script com o serviço vinculado do Azure HDInsight sob demanda.

Exemplo de uso da Chave da Entidade de serviço

O JSON a seguir define um serviço vinculado HDInsight sob demanda baseado em Linux. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo usando a Identidade Gerenciada Atribuída pelo Sistema

O JSON a seguir define um serviço vinculado HDInsight sob demanda baseado em Linux. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo usando a identidade gerenciada atribuída pelo usuário

O JSON a seguir define um serviço vinculado HDInsight sob demanda baseado em Linux. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• Exemplo de JSON additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Autenticação da entidade de serviço

O serviço vinculado do HDInsight sob demanda exige uma autenticação de entidade de serviço para criar clusters HDInsight em seu nome. Para usar a autenticação da entidade de serviço, registre uma entidade de aplicativo no Microsoft Entra ID e a atribua à função Colaborador da assinatura ou do grupo de recursos no qual o cluster do HDInsight foi criado. Para obter as etapas detalhadas, confira Usar o portal para criar um aplicativo do Microsoft Entra e uma entidade de serviço que possa acessar os recursos. Anote os seguintes valores, que são usados para definir o serviço vinculado:

• ID do aplicativo
• Chave do aplicativo
• ID do locatário

Use a autenticação de entidade de serviço especificando as seguintes propriedades:

Autenticação de Identidade Gerenciada

Ao utilizar autenticação de Identidade Gerenciada para serviços vinculados do Azure HDInsight sob demanda, verifique se o objeto de Identidade Gerenciada tem acesso de função Colaborador ao grupo de recursos.

As contas de armazenamento primário do ADLS Gen2 agora dão suporte à autenticação baseada em UAMI (Identidade Gerenciada Atribuída pelo Usuário), além da autenticação baseada em chave existente. A UAMI deve ter permissões de Proprietário de Dados de Blob de Armazenamento na conta de armazenamento primária.

Limitações:

• A conta de armazenamento primário do ADLS Gen2 e a interface do usuário devem residir no mesmo grupo de recursos que o grupo de recursos usado para criar o cluster HDInsight sob demanda.
• O nome do objeto de credencial para a UAMI no Data Factory deve corresponder exatamente ao nome da UAMI.

Para obter mais informações, consulte Criar o Azure HDInsight – Azure Data Lake Storage Gen2 – portal e identidades gerenciadas no Azure HDInsight

Propriedades Avançadas

Você também pode especificar as seguintes propriedades para a configuração granular do cluster HDInsight sob demanda.

• Exemplo - Configuração de cluster HDInsight sob demanda com propriedades avançadas

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Tamanhos dos nós

Você pode especificar os tamanhos de nós de dados, principais e zookeeper usando as seguintes propriedades:

• Especificação de tamanhos de nó Veja o artigo Tamanhos de máquinas virtuais para obter valores de cadeia de caracteres que você precisa especificar para as propriedades mencionadas na seção anterior. Os valores precisam estar em conformidade com os CMDLETs e as APIS mencionadas no artigo. Como você pode ver neste artigo, o nó de dados de tamanho Grande (padrão) tem 7 GB de memória, que pode não ser suficiente para seu cenário.

Se você quiser criar nós de cabeçalho do tamanho D4 e nós de trabalho, especifique Standard_D4 como o valor das propriedades headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se você especificar um valor incorreto para essas propriedades, poderá receber o seguinte erro: Falha ao criar o cluster. Exceção: Não foi possível concluir operação de criação do cluster. Falha na operação com o código '400'. Cluster deixou para trás estado: ‘Erro’. Mensagem: 'PreClusterCreationValidationFailure'. Quando receber esse erro, verifique se está usando o nome CMDLET e APIS da tabela no artigo Tamanhos de Máquinas Virtuais.

Traga seu próprio ambiente de computação

Nesse tipo de configuração, os usuários podem registrar um ambiente de computação já existente como um serviço vinculado. O ambiente de computação é gerenciado pelo usuário e o serviço o utiliza para executar as atividades.

Esse tipo de configuração tem suporte para os ambientes de computação a seguir:

• Azure HDInsight
• Lote do Azure
• Azure Machine Learning
• Azure Data Lake Analytics
• Banco de Dados SQL do Azure, Azure Synapse Analytics, SQL Server

Serviço vinculado do Azure HDInsight

Você pode criar um serviço vinculado ao Azure HDInsight para registrar seu próprio cluster com espaço de trabalho de uma data factory ou do Synapse.

Exemplo usando a Autenticação Básica

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída pelo sistema

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída pelo usuário

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

O serviço vinculado do Armazenamento do Azure para ADLS Gen2 agora oferece suporte a identidades gerenciadas atribuídas pelo sistema e pelo usuário, além dos métodos de autenticação existentes. Esse suporte está disponível por padrão ao usar o Azure Integration Runtime (Azure IR) e tem suporte no SHIR (Self-hosted Integration Runtime) a partir da versão 5.55.9306.2 ou posterior. Para o Azure Blob Storage, o serviço vinculado do Armazenamento do Azure continua a suportar apenas a autenticação por chave de conta. A autenticação de identidade gerenciada por cluster também agora está disponível por padrão ao usar o Azure IR e tem suporte no SHIR a partir da versão 5.58 ou posterior. Ao criar um cluster, apenas um método de autenticação pode ser usado por cluster. Para obter detalhes sobre como criar e gerenciar clusters com identidade gerenciada, consulte Criar e gerenciar o cluster do Azure HDInsight com a autenticação de ID do Entra

Serviço vinculado do Lote do Azure

Você pode criar um serviço vinculado do Lote do Azure para registrar um pool de lote de máquinas virtuais (VMs) para um espaço de trabalho de dados ou do Synapse. Você pode executar a atividade personalizada usando o Lote do Azure.

Veja os artigos a seguir se você for novo no serviço de Lote do Azure:

• Noções básicas do Lote do Azure para obter uma visão geral do serviço de Lote do Azure.
• Cmdlet New-AzBatchAccount para criar uma conta Batch do Azure (ou) Portal do Azure para criar a conta Batch do Azure usando o Portal do Azure. Consulte o artigo Usando o PowerShell para gerenciar a conta do Lote do Azure para obter instruções detalhadas sobre como usar este cmdlet.
• Cmdlet New-AzBatchPool para criar um pool do Azure Batch.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Serviço vinculado do Machine Learning Studio (clássico)

Você cria um serviço vinculado do Machine Learning Studio (clássico) para registrar um ponto de extremidade de pontuação do lote do Machine Learning Studio (clássico) em uma data factory ou espaço de trabalho do Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Serviço vinculado do Azure Machine Learning

Você cria um serviço vinculado do Azure Machine Learning para conectar um espaço de trabalho do Azure Machine Learning a uma data factory ou espaço de trabalho do Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço vinculado do Azure Data Lake Analytics

Você cria um serviço vinculado do Azure Data Lake Analytics para vincular um serviço de computação do Azure Data Lake Analytics a uma data factory ou espaço de trabalho do Synapse. A atividade de U-SQL do Data Lake Analytics no pipeline se refere a esse serviço vinculado.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço vinculado do Azure Databricks

É possível criar o serviço vinculado do Azure Databricks para registrar o workspace do Databricks que você usa para executar as cargas de trabalho do Databricks (blocos de notas, jar, python).

Exemplo - Usar o novo cluster de trabalho no Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Exemplo - Usar o cluster interativo existente no Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Serviço vinculado para o Banco de Dados SQL do Azure

Você cria um serviço vinculado ao SQL do Azure e o utiliza com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector SQL do Azure para saber mais sobre esse serviço vinculado.

Serviço vinculado ao Azure Synapse Analytics

Você cria um serviço vinculado ao Azure Synapse Analytics e o usa com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector do Azure Synapse Analytics para saber mais sobre esse serviço vinculado.

Serviço vinculado do SQL Server

Você cria um serviço vinculado do SQL Server e o utiliza com a Atividade de Procedimento Armazenado para invocar um procedimento armazenado de um pipeline. Confira o artigo Conector SQL Server para saber mais sobre esse serviço vinculado.

Serviço vinculado do Azure Synapse Analytics (Artifacts)

Você cria um serviço vinculado ao Azure Synapse Analytics (Artefatos) e o utiliza com a Atividade do Synapse Notebook e a Atividade de definição de trabalho do Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço de função vinculado do Azure

Você cria um serviço vinculado do Azure Functions e o utiliza com a atividade do Azure Functions para executar o Azure Functions em um pipeline. O tipo de retorno da função do Azure deve ser um JObject válido. (Lembre-se de que JArraynão é um JObject.) Qualquer tipo de retorno diferente de JObject falha e gera o erro do usuário O conteúdo da resposta não é um JObject válido.

Conteúdo relacionado

Para obter uma lista das atividades de transformação com suporte, consulte Transformar dados.