Copiar dados do Google Cloud Storage usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como copiar dados do Google Cloud Storage (GCS). Para saber mais, leia os artigos introdutórios do Azure Data Factory e do Synapse Analytics.

Capacidades suportadas

Este conector do Google Cloud Storage é compatível com os seguintes recursos:

(1) Infraestrutura de integração do Azure (2) Infraestrutura de integração auto-hospedada

Especificamente, este conector do Google Cloud Storage suporta a cópia de ficheiros tal como está ou a análise de ficheiros com os formatos de ficheiro e codecs de compressão suportados. Ele aproveita a interoperabilidade compatível com o S3 do GCS.

Prerequisites

É necessária a seguinte configuração na sua conta do Google Cloud Storage:

1. Ativar a interoperabilidade para a sua conta do Google Cloud Storage
2. Defina o projeto padrão que contém os dados que você deseja copiar do bucket GCS de destino.
3. Crie uma conta de serviço e defina os níveis corretos de permissões usando o Cloud IAM no GCP.
4. Gere as chaves de acesso para esta conta de serviço.

Permissões necessárias

Para copiar dados do Google Cloud Storage, certifique-se de que recebeu as seguintes permissões para operações de objetos: storage.objects.get e storage.objects.list.

Se você usar a interface do usuário para criar, a permissão será necessária para operações como testar a storage.buckets.list conexão com o serviço vinculado e navegar a partir da raiz. Se não quiser conceder essa permissão, você pode escolher as opções "Testar conexão com o caminho do arquivo" ou "Procurar a partir do caminho especificado" na interface do usuário.

Para obter a lista completa de funções do Google Cloud Storage e permissões associadas, consulte Funções do IAM para armazenamento em nuvem no site do Google Cloud.

Como Começar

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• portal do Azure
• SDK do .NET
• Python SDK
• Azure PowerShell
• API REST
• Modelo Azure Resource Manager

Criar um serviço vinculado ao Google Cloud Storage usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Google Cloud Storage na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e, em seguida, selecione Novo:

   • Fábrica de Dados do Azure
   • Azure Synapse

   

2. Pesquise no Google e selecione o conector do Google Cloud Storage (API do S3).

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas do Google Cloud Storage.

Propriedades do serviço vinculado

As seguintes propriedades são compatíveis com os serviços vinculados do Google Cloud Storage:

Aqui está um exemplo:

{
    "name": "GoogleCloudStorageLinkedService",
    "properties": {
        "type": "GoogleCloudStorage",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            },
            "serviceUrl": "https://storage.googleapis.com"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações de acordo com o formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são compatíveis com o Google Cloud Storage nas configurações de um conjunto de dados baseado em formato:

Example:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Google Cloud Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "GoogleCloudStorageLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte do Google Cloud Storage.

Google Cloud Storage como tipo de origem

O Azure Data Factory suporta os seguintes formatos de ficheiro. Consulte cada artigo para obter as configurações de acordo com o formato.

• Formato Avro
• Formato binário
• Formato de texto delimitado
• Formato Excel
• Formato JSON
• Formato ORC
• Formato Parquet
• Formato XML

As seguintes propriedades são compatíveis nas configurações de storeSettings para o Google Cloud Storage em uma fonte de cópia com base em formato:

Example:

"activities":[
    {
        "name": "CopyFromGoogleCloudStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "GoogleCloudStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exemplos de filtros de pastas e ficheiros

Esta seção descreve o comportamento resultante do caminho da pasta e do nome do arquivo com filtros curinga.

Exemplos de lista de ficheiros

Esta seção descreve o comportamento resultante do uso de um caminho de lista de arquivos na fonte de atividade Copiar.

Suponha que você tenha a seguinte estrutura de pasta de origem e deseja copiar os arquivos em negrito:

Mapeando propriedades de fluxo de dados

Ao transformar dados em fluxos de dados de mapeamento, você pode ler arquivos do Google Cloud Storage nos seguintes formatos:

• Avro
• Delta
• CDM
• Texto delimitado
• Excel
• JSON
• ORC
• Parquet
• XML

As configurações específicas do formato estão localizadas na documentação desse formato. Para obter mais informações, consulte Transformação de origem no mapeamento de fluxo de dados.

Transformação da fonte

Na transformação de origem, você pode ler a partir de um contêiner, pasta ou arquivo individual no Google Cloud Storage. Use a guia Opções de origem para gerenciar como os arquivos são lidos.

Caminhos curinga: Utilizar um padrão curinga instruirá o serviço a percorrer cada pasta e arquivo correspondentes como parte de uma única operação de transformação de origem. Esta é uma maneira eficaz de processar vários arquivos dentro de um único fluxo. Adicione múltiplos padrões de correspondência de wildcard com o sinal de mais que aparece quando você passa o rato sobre o seu padrão wildcard atual.

No contêiner de origem, escolha uma série de arquivos que correspondam a um padrão. Somente um contêiner pode ser especificado no conjunto de dados. Portanto, o caminho curinga também deve incluir o caminho da pasta a partir da pasta principal.

Exemplos de curingas:

• * Representa qualquer conjunto de caracteres.

• ** Representa o aninhamento recursivo de diretórios.

• ? Substitui um caractere.

• [] Corresponde a um ou mais caracteres entre parênteses.

• /data/sales/**/*.csv Obtém todos os arquivos .csv em /data/sales.

• /data/sales/20??/**/ Obtém todos os arquivos do século XX.

• /data/sales/*/*/*.csv Obtém arquivos .csv dois níveis abaixo de /data/sales.

• /data/sales/2004/*/12/[XY]1?.csv Obtém todos os arquivos .csv em dezembro de 2004, começando com X ou Y prefixados por um número de dois dígitos.

Caminho da raiz da partição: Se tiver pastas particionadas na sua fonte de arquivos com um key=value formato (por exemplo, year=2019), poderá atribuir o nível superior dessa árvore de pastas de partição a um nome de coluna no fluxo de dados do seu esquema de dados.

Primeiro, defina um curinga para incluir todos os caminhos que são as pastas particionadas mais os arquivos folha que você deseja ler.

Use a configuração Caminho raiz da partição para definir qual é o nível superior da estrutura de pastas. Quando visualizar o conteúdo dos seus dados através de uma pré-visualização de dados, verá que o serviço adicionará as partições resolvidas encontradas em cada um dos seus níveis de pasta.

Lista de ficheiros: Este é um conjunto de ficheiros. Crie um arquivo de texto que inclua uma lista de arquivos de caminho relativos a serem processados. Aponte para este ficheiro de texto.

Coluna para armazenar o nome do arquivo: Armazene o nome do arquivo de origem em uma coluna em seus dados. Insira um novo nome de coluna para armazenar a cadeia de caracteres do nome do ficheiro.

Após a conclusão: Escolha não fazer nada com o arquivo de origem depois que o fluxo de dados for executado, exclua o arquivo de origem ou mova o arquivo de origem. Os caminhos para a mudança são relativos.

Para mover os arquivos de origem para outro local pós-processamento, primeiro selecione "Mover" para a operação do arquivo. Em seguida, defina o diretório de origem. Se você não estiver usando nenhum curinga para seu caminho, a configuração "de" será a mesma pasta que sua pasta de origem.

Se você tiver um caminho de origem com curinga, sua sintaxe terá esta aparência:

/data/sales/20??/**/*.csv

Você pode especificar "de" como:

/data/sales

E você pode especificar "para" como:

/backup/priorSales

Nesse caso, todos os arquivos que foram originados em /data/sales são movidos para /backup/priorSales.

Filtrar por última modificação: Você pode filtrar quais arquivos você processa especificando um intervalo de datas de quando eles foram modificados pela última vez. Todas as datas/hora estão em UTC.

Propriedades da atividade de consulta

Para obter detalhes sobre as propriedades, consulte Lookup activity.

Propriedades de atividade GetMetadata

Para saber detalhes sobre as propriedades, verifique a atividade GetMetadata.

Excluir propriedades de atividade

Para saber detalhes sobre as propriedades, marque Excluir atividade.

Modelos antigos

Se você estava usando um conector do Amazon S3 para copiar dados do Google Cloud Storage, ele ainda é suportado, assim como para compatibilidade com versões anteriores. Sugerimos que utilize o novo modelo mencionado anteriormente. A interface de criação passou a gerar o novo modelo.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados que a atividade Copiar suporta como fontes e coletores, consulte Armazenamentos de dados suportados.