Copiar e transformar dados no Snowflake V2 usando o Azure Data Factory ou o Azure Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a atividade Copy no Azure Data Factory e em pipelines do Azure Synapse para copiar dados de e para o Snowflake e como usar o Fluxo de Dados para transformar dados no Snowflake. Para mais informações, consulte o artigo introdutório do Data Factory ou do Azure Synapse Analytics.

Recursos com suporte

Esse conector Snowflake é compatível com as seguintes funcionalidades:

① Tempo de execução de integração do Azure ② Tempo de execução de integração auto-hospedado

No caso da atividade Copy, esse conector Snowflake dá suporte às seguintes funções:

• Copiar os dados do Snowflake utilizando o comando do Snowflake COPY into [location] para obter o melhor desempenho.
• Copie os dados para o Snowflake aproveitando o comando do Snowflake COPY into [table] para obter o melhor desempenho. Ele oferece suporte ao Snowflake no Azure.
• Se um proxy for necessário para se conectar ao Snowflake a partir de um Integration Runtime auto-hospedado, você deverá configurar as variáveis de ambiente HTTP_PROXY e HTTPS_PROXY no host do Integration Runtime.

Prerequisites

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele. Adicione os endereços IP usados pelo runtime de integração auto-hospedada à lista de permissões.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

A conta Snowflake usada para Origem ou Coletor deve ter o acesso necessário USAGE no banco de dados e acesso de leitura/gravação no esquema e nas tabelas/visualizações sob ele. Além disso, ele também deve ter CREATE STAGE no esquema para poder criar o estágio Externo com a URI SAS.

Os valores de propriedades da Conta a seguir devem ser definidos

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar Dados
• Portal do Azure
• SDK do .NET
• SDK do Python
• Azure PowerShell
• REST API
• Modelo do Azure Resource Manager

Criar um serviço vinculado ao Snowflake usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Snowflake na interface do usuário do portal do Microsoft Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:

   • Fábrica de dados do Azure
   • Azure Synapse

   

2. Pesquise por Snowflake e selecione o conector Snowflake.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas de um conector Snowflake.

Propriedades de serviço vinculadas

Há suporte para essas propriedades genéricas no serviço vinculado do Snowflake:

Você pode definir as seguintes propriedades de conexão adicionais no serviço vinculado, dependendo do seu caso.

Esse conector do Snowflake dá suporte aos seguintes tipos de autenticação. Consulte as seções correspondentes para obter detalhes.

• Autenticação básica
• Autenticação de par de chaves

autenticação Básica

Para usar a autenticação Básica, além das propriedades genéricas descritas na seção anterior, especifique as seguintes propriedades:

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Senha no Azure Key Vault:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Autenticação de par de chaves

Para usar a autenticação de Par de chaves, é necessário configurar e criar um usuário de autenticação de par de chaves no Snowflake, consultando Autenticação de par de chaves e rotação de par de chaves. Depois disso, anote a chave privada e a frase secreta (opcional), que você usa para definir o serviço vinculado.

Além das propriedades genéricas descritas na seção anterior, especifique as seguintes propriedades:

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "KeyPair",
            "user": "<username>",
            "privateKey": {
                "type": "SecureString",
                "value": "<privateKey>"
            },
            "privateKeyPassphrase": { 
                "type": "SecureString",
                "value": "<privateKeyPassphrase>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre Conjuntos de Dados.

As propriedades a seguir têm suporte para o conjunto de dados do Snowflake.

Example:

{
    "name": "SnowflakeV2Dataset",
    "properties": {
        "type": "SnowflakeV2Table",
        "typeProperties": {
            "schema": "<Schema name for your Snowflake database>",
            "table": "<Table name for your Snowflake database>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Essa seção fornece uma lista de propriedades suportadas pela origem e pelo coletor do Snowflake.

Snowflake como a origem

O conector do Snowflake utiliza o comando COPY into [local] do Snowflake para obter o melhor desempenho.

Se o armazenamento de dados e o formato do coletor forem suportados nativamente pelo comando COPY do Snowflake, você poderá usar a atividade Copy para copiar diretamente do Snowflake para o coletor. Para obter detalhes, consulte Cópia direta do Snowflake. Caso contrário, use a cópia interna Staged do Snowflake.

Ao copiar os dados do Snowflake, as seguintes propriedades têm suporte na seção de origem da atividade Copy.

Cópia direta do Snowflake

Se o armazenamento de dados e o formato do seu coletor atenderem aos critérios descritos nessa seção, você poderá usar a atividade Copy para copiar diretamente do Snowflake para o coletor. O serviço verifica as configurações e falha na execução da atividade Copy se os critérios a seguir não forem atendidos:

• Quando você especifica storageIntegration na origem:

  O repositório de dados de destino é o Azure Blob Storage que você mencionou na etapa externa no Snowflake. Você precisa concluir as seguintes etapas antes de copiar dados:

  1. Crie um serviço vinculado do Armazenamento de Blobs do Azure para o coletor do Azure Blob Storage com qualquer tipo de autenticação compatível.

  2. Conceda pelo menos a função Storage Blob Data Contributor à entidade de serviço do Snowflake no coletor Armazenamento de Blobs do Azure Access Control (IAM).

• Quando você não especifica storageIntegration na origem:

  O serviço vinculado ao coletor é o armazenamento de Blobs do Azure com autenticação de assinatura de acesso compartilhado. Se quiser copiar dados diretamente para o Azure Data Lake Storage Gen2 no seguinte formato suportado, você poderá criar um serviço vinculado ao Armazenamento de Blobs do Azure com autenticação SAS na sua conta do Azure Data Lake Storage Gen2 para evitar o uso de cópia em etapas do Snowflake.

• O formato de dados do coletor é de Parquet, texto delimitado ou JSON, com as seguintes configurações:

  • Para o formato Parquet, o codec de compactação é Nenhum, Snappy ou Lzo.
  • Para formato de texto delimitado:
    • rowDelimiter é \r\n, ou qualquer caractere único.
    • compression pode ser sem compactação, gzip, bzip2 ou deflate.
    • encodingName é deixado como padrão ou definido como utf-8.
    • quoteChar é aspas duplas, aspas simples ou cadeia de caracteres vazia (sem caracteres de aspas).
  • Para o formato JSON, a cópia direta dá suporte apenas ao caso em que a tabela ou resultado de consulta do Snowflake de origem tem uma única coluna e o tipo de dados dessa coluna seja VARIANT, OBJECT ou ARRAY.
    • compression pode ser sem compactação, gzip, bzip2 ou deflate.
    • encodingName é deixado como padrão ou definido como utf-8.
    • filePattern na atividade de cópia o coletor é deixado como padrão ou definido como setOfObjects.

• Na origem da atividade de cópia, additionalColumns não é especificado.

• O mapeamento de colunas não está especificado.

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",
                "query": "SELECT * FROM MYTABLE",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "additionalCopyOptions": {
                        "MAX_FILE_SIZE": "64000000",
                        "OVERWRITE": true
                    },
                    "additionalFormatOptions": {
                        "DATE_FORMAT": "'MM/DD/YYYY'"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia encenada de Snowflake

Quando o armazenamento de dados ou formato do seu coletor não for nativamente compatível com o comando Snowflake COPY, conforme mencionado na última seção, habilite a cópia em etapas interna usando uma instância provisória do Armazenamento de Blobs do Azure. O recurso de cópia em etapas também proporciona uma melhor eficiência. O serviço exporta dados do Snowflake para o armazenamento de preparação, depois copia os dados para o coletor e, por fim, limpa seus dados temporários do armazenamento de preparação. Veja Cópia preparada para obter detalhes sobre como copiar dados usando preparação.

Para usar esse recurso, crie um serviço vinculado ao armazenamento de Blobs do Azure que se refere à conta de armazenamento do Azure como o preparo provisório. Em seguida, especifique as propriedades enableStaging e stagingSettings na atividade Copy.

• Quando você especifica storageIntegration na origem, o Armazenamento de Blobs do Azure temporário deve ser aquele ao qual você se referiu no estágio externo no Snowflake. Certifique-se de criar um serviço vinculado ao Armazenamento de Blobs do Azure para ele com qualquer autenticação compatível ao usar o tempo de execução de integração do Azure, ou com autenticação anônima, de chave de conta, de assinatura de acesso compartilhado ou de entidade de serviço ao usar o tempo de execução de integração auto-hospedado. Além disso, conceda pelo menos a função Storage Blob Data Contributor à entidade de serviço do Snowflake no Armazenamento de Blobs do Azure Access Control (IAM) de preparação.

• Quando você não especifica storageIntegration na origem, o serviço vinculado do Armazenamento de Blobs do Azure de preparação deve usar a autenticação de assinatura de acesso compartilhado, conforme exigido pelo comando Snowflake COPY. Certifique-se de conceder permissão de acesso adequada ao Snowflake no Armazenamento de Blobs do Azure de preparação. Para saber mais sobre isso, consulte este artigo.

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",               
                "query": "SELECT * FROM MyTable",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"                    
                }
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Ao executar uma cópia em etapas do Snowflake, é crucial definir o comportamento da cópia do coletor como Mesclar arquivos. Essa configuração garante que todos os arquivos particionados sejam manipulados e mesclados corretamente, evitando o problema em que apenas o último arquivo particionado é copiado.

Configuração de exemplo

{
    "type": "Copy",
    "source": {
        "type": "SnowflakeSource",
        "query": "SELECT * FROM my_table"
    },
    "sink": {
        "type": "AzureBlobStorage",
        "copyBehavior": "MergeFiles"
    }
}

Floco de neve como pia

O conector Snowflake utiliza o comando COPY into [table] do Snowflake para o melhor desempenho. Ele oferece suporte à gravação de dados no Snowflake no Azure.

Se o repositório de dados de origem e o formato forem suportados nativamente pelo comando COPY do Snowflake, é possível usar a atividade de cópia para transferir diretamente da origem para o Snowflake. Para mais detalhes, veja Cópia direta para Snowflake. Caso contrário, use a Cópia preparada para o Snowflake interna.

Para copiar dados para o Snowflake, as seguintes propriedades são suportadas na seção coletor da atividade Copy.

Cópia direta para Snowflake

Se o armazenamento e o formato de dados de origem atenderem aos critérios descritos nesta seção, você poderá usar a atividade Copy para copiar diretamente da origem para o Snowflake. O serviço verifica as configurações e falha na execução da atividade Copy se os critérios a seguir não forem atendidos:

• Quando você especifica storageIntegration no coletor:

  O armazenamento de dados de origem é o Armazenamento de Blobs do Azure que você mencionou no estágio externo no Snowflake. Você precisa concluir as seguintes etapas antes de copiar dados:

  1. Crie um serviço vinculado do Armazenamento de Blobs do Azure para o Armazenamento de Blobs do Azure de origem com qualquer tipo de autenticação compatível.

  2. Conceda pelo menos função de Leitor de Dados de Blobs de Armazenamento à entidade de serviço Snowflake no Controle de Acesso (IAM) de Armazenamento de Blobs do Azure da origem.

• Quando você não especifica storageIntegration no coletor:

  O serviço vinculado à origem é o armazenamento de Blobs do Azure com autenticação de assinatura de acesso compartilhado. Se você quiser copiar dados diretamente do Azure Data Lake Storage Gen2 no seguinte formato suportado, você pode criar um serviço vinculado do Armazenamento de Blobs do Azure com autenticação SAS em sua conta do Azure Data Lake Storage Gen2, para evitar o uso de cópia em etapas para Snowflake.

• O formato de dados do coletor é de Parquet, texto delimitado ou JSON, com as seguintes configurações:

  • Para o formato Parquet, o codec de compressão é Nenhum ou Snappy.

  • Para formato de texto delimitado:

    • rowDelimiter é \r\n, ou qualquer caractere único. Se o delimitador de linha não for "\r\n", firstRowAsHeader precisará ser false, e skipLineCount não estar especificado.
    • compression pode ser sem compactação, gzip, bzip2 ou deflate.
    • encodingName é deixado como padrão ou definido como "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
    • quoteChar é aspas duplas, aspas simples ou cadeia de caracteres vazia (sem caracteres de aspas).

  • Para o formato JSON, a cópia direta suporta apenas o caso em que a tabela Snowflake do coletor tem apenas uma coluna e o tipo de dados dessa coluna é VARIANT, OBJECT, ou ARRAY.

    • compression pode ser sem compactação, gzip, bzip2 ou deflate.
    • encodingName é deixado como padrão ou definido como utf-8.
    • O mapeamento de colunas não está especificado.

• Na origem da atividade Copy:

  • additionalColumns não está especificado.
  • Se sua origem for uma pasta, recursive é definido como verdadeiro.
  • prefix, modifiedDateTimeStart, modifiedDateTimeEnd, e enablePartitionDiscovery não estão especificados.

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "copyOptions": {
                        "FORCE": "TRUE",
                        "ON_ERROR": "SKIP_FILE"
                    },
                    "fileFormatOptions": {
                        "DATE_FORMAT": "YYYY-MM-DD"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            }
        }
    }
]

Cópia preparada para o Snowflake

Quando o formato ou o armazenamento de dados de origem não for nativamente compatível com o comando Snowflake COPY, conforme mencionado na última seção, habilite a cópia temporária interna usando uma instância de Armazenamento de Blobs do Azure. O recurso de cópia em etapas também proporciona uma melhor eficiência. O serviço converte automaticamente os dados para atender aos requisitos de formato de dados do Snowflake. Em seguida, ele invoca o comando COPY para carregar dados no Snowflake. Por fim, ele limpa seus dados temporários do armazenamento de blobs. Veja Cópia preparada para obter detalhes sobre como copiar dados usando preparação.

Para usar esse recurso, crie um serviço vinculado ao armazenamento de Blobs do Azure que se refere à conta de armazenamento do Azure como o preparo provisório. Em seguida, especifique as propriedades enableStaging e stagingSettings na atividade Copy.

• Quando você especifica storageIntegration no coletor, o Armazenamento de Blobs do Azure temporário deve ser aquele ao qual você se referiu no estágio externo no Snowflake. Certifique-se de criar um serviço vinculado ao Armazenamento de Blobs do Azure para ele com qualquer autenticação compatível ao usar o tempo de execução de integração do Azure, ou com autenticação anônima, de chave de conta, de assinatura de acesso compartilhado ou de entidade de serviço ao usar o tempo de execução de integração auto-hospedado. Além disso, conceda pelo menos a função Leitor de Dados de Blobs de Armazenamento à entidade de serviço do Snowflake no controle de acesso (IAM) de Armazenamento de Blobs do Azure em preparação.

• Quando você não especifica storageIntegration no coletor, o serviço vinculado do Armazenamento de Blobs do Azure de preparação precisa usar a autenticação de assinatura de acesso compartilhado, conforme exigido pelo comando Snowflake COPY.

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Propriedades de fluxo de dados de mapeamento

Ao transformar dados no fluxo de dados de mapeamento, você pode ler e gravar em tabelas no Snowflake. Para obter mais informações, veja a transformação de origem e a transformação de coletor no fluxos de dados de mapeamento. Você pode optar por usar um conjunto de dados do Snowflake ou um conjunto de dados embutido como origem e tipo de coletor.

Transformação de origem

A tabela abaixo lista as propriedades suportadas pela fonte Snowflake. Você pode editar essas propriedades na guia Opções de origem. O conector utiliza a transferência de dados internado Snowflake.

Exemplos de script de origem do Snowflake

Quando você usa um conjunto de dados do Snowflake como tipo de origem, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'select * from MYTABLE',
	format: 'query') ~> SnowflakeSource

Se você usar um conjunto de dados integrado, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
	validateSchema: false,
	format: 'query',
	query: 'select * from MYTABLE',
	store: 'snowflake') ~> SnowflakeSource

Rastreamento Nativo de Alterações

O Azure Data Factory agora dá suporte a um recurso nativo no Snowflake conhecido como controle de alterações, que envolve o acompanhamento de mudanças na forma de logs. Esse recurso do Snowflake nos permite acompanhar as alterações nos dados ao longo do tempo, tornando-os úteis para o carregamento incremental de dados e para fins de auditoria. Para utilizar esse recurso, quando você habilita a Captura de dados de alterações e seleciona o Controle de Alterações do Snowflake, criamos um objeto Stream para a tabela de origem que permite o controle de alterações na tabela de origem do Snowflake. Posteriormente, usamos a cláusula CHANGES em nossa consulta para buscar apenas os dados novos ou atualizados da tabela de origem. Além disso, é recomendável agendar o pipeline de modo que as alterações sejam consumidas dentro do intervalo de tempo de retenção de dados definido para a tabela de origem do Snowflake; caso contrário, o usuário poderá ver um comportamento inconsistente nas alterações capturadas.

Transformação de coletor

A tabela abaixo lista as propriedades suportadas pelo coletor Snowflake. Você pode editar essas propriedades na guia Configurações. Ao usar o conjunto de dados em linha, você verá configurações adicionais, que são as mesmas que as propriedades descritas na seção propriedades do conjunto de dados. O conector utiliza a transferência de dados interna do Snowflake.

Exemplos de script de pia de floco de neve

Quando você usa um conjunto de dados do Snowflake como tipo de origem, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	deletable:true,
	insertable:true,
	updateable:true,
	upsertable:false,
	keys:['movieId'],
	format: 'table',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

Se você usar um conjunto de dados integrado, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	tableName: 'table',
	schemaName: 'schema',
	deletable: true,
	insertable: true,
	updateable: true,
	upsertable: false,
	store: 'snowflake',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

Otimização de consulta pushdown

Ao definir o Nível de Registros em Log do pipeline como Nenhum, excluímos a transmissão de métricas de transformação intermediárias, evitando possíveis obstáculos para as otimizações do Spark e possibilitando a otimização de pushdown de consulta fornecida pelo Snowflake. Essa otimização de pushdown permite melhorias substanciais de desempenho para grandes tabelas Snowflake com conjuntos de dados extensos.

Mapeamento de tipo de dados para Snowflake V2

Quando você copia dados do Snowflake, os mapeamentos a seguir são usados de tipos de dados Snowflake para tipos de dados provisórios dentro do serviço internamente. Para saber mais sobre como a atividade Copy mapeia o tipo de dados e esquema de origem para o coletor, consulte Mapeamentos de tipo de dados e esquema.

Propriedades da atividade de pesquisa

Para obter mais informações sobre as propriedades, confira Atividade de pesquisa.

Ciclo de vida e atualização do conector Snowflake

A tabela a seguir mostra o estágio de lançamento e os logs de alteração para versões diferentes do conector Snowflake:

Atualize o conector Snowflake de V1 para V2

Para atualizar o conector Snowflake da V1 para a V2, você pode optar por uma atualização paralela ou uma atualização no local.

Atualização lado a lado

Para executar uma atualização lado a lado, conclua as seguintes etapas:

1. Crie um novo serviço vinculado ao Snowflake e configure-o consultando as propriedades do serviço vinculado V2.
2. Crie um conjunto de dados com base no serviço vinculado do Snowflake recém-criado.
3. Substitua o novo serviço vinculado e o conjunto de dados pelos existentes nos pipelines que têm como alvo os objetos V1.

Atualização no local

Para executar uma atualização local, você precisa editar a carga útil do serviço vinculado existente e atualizar o conjunto de dados para usar o novo serviço vinculado.

1. Atualize o tipo do Snowflake para SnowflakeV2.

2. Modifique o conteúdo do serviço vinculado do formato V1 para o V2. Você pode preencher cada campo na interface do usuário após alterar o tipo mencionado acima ou atualizar a carga diretamente por meio do Editor JSON. Consulte a seção Propriedades do serviço vinculado nesse artigo para obter as propriedades de conexão suportadas. Os exemplos a seguir mostram as diferenças no conteúdo dos serviços vinculados do Snowflake V1 e V2:

   Carga útil JSON do serviço vinculado ao Snowflake V1:

     {
        "name": "Snowflake1",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "annotations": [],
            "type": "Snowflake",
            "typeProperties": {
                "authenticationType": "Basic",
                "connectionString": "jdbc:snowflake://<fake_account>.snowflakecomputing.com/?user=FAKE_USER&db=FAKE_DB&warehouse=FAKE_DW&schema=PUBLIC",
                "encryptedCredential": "<your_encrypted_credential_value>"
            },
            "connectVia": {
                "referenceName": "AzureIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

   Carga útil JSON do serviço vinculado ao Snowflake V2:

    {
        "name": "Snowflake2",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "parameters": {
                "schema": {
                    "type": "string",
                    "defaultValue": "PUBLIC"
                }
            },
            "annotations": [],
            "type": "SnowflakeV2",
            "typeProperties": {
                "authenticationType": "Basic",
                "accountIdentifier": "<FAKE_Account>",
                "user": "FAKE_USER",
                "database": "FAKE_DB",
                "warehouse": "FAKE_DW",
                "encryptedCredential": "<placeholder>"
            },
            "connectVia": {
                "referenceName": "AutoResolveIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

3. Atualize o conjunto de dados para usar o novo serviço vinculado. Você pode criar um novo conjunto de dados com base no serviço vinculado recém-criado ou atualizar a propriedade de tipo de um conjunto de dados existente, mudando de SnowflakeTable para SnowflakeV2Table.

Atualizar o conector Snowflake V2 da versão 1.0 para a versão 1.1

Na página Editar serviço vinculado , selecione 1.1 para a versão. Para saber mais, confira Propriedades do serviço vinculado.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos e formatos de dados compatíveis.