Partilhar via


Copie dados do Shopify usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como usar a Atividade de cópia em um pipeline do Azure Data Factory ou do Synapse Analytics para copiar dados da Shopify. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Importante

A versão 1.0 do conector Shopify está numa fase de remoção. Recomenda-se atualizar o conector Shopify da versão 1.0 para a 2.0.

Capacidades suportadas

Este conector da Shopify é suportado para os seguintes recursos:

Capacidades suportadas IR
Atividade de cópia (fonte/-) (1) (2)
Atividade de Pesquisa (1) (2)

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes/coletores, consulte a tabela Armazenamentos de dados suportados.

O serviço fornece um driver interno para habilitar a conectividade, portanto, você não precisa instalar manualmente nenhum driver usando esse conector.

O conector suporta as versões do Windows neste artigo.

A propriedade da coluna billing_on foi removida das tabelas Recurring_Application_Charges e UsageCharge devido à depreciação oficial do campo billing_on da Shopify.

Observação

Na versão 2.0, os nomes das colunas mantêm a estrutura Shopify GraphQL, como data.customers.edges.node.createdAt. Para a versão 1.0, os nomes das colunas usam nomes simplificados, por exemplo, Created_At.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Crie um serviço vinculado à Shopify usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado à Shopify na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

  2. Pesquise por Shopify e selecione o conector da Shopify.

    Captura de tela do conector do Shopify.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Captura de tela da configuração do serviço vinculado para a Shopify.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que são usadas para definir entidades do Data Factory específicas para o conector da Shopify.

Propriedades do serviço vinculado

O conector Shopify suporta agora a versão 2.0. Consulte esta seção para atualizar sua versão do conector do Shopify a partir da versão 1.0. Para obter os detalhes da propriedade, consulte as seções correspondentes.

Versão 2.0

O serviço associado Shopify suporta as seguintes propriedades quando aplica a versão 2.0.

Property Descrição Obrigatório
tipo A propriedade type deve ser definida como: Shopify Sim
versão A versão que especificares. O valor é 2.0. Sim
alojar O ponto de extremidade do servidor da Shopify. (ou seja, mystore.myshopify.com) Sim
accessToken O token de acesso à API que pode ser usado para acessar os dados da Shopify. O token não expira se estiver no modo offline. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado no Cofre de Chaves do Azure. Sim

Exemplo:

{
    "name": "ShopifyLinkedService",
    "properties": {
        "type": "Shopify",
        "version": "2.0",
        "typeProperties": {
            "host" : "mystore.myshopify.com",
            "accessToken": {
                 "type": "SecureString",
                 "value": "<accessToken>"
            }
        }
    }
}

Versão 1.0

O serviço vinculado da Shopify suporta as seguintes propriedades quando aplica a versão 1.0:

Property Descrição Obrigatório
tipo A propriedade type deve ser definida como: Shopify Sim
alojar O ponto de extremidade do servidor da Shopify. (ou seja, mystore.myshopify.com) Sim
accessToken O token de acesso à API que pode ser usado para acessar os dados da Shopify. O token não expira se estiver no modo offline. Marque este campo como um SecureString para armazená-lo com segurança ou faça referência a um segredo armazenado no Cofre de Chaves do Azure. Sim
useEncryptedEndpoints Especifica se os pontos de extremidade da fonte de dados são criptografados usando HTTPS. O valor predefinido é true. Não
useHostVerification Especifica se o nome do host no certificado do servidor deve corresponder ao nome do host do servidor ao se conectar por TLS. O valor predefinido é true. Não
usePeerVerification Especifica se a identidade do servidor deve ser verificada ao se conectar por TLS. O valor predefinido é true. Não

Exemplo:

{
    "name": "ShopifyLinkedService",
    "properties": {
        "type": "Shopify",
        "typeProperties": {
            "host" : "mystore.myshopify.com",
            "accessToken": {
                 "type": "SecureString",
                 "value": "<accessToken>"
            }
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados da Shopify.

Para copiar dados da Shopify, defina a propriedade type do conjunto de dados como ShopifyObject. As seguintes propriedades são suportadas:

Property Descrição Obrigatório
tipo A propriedade type do conjunto de dados deve ser definida como: ShopifyObject Sim
tableName Nome da tabela.

Na versão 2.0, os nomes das tabelas mantêm a estrutura Shopify GraphQL, por exemplo customers.

Para a versão 1.0, os nomes de tabela usam nomes simplificados com prefixos, por exemplo, "Shopify"."Customers".
Não (caso "consulta" esteja especificada na fonte da atividade)

Observação

A coluna de tags não pode ser lida quando você especifica tableName no conjunto de dados. Para ler esta coluna, use query.

Exemplo

{
    "name": "ShopifyDataset",
    "properties": {
        "type": "ShopifyObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Shopify linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte da Shopify.

Shopify como fonte

Para copiar dados da Shopify, defina o tipo de origem na atividade de cópia como ShopifySource. As seguintes propriedades são suportadas na seção de origem da atividade de cópia:

Property Descrição Obrigatório
tipo A propriedade type da fonte de atividade de cópia deve ser definida como: ShopifySource Sim
consulta Para a versão 2.0, use a consulta GraphQL para ler dados. Para saber mais sobre essa consulta, consulte este artigo. Observe que a consulta de paginação só é suportada para tabelas externas, e cada registro na tabela externa pode incluir até 250 registros de tabela interna.

Para a versão 1.0, use a consulta SQL personalizada para ler dados. Por exemplo: "SELECT * FROM "Products" WHERE Product_Id = '123'".
Não (se "tableName" no conjunto de dados for especificado)

Exemplo:

"activities":[
    {
        "name": "CopyFromShopify",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Shopify input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ShopifySource"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Mapeamento de tipo de dados para Shopify

Quando você copia dados da Shopify, os mapeamentos a seguir se aplicam dos tipos de dados da Shopify aos tipos de dados internos usados pelo serviço. Para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o destino, consulte Mapeamentos de esquema e tipo de dados.

Tipo de dados da Shopify Tipo de dados de serviço provisório (para a versão 2.0) Tipo de dados de serviço provisório (para a versão 1.0)
booleano booleano booleano
Int Int Int
Não assinadoInt64 UInt64 UInt64
Decimal Decimal Decimal
Flutuador Double Double
Cordão Cordão Cordão
Date Date Date
DateTime DateTime DateTime
ID Cordão Cordão
URL Cordão Cordão
Código do país Cordão Cordão
Outros tipos de dados personalizados Cordão Cordão

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Ciclo de vida e atualização do conector da Shopify

A tabela a seguir mostra o estágio de lançamento e os registos de alterações para diferentes versões do conector do Shopify.

Versão Fase de lançamento Registo de alterações
Versão 1.0 Removed Não aplicável.
Versão 2.0 Disponibilidade geral • Os nomes de tabelas e colunas mantêm a estrutura do Shopify GraphQL.

• Suporta apenas consultas GraphQL.

useEncryptedEndpoints, useHostVerification, usePeerVerification não são suportados no serviço ligado.

Atualize o conector Shopify da versão 1.0 para a versão 2.0

  1. Na página Editar serviço vinculado , selecione 2.0 para a versão. Para obter mais informações, consulte Propriedades do serviço vinculado versão 2.0.
  2. Para a versão 2.0, note que os nomes das tabelas e colunas mantêm a estrutura Shopify GraphQL.
  3. Se você usar a consulta SQL na fonte de atividade de cópia ou a atividade de pesquisa que se refere ao serviço vinculado da versão 1.0, será necessário convertê-las para a consulta GraphQL. Para saber mais sobre essa consulta, consulte este artigo

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.