Como configurar a Instância Gerenciada de SQL do Azure em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline para copiar dados de e para a Instância Gerenciada de SQL do Azure.

Configuração com suporte

Para a configuração de cada guia em atividade Copy, vá para as seções a seguir, respectivamente.

• Geral
• Origem
• Destino
• Mapeamento
• Configurações

Geral

Confira as diretrizes de Configurações gerais para definir a guia de configurações Gerais.

Fonte

As propriedades a seguir têm suporte para a Instância Gerenciada de SQL do Azure na guia Origem de uma atividade Copy.

As propriedades a seguir são necessárias:

• Conexão: selecione uma conexão da Instância Gerenciada de SQL na lista de conexões. Se a conexão não existir, crie uma nova conexão da Instância Gerenciada de SQL do Azure selecionando Novo.

• Tipo de conexão: Selecione Instância Gerenciada de SQL do Azure .

• Especifique a consulta: Determine o modo de leitura dos dados. Você poderá escolher Tabela, Consulta ou Procedimento armazenado. A lista a seguir descreve a configuração de cada configuração:

  • Tabela: Leia dados da tabela especificada. Selecione a tabela de origem na lista suspensa ou selecione Editar para inseri-la manualmente.

  • Consulta: Especifique a consulta SQL personalizada para ler os dados. Um exemplo é select * from MyTable. Ou selecione o ícone de lápis a ser editado no editor de código.

    

  • Procedimento Armazenado: Use o procedimento armazenado que lê dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado.

    • Nome do procedimento armazenado: Selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao selecionar a opção Editar para ler dados da tabela de origem.

    • parâmetros de procedimento armazenado: especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. Selecione Importar parâmetros para obter os parâmetros de procedimento armazenado.

      

Em Avançado, você pode especificar os seguintes campos:

• tempo limite de consulta (minutos): especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se um parâmetro for definido para essa propriedade, os valores permitidos serão intervalos de tempo, como "02:00:00" (120 minutos).

• nível de isolamento: especifica o comportamento de bloqueio de transação para a fonte SQL. Os valores permitidos são: leitura confirmada, leitura não confirmada, leitura repetível, serializável, instantâneo. Se não for especificado, o nível de isolamento padrão do banco de dados será usado. Consulte IsolationLevel Enum para obter mais detalhes.

  

• Opção de Partição: Especificar as opções de particionamento de dados usadas para carregar dados do Azure SQL Managed Instance. Os valores permitidos são: None (padrão), Partições físicas da tabela e Intervalo dinâmico. Quando uma opção de partição está habilitada (ou seja, não None), o grau de paralelismo para carregar dados simultaneamente da Instância Gerenciada de SQL do Azure é controlado por Grau de paralelismo de cópia na guia configurações de atividade de cópia.

  • Nenhum: escolha essa configuração para não usar uma partição.

  • Partições físicas da tabela: quando você usa uma partição física, a coluna de partição e o mecanismo são determinados automaticamente com base na definição da tabela física.

  • intervalo dinâmico: quando você usa a consulta com o paralelo habilitado, o parâmetro de partição de intervalo(?DfDynamicRangePartitionCondition) é necessário. Exemplo de consulta: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nome da coluna de partição: Especifique o nome da coluna de origem no tipo inteiro ou data/datetime ( int, smallint, bigint, date, smalldatetime, datetime, datetime2 o datetimeoffset) que é usada pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela serão detectados automaticamente e usados como a coluna de partição.

      Se você usar uma consulta para recuperar os dados de origem, conecte ?DfDynamicRangePartitionCondition na cláusula WHERE. Para ver um exemplo, confira a seção Cópia paralela da Instância Gerenciada de SQL do Azure.

    • Limite superior de partição: Especifique o valor máximo da coluna de partição para dividir o intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará automaticamente o valor. Para ver um exemplo, confira a seção Cópia paralela da Instância Gerenciada de SQL do Azure.

    • Limite inferior da partição: especifique o valor mínimo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará automaticamente o valor. Para ver um exemplo, confira a seção Cópia paralela da Instância Gerenciada de SQL do Azure.

• Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último.

Observe os seguintes pontos:

• Se a Consulta for especificada para a origem, a atividade de cópia executará essa consulta contra a origem da Instância Gerenciada do Azure SQL para obter os dados. Você também pode especificar um procedimento armazenado ao fornecer o nome do procedimento armazenado e os parâmetros do procedimento armazenado se o procedimento armazenado tiver parâmetros.
• Ao usar o procedimento armazenado na origem para recuperar dados, observe que se o procedimento armazenado for projetado como retornando esquemas diferentes quando um valor de parâmetro diferente for passado, você poderá encontrar uma falha ou ver um resultado inesperado ao importar o esquema da interface do usuário ou ao copiar dados para o banco de dados SQL com a criação de tabela automática.

Destino

As propriedades a seguir têm suporte para a Instância Gerenciada de SQL do Azure na guia Destino de uma atividade Copy.

As propriedades a seguir são necessárias:

• Conexão: selecione uma conexão da Instância Gerenciada de SQL na lista de conexões. Se a conexão não existir, crie uma nova conexão da Instância Gerenciada de SQL do Azure selecionando Novo.

• Tipo de conexão: Selecione Instância Gerenciada de SQL do Azure .

• Opção tabela: é possível escolher Usar tabela existente para usar a tabela especificada. Ou escolha Criar tabela automaticamente para criar automaticamente uma tabela de destino se a tabela não existir no esquema de origem e observar que essa seleção não tem suporte quando o procedimento armazenado é usado como o comportamento de gravação.

  Se selecionar Usar existente:

  • Tabela: selecione a tabela em seu banco de dados de destino na lista suspensa. Ou marcar Editar para inserir o nome da tabela manualmente.

  Se selecionar: Criar automaticamente a tabela:

  • Tabela: especifique o nome da tabela de destino criada automaticamente.

Em Avançado, você pode especificar os seguintes campos:

• Comportamento de gravação: define o comportamento de gravação quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Você pode escolher Insert, **Upsert ou Procedimento armazenado.

  • Insert: escolha essa opção, use inserir o comportamento de gravação para carregar dados na Instância Gerenciada de SQL do Azure.

  • Upsert: escolha essa opção, use executar upsert do comportamento de gravação para carregar dados na Instância Gerenciada de SQL do Azure.

    • Use TempDB: Especifique se deve ser usada uma tabela temporária global ou uma tabela física como tabela intermediária para o upsert. Por padrão, o serviço usa a tabela temporária global como a tabela provisória e essa propriedade é selecionada.

      

    • Selecione o esquema de banco de dados do usuário: quando o Usar o TempDB não estiver selecionado, especifique o esquema provisório para criar uma tabela provisória se uma tabela física for usada.

      Nota

      Você deve ter a permissão para criar e excluir tabelas. Por padrão, uma tabela provisória compartilhará o mesmo esquema de uma tabela de destino.

      

    • Colunas de chave: especifique os nomes de coluna para identificação de linha exclusiva. Uma única chave ou uma série de chaves podem ser usadas. Se não for especificado, a chave primária será usada.

  • procedimento armazenado: utilize o procedimento armazenado que define como aplicar os dados de origem em uma tabela de destino. Esse procedimento armazenado é chamado por lote. Para operações que são executadas apenas uma vez e não têm relação com dados de origem, como excluir ou truncar, use a propriedade de script de pré-cópia .

    • Nome do procedimento armazenado: Selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao verificar o Edit para ler dados da tabela de origem.

    • Parâmetros de procedimento armazenado:

      • tipo de tabela: especifique o nome do tipo de tabela a ser usado no procedimento armazenado. A atividade de cópia move os dados para uma tabela temporária, tornando-os disponíveis com esse tipo de tabela. O código de procedimento armazenado pode mesclar os dados que estão sendo copiados com os dados existentes.
      • nome do parâmetro de tipo de tabela: especifique o nome do parâmetro do tipo de tabela especificado no procedimento armazenado.
      • parâmetros : especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. Selecione Importar parâmetros para obter os parâmetros de procedimento armazenado.

      

• Bloqueio de tabela de inserção em massa: escolha Sim ou Não (padrão). Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. Especifique essa propriedade ao selecionar Insert ou Upsert como seu comportamento de gravação. Para obter mais informações, acesse BULK INSERT (Transact-SQL)

• script de pré-cópia: especifique um script para a atividade de cópia a ser executada antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados pré-carregados.

• Tempo limite do lote de gravação: especifique o tempo de espera para que a operação de inserção em lote termine antes de atingir o tempo limite. O valor permitido é timespan. Se nenhum valor for especificado, o tempo limite será padrão para "02:00:00".

• Gravar o tamanho do lote: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha.

• Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.

Mapeamento

Para a configuração da guia Mapeamento, se você não aplicar a Instância Gerenciada de SQL do Azure com a tabela de criação automática como destino, vá para Mapeamento.

Se você aplicar a Instância Gerenciada de SQL com a tabela de criação automática como seu destino, exceto a configuração no Mapeamento, você poderá editar o tipo para suas colunas de destino. Depois de selecionar Esquemas de importação, você poderá especificar o tipo de coluna em seu destino.

Por exemplo, o tipo da coluna ID na origem é int, e você pode alterá-lo para o tipo flutuante ao mapear para a coluna de destino.

Configurações

Para definição da guia Configurações, acesse Definir suas outras configurações na guia configurações.

Cópia paralela da Instância Gerenciada de SQL do Azure

O conector da Instância Gerenciada de SQL na atividade Copy fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas em sua fonte da Instância Gerenciada de SQL do Azure para carregar dados por partições. O grau paralelo é controlado pelo Grau de paralelismo de cópia na guia configurações de atividade de cópia. Por exemplo, se você definir Grau de paralelismo de cópia para quatro, o serviço gerará e executará simultaneamente quatro consultas com base em sua opção e configurações de partição especificadas, e cada consulta recuperará uma parte dos dados da Instância Gerenciada de SQL do Azure.

Recomenda-se que você habilite a cópia paralela com particionamento de dados, especialmente quando você carregar uma grande quantidade de dados de sua Instância Gerenciada do Azure SQL. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especificar apenas o nome da pasta), nesse caso, o desempenho é melhor do que gravar em um único arquivo.

Práticas recomendadas para carregar dados com a opção de partição:

• Escolha coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar distorção de dados.
• Se a tabela tiver uma partição interna, use a opção de partição Partições físicas da tabela para ter um melhor desempenho.

Consulta de exemplo para verificar a partição física

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Se a tabela tiver partição física, você verá "HasPartition" como "sim", como mostrado a seguir.

Resumo da tabela

Consulte a tabela a seguir para obter o resumo e mais informações sobre a atividade de cópia da Instância Gerenciada de SQL do Azure.

Informações de origem

Informações de destino

Conteúdo relacionado

• visão geral da Instância Gerenciada de SQL do Azure