Como configurar a Instância Gerenciada SQL do Azure em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline para copiar dados de e para a Instância Gerenciada SQL do Azure.

Configuração suportada

Para configurar cada separador sob a atividade de cópia, vá para as seguintes secções, respetivamente.

• Geral
• Origem
• Destino
• Mapeamento
• Configurações

Geral

Consulte as orientações para as definições geraisdo para configurar o separador de definições gerais .

Fonte

As propriedades a seguir têm suporte para a Instância Gerenciada SQL do Azure na guia de origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• de Conexão: Selecione uma conexão de Instância Gerenciada SQL do Azure na lista de conexões. Se a conexão não existir, crie uma nova conexão de Instância Gerenciada SQL do Azure selecionando Novo.

• Tipo de conexão: Selecione Instância Gerenciada SQL do Azure.

• Usar a consulta: especificar a maneira de ler os dados. Você pode escolher Tabela, Consultaou Procedimento armazenado. A lista a seguir descreve a configuração de cada configuração:

  • Tabela: Leia os dados da tabela especificada. Selecione sua tabela de origem na lista suspensa ou selecione Editar para inseri-la manualmente.

  • Query: especifique a consulta SQL personalizada para ler dados. Um exemplo é select * from MyTable. Ou selecione o ícone de lápis para editar no editor de códigos.

    

  • Procedimento armazenado: Use o procedimento armazenado que lê dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado.

    • Nome do procedimento armazenado: Selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao selecionar o Editar para ler dados da tabela de origem.

    • Parâmetros de procedimento armazenado: Especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o invólucro dos parâmetros devem corresponder aos nomes e invólucros dos parâmetros do procedimento armazenado. Você pode selecionar Importar parâmetros para obter os parâmetros do procedimento armazenado.

      

Em Avançado , você pode especificar os seguintes campos:

• Tempo limite da consulta (minutos): Especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se um parâmetro for definido para essa propriedade, os valores permitidos serão de intervalo de tempo, como "02:00:00" (120 minutos).

• Nível de isolamento: Especifica o comportamento de bloqueio de transação para a fonte SQL. Os valores permitidos são: Leitura confirmada, Leitura não confirmada, Leitura repetível, Serializável, Instantâneo. Se não for especificado, o nível de isolamento padrão do banco de dados será usado. Consulte Enum IsolationLevel para obter mais detalhes.

  

• Opção de Partição: Especifique as opções de particionamento de dados usadas para carregar dados da Instância Gerenciada SQL do Azure. Os valores permitidos são: Nenhum (padrão), Partições físicas da tabelae Intervalo dinâmico. Quando uma opção de partição é habilitada (ou seja, não Nenhum), o grau de paralelismo para carregar simultaneamente dados da Instância Gerenciada SQL do Azure é controlado por Grau de paralelismo de cópia na guia Configurações de atividade de cópia.

  • Nenhum: Escolha esta configuração para não usar uma partição.

  • Partições físicas da tabela: Quando você usa uma partição física, a coluna e o mecanismo da partição são determinados automaticamente com base na definição da tabela física.

  • Dynamic range: Quando você usa a consulta com paralelo habilitado, o parâmetro de partição de intervalo (?DfDynamicRangePartitionCondition) é necessário. Exemplo de consulta: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nome da coluna de partição: Especifique o nome da coluna de origem em inteiro ou data/data/hora tipo (int, smallint, bigint, date, smalldatetime, datetime, datetime2ou datetimeoffset) que é usado pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela será detetado automaticamente e usado como a coluna de partição.

      Se usares uma consulta para recuperar os dados de origem, utiliza ?DfDynamicRangePartitionCondition na cláusula WHERE. Para obter um exemplo, consulte a seção Cópia paralela da Instância Gerenciada SQL do Azure.

    • Partition upper bound: Especifique o valor máximo da coluna de partição para divisão do intervalo de partições. Este valor é usado para decidir o intervalo de partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detetará automaticamente o valor. Para obter um exemplo, consulte a seção Cópia paralela da Instância Gerenciada SQL do Azure.

    • Partition lower bound: Especifique o valor mínimo da coluna de partição para divisão do intervalo de partições. Este valor é usado para decidir o intervalo de partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detetará automaticamente o valor. Para obter um exemplo, consulte a seção Cópia paralela da Instância Gerenciada SQL do Azure.

• Colunas adicionais: Adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão é suportada para o caso mencionado.

Observe os seguintes pontos:

• Se a Consulta for especificada como origem, a atividade de cópia executará essa consulta na fonte do Azure SQL Managed Instance para obter os dados. Você também pode especificar um procedimento armazenado especificando nome do procedimento armazenado e parâmetros de procedimento armazenado se o procedimento armazenado usa parâmetros.
• Ao usar o procedimento armazenado na origem para recuperar dados, observe se o procedimento armazenado for projetado como retornando esquema diferente quando um valor de parâmetro diferente for passado, você poderá encontrar falha ou ver um resultado inesperado ao importar esquema da interface do usuário ou ao copiar dados para o banco de dados SQL com a criação automática de tabelas.

Destino

As seguintes propriedades são suportadas para a Instância Gerenciada SQL do Azure sob a guia de Destino de atividade de cópia.

As seguintes propriedades são necessárias:

• de Conexão: Selecione uma conexão de Instância Gerenciada SQL do Azure na lista de conexões. Se a conexão não existir, crie uma nova conexão de Instância Gerenciada SQL do Azure selecionando Novo.

• Tipo de conexão: Selecione Instância Gerenciada SQL do Azure.

• opção Tabela: Você pode escolher Usar existente para usar a tabela especificada. Ou escolha Auto criar tabela para criar automaticamente uma tabela de destino caso a tabela não exista no esquema de origem, e note que esta opção não é suportada quando o procedimento armazenado for utilizado como método de gravação.

  Se selecionares Usarexistente :

  • Tabela: Selecione a tabela no banco de dados de destino na lista suspensa. Ou marque Editar para inserir o nome da tabela manualmente.

  Se você selecionar: Criar tabela automaticamente:

  • Tabela: Especifique o nome da tabela de destino criada automaticamente.

Em Avançado , você pode especificar os seguintes campos:

• Comportamento de gravação: define o comportamento de gravação quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Você pode escolher Inserir, **Upsert ou Procedimento armazenado.

  • Inserir: escolha esta opção para usar o comportamento de gravação de inserção para carregar dados na Instância Gerenciada do SQL do Azure.

  • Upsert: Escolha esta opção Use o comportamento de gravação Upsert para carregar dados na Instância Gerenciada SQL do Azure.

    • Use TempDB: Especifique se deseja usar uma tabela temporária global ou uma tabela física como a tabela provisória para upsert. Por padrão, o serviço usa a tabela temporária global como a tabela provisória e essa propriedade é selecionada.

      

    • Selecionar esquema de banco de dados do usuário: Quando a Usar TempDB não estiver selecionada, especifique o esquema temporário para criar uma tabela temporária se uma tabela física for usada.

      Observação

      Você deve ter permissão para criar e excluir tabelas. Por padrão, uma tabela provisória compartilhará o mesmo esquema que uma tabela de destino.

      

    • Colunas de chave: Especifique os nomes das colunas para identificação única de linhas. Uma única chave ou uma série de chaves podem ser usadas. Se não for especificado, a chave primária será usada.

  • Stored procedure: Use o procedimento armazenado que define como aplicar dados de origem em uma tabela de destino. Este procedimento armazenado é invocado por lote. Para operações que são executadas apenas uma vez e não têm nada a ver com dados de origem, por exemplo, eliminar ou truncar, utilize a propriedade do script de pré-cópia.

    • Nome do procedimento armazenado: Selecione o procedimento armazenado ou especifique manualmente o nome do procedimento armazenado ao verificar o Editar para ler dados da tabela de origem.

    • Parâmetros de procedimento armazenado:

      • Tipo de tabela: Especifique o nome do tipo de tabela a ser usado no procedimento armazenado. A atividade de cópia disponibiliza os dados que estão sendo movidos em uma tabela temporária com esse tipo de tabela. O código de procedimento armazenado pode mesclar os dados que estão sendo copiados com os dados existentes.
      • Nome do parâmetro Tipo de tabela: Especifique o nome do parâmetro do tipo de tabela especificado no procedimento armazenado.
      • Parâmetros: Especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o invólucro dos parâmetros devem corresponder aos nomes e invólucros dos parâmetros do procedimento armazenado. Você pode selecionar Importar parâmetros para obter os parâmetros do procedimento armazenado.

      

• Bloqueio de tabela de inserção em massa: Escolha Sim ou Não (padrão). Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. Você pode especificar essa propriedade ao selecionar Inserir ou Upsert como seu comportamento de gravação. Para obter mais informações, vá para BULK INSERT (Transact-SQL)

• Script de pré-cópia: Especifique um script para que a atividade de cópia seja executada antes de gravar os dados numa tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados pré-carregados.

• Write batch timeout: Especifique o tempo de espera para que a operação de inserção em lote termine antes que ela atinja o tempo limite. O valor permitido é timepan. Se nenhum valor for especificado, o tempo limite será padronizado como "02:00:00".

• Write batch size: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho de lote apropriado com base no tamanho da linha.

• Max conexões simultâneas: O limite máximo de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.

Mapeamento

Para a configuração da guia de Mapeamento de, se não aplicar a Instância Gerenciada SQL do Azure com a opção de criar tabelas automaticamente definida como destino, vá para a guia de Mapeamento .

Ao aplicar a Instância Gerida do Azure SQL com a tabela de criação automática como destino, exceto a configuração no de Mapeamento, é possível editar o tipo das suas colunas de destino. Depois de selecionar Importar esquemas, pode-se especificar o tipo de coluna no seu destino.

Por exemplo, o tipo para ID coluna na origem é int, e você pode alterá-lo para float type ao mapear para a coluna de destino.

Configurações

Para Configurações configuração da guia, vá para Configurar suas outras configurações na guia Configurações.

Cópia paralela da Instância Gerenciada SQL do Azure

O conector da Instância Gerenciada SQL do Azure na atividade de cópia fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia de origem da atividade de cópia.

Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas na origem da Instância Gerenciada SQL do Azure para carregar dados por partições. O grau paralelo é controlado pelo Grau de paralelismo de cópia na guia de configurações de atividade de cópia. Por exemplo, se você definir Grau de paralelismo de cópia para quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados da sua Instância Gerenciada SQL do Azure.

Sugere-se que você habilite a cópia paralela com particionamento de dados, especialmente quando carrega uma grande quantidade de dados da sua Instância Gerenciada SQL do Azure. A seguir estão sugeridas configurações para diferentes cenários. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especifique apenas o nome da pasta), caso em que o desempenho é melhor do que gravar em um único arquivo.

Práticas recomendadas para carregar dados com a opção de partição:

• Escolha uma coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar distorção de dados.
• Se a tabela tiver partição interna, use a opção de partição Partições físicas da tabela para obter um melhor desempenho.

Exemplo de consulta para verificar a partição física

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Se a tabela tiver partição física, você verá "HasPartition" como "sim" como a seguir.

Resumo da tabela

Consulte a tabela a seguir para obter o resumo e mais informações sobre a atividade de cópia da Instância Gerenciada SQL do Azure.

Fonte da informação

Informações sobre o destino

Conteúdo relacionado

• Visão geral da Instância Gerenciada SQL do Azure