Tutorial: Configurar o espelhamento para o Google BigQuery (versão prévia)

Neste tutorial, você configurará um banco de dados espelhado do Fabric do Google BigQuery.

Pré-requisitos

• Crie ou use um armazém BigQuery existente. Você pode se conectar a qualquer versão da instância do BigQuery em qualquer nuvem, incluindo o Microsoft Azure.
• Você precisa de uma capacidade existente no Fabric. Se não tiver uma, inicie uma avaliação do Fabric.

Requisitos de permissão

Você precisa de permissões de usuário para seu banco de dados BigQuery que contenha as seguintes permissões:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

As funções BigQueryAdmin e StorageAdmin devem incluir essas permissões.

Mais permissões podem ser necessárias dependendo do seu caso de uso. As permissões mínimas necessárias são necessárias para trabalhar com o histórico de alterações e lidar com várias tabelas de tamanho (tabelas maiores que 10 GB). Mesmo que você não esteja trabalhando com tabelas maiores que 10 GB, habilite todas essas permissões mínimas para permitir o sucesso do uso do Espelhamento.

Para obter mais informações sobre permissões, consulte a documentação do Google BigQuery sobre privilégios necessários para dados de streaming, permissões necessárias para acesso ao histórico de alterações e permissões necessárias para gravar resultados da consulta

O usuário precisa ter pelo menos uma função atribuída que permita o acesso à instância do BigQuery. Verifique os requisitos de rede para acessar sua fonte de dados do BigQuery. Se você estiver usando o Espelhamento para o Google BigQuery com o On-Premises Data Gateway (OPDG), deverá ter a versão 3000.286.6 ou superior do OPDG para habilitar o Espelhamento.

Para obter informações sobre por que essas permissões são necessárias, consulte a documentação de limitações de permissões.

Criar um banco de dados espelhado

Nesta seção, você criará um novo banco de dados espelhado da fonte de dados do BigQuery espelhada.

Você pode usar um workspace existente (não Meu Workspace) ou criar um novo workspace.

1. No workspace, navegue até o hub Criar .
2. Depois de selecionar o workspace que deseja usar, selecione Criar.
3. Selecione o cartão Google BigQuery espelhado.
4. Insira o nome do novo banco de dados.
5. Selecione Criar.

Conectar-se à instância do BigQuery em qualquer nuvem

1. Selecione BigQuery em Nova conexão ou selecione uma conexão existente.

2. Se você selecionou Nova conexão, insira os detalhes da conexão para o banco de dados BigQuery.

   Configuração de conexão	Description
   Email da Conta de Serviço	Se você tiver uma conta de serviço pré-existente: você pode encontrar seu email da Conta de Serviço e sua chave existente acessando contas de serviço no console do Google BigQuery. Se você não tiver uma conta de serviço preexistente: vá para "Contas de serviço" no console do Google BigQuery e selecione Criar conta de serviço. Insira um nome de conta de serviço (uma ID de conta de serviço é gerada automaticamente com base no nome da conta de serviço inserida) e uma descrição da conta de serviço. Selecione Concluído. Copie e cole o email da conta de serviço em sua seção de credenciais de conexões designadas no Fabric.
   Conteúdo do arquivo de chave JSON da conta de serviço	No painel contas de serviço, selecione Ações para sua conta de serviço recém-criada. Selecione Gerenciar chaves. Se você já tiver uma chave por sua conta de serviço, baixe o conteúdo do arquivo de chave JSON. Se você ainda não tiver uma chave por conta de serviço, selecione Adicionar chave e Criar nova chave. Em seguida, selecione JSON. O arquivo de chave JSON deve ser baixado automaticamente. Copie e cole a chave JSON na seção de credenciais de conexões designadas no portal do Fabric.
   Conexão	Crie uma nova conexão.
   Nome da conexão	Deve ser preenchido automaticamente. Altere-o para um nome que você gostaria de usar.

3. Selecione o banco de dados na lista suspensa.

Iniciar o processo de espelhamento

1. A tela Configurar espelhamento permite espelhar todos os dados no banco de dados, por padrão.

   • Espelhar todos os dados significa que todas as novas tabelas criadas após o Espelhamento ser iniciado serão espelhadas.

   • Opcionalmente, escolha apenas alguns objetos para espelhar. Desative a opção Espelhar todos os dados e selecione tabelas individuais do banco de dados.

   Para este exemplo, usamos a opção Espelhar todos os dados .

2. Selecione Espelhar banco de dados. O espelhamento começa.

3. Aguarde de dois a cinco minutos. Em seguida, selecione Monitorar duplicação para ver o status.

4. Após alguns minutos, o status deve mudar para Em execução, o que significa que as tabelas estão sendo sincronizadas.

   Se você as tabelas e o status de duplicação correspondente não estiverem visíveis, aguarde alguns segundos e atualize o painel.

5. Quando a cópia inicial das tabelas for feita, uma data será exibida na coluna Última atualização.

6. Agora que seus dados estão em funcionamento, há vários cenários de análise disponíveis em todo o Fabric.

Monitorar o espelhamento do Fabric

Depois que o espelhamento estiver configurado, você será direcionado para a página Status do espelhamento. Aqui, é possível monitorar o estado atual da duplicação.

Para obter mais informações e detalhes sobre os estados de replicação, veja Monitorar a replicação de banco de dados espelhados do Fabric.

Conteúdo relacionado

• Visão geral do espelhamento do Google BigQuery
• O que é Espelhamento no Tecido?