Monitorizar visualmente o Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Depois de criar e publicar um pipeline no Azure Data Factory, você pode associá-lo a um gatilho ou iniciar manualmente uma execução ad hoc. Você pode monitorar todas as execuções de pipeline nativamente na experiência do usuário do Azure Data Factory. Para abrir a experiência de monitoramento, selecione o bloco Monitor & Manage na folha data factory do portal do Azure. Se você já estiver na UX do ADF, clique no ícone Monitor na barra lateral esquerda.

Por predefinição, todas as execuções do centro de processamento de dados são exibidas no fuso horário local do navegador. Se alterar o fuso horário, todos os campos de data/hora serão atualizados para o selecionado.

Monitorizar Execução de Pipeline

A exibição de monitoramento padrão é a lista de execuções de pipeline acionadas no período de tempo selecionado. Pode alterar o intervalo de tempo e filtrar por estado, nome do pipeline ou anotação. Passe o cursor sobre a execução do pipeline para obter ações específicas, como executar novamente e o relatório de uso.

Captura de tela do modo de exibição de lista para monitorar execuções de pipeline.

A grade de execução do pipeline contém as seguintes colunas:

Nome da coluna	Descrição
Nome do Pipeline	Nome do gasoduto
Iniciar Execução	Data e hora de início da execução do pipeline (MM/DD/AAAA, HH:MM:SS AM/PM)
Fim da corrida	Data e hora de término da execução do pipeline (MM/DD/AAAA, HH:MM:SS AM/PM)
Duração	Duração da execução (HH:MM:SS)
Acionada Por	O nome do gatilho que iniciou o pipeline
Estado	Falhado, Bem-sucedido, Em Progresso, Cancelado ou Em Fila
Anotações	Tags filtráveis associados a um pipeline
Parâmetros	Parâmetros para a execução do pipeline (pares nome/valor)
Erro	Se o pipeline falhou, o erro de execução
Executar	Original, Reprise ou Rerun (Mais recente)
ID da Execução	ID da execução do pipeline

Você precisa selecionar manualmente o botão Atualizar para atualizar a lista de pipeline e execução de atividades. A atualização automática não é suportada no momento.

Captura de ecrã do botão de atualização.

Para exibir os resultados de uma execução de depuração, selecione a guia Depurar .

Captura de ecrã do ícone de visualização das execuções de depuração ativas.

Monitorização de execuções de atividades

Para obter uma visão detalhada das atividades individuais de uma execução específica de um pipeline, clique no nome do pipeline.

Captura de ecrã da atividade de visualização executada.

A visualização em lista mostra execuções de atividade que correspondem a cada execução de pipeline. Passe o cursor sobre a execução da atividade específica para obter informações específicas da execução, como a entrada JSON, a saída JSON e experiências detalhadas de monitoramento específico da atividade.

Captura de tela com informações sobre SalesAnalyticsMLPipeline, seguida por uma lista de execuções de atividades.

Nome da coluna	Descrição
Nome da Atividade	Nome da atividade dentro do pipeline
Tipo de Atividade	Tipo de atividade, como Copy, ExecuteDataFlow ou AzureMLExecutePipeline
Ações	Ícones que permitem ver informações de entrada JSON, informações de saída JSON ou experiências detalhadas de monitoramento específico da atividade
Iniciar Execução	Data e hora de início da execução da atividade (MM/DD/AAAA, HH:MM:SS AM/PM)
Duração	Duração da execução (HH:MM:SS)
Estado	Falhado, bem-sucedido, em andamento ou cancelado
Ambiente de Execução de Integração	Em qual Runtime de Integração a atividade foi realizada
Propriedades do Utilizador	Propriedades definidas pelo usuário da atividade
Erro	Se a atividade falhou, ocorreu um erro de execução.
ID de Execução	ID da atividade executada

Se uma atividade falhou, você pode ver a mensagem de erro detalhada clicando no ícone na coluna de erro.

Captura de ecrã de uma notificação com detalhes do erro, incluindo código de erro, tipo de falha e detalhes do erro.

Promover as propriedades do utilizador para monitorização

Promova qualquer propriedade de atividade de pipeline como uma propriedade do utilizador para se tornar numa entidade que possa monitorizar. Por exemplo, pode promover as propriedades de Origem e Destino da atividade de cópia no pipeline como propriedades do utilizador.

Nota

Você só pode promover até cinco propriedades de atividade de pipeline como propriedades de usuário.

Captura de tela de criar propriedades do usuário.

Depois de criar as propriedades do usuário, você pode monitorá-las nas exibições de lista de monitoramento.

Captura de tela de adicionar colunas para propriedades de usuário à lista de execuções de atividade.

Se a origem da atividade de cópia for um nome de tabela, você poderá monitorar o nome da tabela de origem como uma coluna no modo de exibição de lista para execuções de atividade.

Captura de tela da lista de execuções de atividade com colunas para propriedades do usuário.

Executar novamente os pipelines e as atividades

O comportamento de repetição das atividades de contêiner é o seguinte:

Wait- A atividade se comportará como antes.
Set Variable - A atividade se comportará como antes.
Filter - A atividade se comportará como antes.
Until A atividade avaliará a expressão e repetirá em loop até que a condição seja satisfeita. As atividades internas ainda podem ser ignoradas com base nas regras de repetição.
Foreach A atividade gerará sempre um ciclo nos itens que recebe. As atividades internas ainda podem ser ignoradas com base nas regras de repetição.
If and switch - As condições serão sempre avaliadas. Todas as atividades internas serão avaliadas. As atividades internas ainda podem ser ignoradas com base nas regras de reexecução, mas atividades como Executar Pipeline serão executadas novamente.
Execute pipeline activity - O pipeline filho será acionado, mas todas as atividades no pipeline filho ainda podem ser omitidas dependendo das regras de reexecução.

Para executar novamente um pipeline que já foi executado desde o início, passe o mouse sobre a execução específica do pipeline e selecione Executar novamente. Se você selecionar vários pipelines, poderá usar o botão Executar novamente para executá-los todos.

Captura de tela de reexecução de um pipeline.

Se você deseja executar novamente a partir de um ponto específico, você pode fazê-lo a partir da visualização de execuções de atividade. Selecione a atividade a partir da qual deseja começar e selecione Repetir a partir da atividade.

Captura de ecrã a mostrar a repetição de uma execução de atividade.

Você também pode executar novamente um pipeline e alterar os parâmetros. Selecione o botão Novos parâmetros para alterar os parâmetros.

Captura de ecrã da repetição de uma atividade executada com novos parâmetros.

Nota

A repetição de um pipeline com novos parâmetros será considerada uma nova execução de pipeline, pelo que não aparecerá nos agrupamentos de repetição de uma execução de pipeline.

Executar novamente a partir da atividade com falha

Se uma atividade falhar, exceder o limite de tempo ou for cancelada, poderá voltar a executar o pipeline a partir dessa atividade com falha ao selecionar Executar novamente.

Captura de ecrã da reexecução de atividade falhada.

Ver o histórico de reexecuções

Pode ver o histórico de reexecuções para todas as execuções de pipeline na visualização em lista.

Captura de ecrã do histórico de visualização.

Você também pode exibir o histórico de reexecução de uma execução de pipeline específica.

Captura de tela do histórico de exibição de uma execução de pipeline.

Monitorizar o consumo

Você pode ver os recursos consumidos por um pipeline executado clicando no ícone de consumo ao lado da execução.

Captura de tela que mostra onde você pode ver os recursos consumidos por um pipeline.

Clicar no ícone abre um relatório de consumo dos recursos usados pela execução do pipeline.

Captura de ecrã do consumo do monitor.

Você pode conectar esses valores à calculadora de preços do Azure para estimar o custo da execução do pipeline. Para obter mais informações sobre os preços do Azure Data Factory, consulte Noções básicas sobre preços.

Nota

Esses valores retornados pela calculadora de preços são uma estimativa. Ele não reflete o valor exato que você será cobrado pelo Azure Data Factory

Visualizações de Gantt

Um gráfico de Gantt é uma exibição que lhe permite visualizar o histórico de execuções ao longo de um intervalo de tempo. Ao mudar para uma visão Gantt, verá todas as execuções de pipeline agrupadas por nome, apresentadas sob a forma de barras, de acordo com o tempo que a execução demorou. Você também pode agrupar por anotações/tags que criou no seu pipeline. A vista Gantt também está disponível no nível de execução da atividade.

Captura de ecrã de um exemplo de um gráfico de Gantt.

O comprimento da barra informa a duração da tubulação. Você também pode selecionar a barra para ver mais detalhes.

Captura de ecrã da duração de um gráfico de Gantt.

Alertas

Pode criar alertas sobre métricas suportadas no Data Factory. Selecione Monitor>alertas e métricas na página de monitorização do Data Factory para começar.

Captura de ecrã da página Monitor do Data factory.

Para uma introdução de sete minutos e demonstração desse recurso, assista ao seguinte vídeo:

Criar alertas

Selecione Nova regra de alerta para criar um novo alerta.
Especifique o nome da regra e selecione a gravidade do alerta.
Selecione os critérios de alerta.

Você pode criar alertas para várias métricas, incluindo aquelas para contagem/tamanho de entidades do ADF, execuções de atividade/pipeline/gatilho, utilização de CPU/memória/contagem de nós/fila do Integration Runtime (IR), bem como para execuções de pacotes SSIS e operações de início/paragem do SSIS IR.
Configure a lógica de alerta. Você pode criar um alerta para a métrica selecionada para todos os pipelines e atividades correspondentes. Você também pode selecionar um tipo de atividade específico, nome da atividade, nome do pipeline ou tipo de falha.
Configure notificações por e-mail, SMS, push e voz para o alerta. Crie um grupo de ações ou escolha um grupo existente para as notificações de alerta.
Crie a regra de alerta.