Detecção de anomalias no Real-Time Intelligence (versão prévia)

Este artigo explica como configurar a detecção de anomalias no Real-Time Intelligence para identificar automaticamente padrões e exceções incomuns em suas tabelas do Eventhouse. O sistema fornece modelos recomendados e permite que você configure o monitoramento contínuo com ações automatizadas.

As principais funcionalidades incluem:

• Recomendações de modelo: sugere os melhores algoritmos e parâmetros para seus dados.
• Exploração interativa de anomalias: visualize anomalias detectadas e ajuste a sensibilidade do modelo.
• Monitoramento contínuo: configurar a detecção de anomalias em tempo real com notificações automatizadas.
• Reanálise com novos dados: atualize seus modelos à medida que novos dados chegam para melhorar a precisão.

Pré-requisitos

• Um espaço de trabalho com uma capacidade habilitada para o Microsoft Fabric
• Função de Administrador, Colaborador ou Membrono espaço de trabalho
• Um Eventhouse no seu espaço de trabalho com um banco de dados KQL
• Um plug-in do Python habilitado no mesmo Eventhouse
  • Para habilitar o plug-in, navegue até o Eventhouse.
  • Na barra de ferramentas superior, selecione Plug-ins e habilite a extensão de linguagem Python.
  • Selecione o plug-in de DL do Python 3.11.7 e selecione Concluído.

Como configurar a detecção de anomalias

Iniciar a detecção de anomalias a partir de uma tabela Eventhouse

Você pode iniciar a detecção de anomalias de duas maneiras:

1. No hub em tempo real:

   1. Selecione Real-Time hub no painel de navegação esquerdo.

      

   2. Localize a tabela que você deseja analisar para anomalias e execute uma das seguintes etapas:

      1. Selecione o ⋯ (três pontos) para abrir o menu da faixa de opções da tabela e selecione Detecção de anomalias.

         

      2. Selecione a tabela para abrir a página de detalhes. Na barra de ferramentas superior, selecione Detecção de anomalias.

         

   3. Na página de detecção de anomalias , para Salvar, selecione a lista suspensa e, em seguida, selecione Criar detector.

      

   4. Na página Criar detector de anomalias , selecione seu workspace do Fabric, insira um nome para o detector de anomalias e selecione Criar.

      

      Agora, continue para a seção Configurar colunas de entrada para a seção de análise , mas ignore a configuração da origem , pois a origem já está selecionada no hub Real-Time. Comece com a configuração da seção Valor a ser observado .

2. No botão Criar :

   1. Na página inicial do Fabric, selecione o ícone de reticências (...) e, em seguida, a opção Criar.

      

   2. No painel Criar, selecione Detecção de Anomalias na seção Inteligência em Tempo Real.

      

Configurar colunas de entrada para análise

Especifique quais colunas analisar e como agrupar seus dados.

1. No painel de configuração de detecção de anomalias , selecione a fonte de dados que você deseja analisar. Se você estiver usando Real-Time hub, ignore a seleção de origem e continue configurando a seção Valor a ser observado .

   

2. No painel Selecionar origem , escolha o Eventhouse e a tabela que você deseja analisar e, em seguida, selecione Adicionar.

   

3. No painel de configuração, adicione a coluna Valor a observar que contém os dados numéricos que você deseja monitorar para anomalias.

   

   Observação

   Verifique se a coluna selecionada contém valores numéricos, pois somente dados numéricos têm suporte para detecção de anomalias.

4. Escolha o Grupo por coluna para especificar como seus dados devem ser particionados para análise. Essa coluna normalmente representa entidades como dispositivos, locais ou outros agrupamentos lógicos.

   

5. Selecione a coluna Timestamp que representa o momento em que cada ponto de dados foi registrado. Esta coluna é crucial para a detecção de anomalias de série temporal e garante uma análise precisa das tendências ao longo do tempo.

   

6. Selecione Executar análise para iniciar a avaliação automatizada do modelo.

Aguardar a conclusão da análise

O sistema analisa seus dados para encontrar os melhores modelos de detecção de anomalias.

Durante a análise, o sistema:

• Amostra os dados de sua tabela para processamento eficiente
• Testa vários algoritmos de detecção de anomalias
• Avalia configurações de parâmetros diferentes
• Identifica os modelos mais eficazes para seus padrões de dados específicos

Examinar modelos e anomalias recomendados

Depois que a análise for concluída, você poderá examinar os resultados e explorar as anomalias detectadas.

1. Abra os resultados da detecção de anomalias selecionando a notificação recebida ou navegando de volta para a tabela e selecionando Exibir resultados de anomalias.

2. A página de resultados fornece os seguintes insights:

   • Uma visualização de seus dados com anomalias claramente realçadas.
   • Uma lista de algoritmos recomendados, classificados por sua eficácia para seus dados.
   • Configurações de sensibilidade para ajustar os limites de detecção.
   • Uma tabela detalhada de anomalias detectadas dentro do intervalo de tempo selecionado.

3. Use o seletor de modelo para comparar o desempenho de algoritmos recomendados diferentes e escolher aquele que melhor atenda às suas necessidades.

4. Ajuste as configurações de sensibilidade para refinar os resultados da detecção de anomalias.

   • As opções incluem níveis baixos, médios e de alta confiança.
   • Experimente essas configurações para equilibrar entre detectar mais anomalias e reduzir falsos positivos.

5. Interaja com os visuais e tabelas para obter informações mais profundas sobre as anomalias detectadas e entender os padrões em seus dados.

6. Salve o detector de anomalias para preservar sua configuração e revisitá-la mais tarde.

7. Publique as anomalias detectadas no Hub em Tempo Real, permitindo o monitoramento contínuo dos dados recebidos. Você também pode configurar ações downstream, como enviar alertas para o Activator.

Ao examinar e ajustar os resultados, você pode garantir que sua configuração de detecção de anomalias seja otimizada para seu caso de uso específico.

Analisar novamente modelos de detecção de anomalias com novos dados

Mantenha seus modelos de detecção de anomalias atualizados à medida que novos dados estiverem disponíveis.

Siga as etapas para analisar novamente o modelo com novos dados:

1. Navegue até o item de detecção de anomalias.
2. No painel Editar , modifique qualquer um dos campos preenchidos anteriormente, conforme necessário.
3. Selecione Executar análise. Isso dispara uma nova análise com base em suas entradas atualizadas.

Explorar eventos de detecção de anomalias e definir alertas

Depois de publicar os resultados da detecção de anomalias, você pode explorar as anomalias detectadas no Hub Real-Time e configurar alertas para notificar você sobre anomalias futuras. Para obter mais informações, consulte:

• Explorar eventos de detecção de anomalias
• Definir alertas sobre eventos de detecção de anomalias

Limitações e considerações

Lembre-se dessas limitações atuais:

• Requisitos de dados: dados históricos suficientes melhoram as recomendações e a precisão do modelo
• Cada detector de anomalias só pode dar suporte a uma única configuração de modelo.

Executando várias operações no detector de anomalias

Quando você interage com o detector de anomalias, o Eventhouse executa consultas python em segundo plano para dar suporte à análise em tempo real. Essas operações incluem:

• Executando detecção de anomalias ou outros tipos de análise.
• Alternar entre modelos recomendados.
• Alterando o intervalo de tempo ou as IDs que estão sendo visualizadas.
• Monitorando continuamente os dados de entrada para anomalias definindo alertas.

O Eventhouse dá suporte a até oito consultas simultâneas por Eventhouse. Se esse limite for excedido, o sistema repetirá as consultas, mas consultas adicionais não serão enfileiradas e poderão falhar silenciosamente. Mensagens de erro para fornecer mais clareza estão em desenvolvimento.

Para evitar problemas:

• Permitir que cada consulta seja concluída antes de iniciar uma nova.
• Se o desempenho parecer lento ou sem resposta, reduza o número de consultas simultâneas.

Para obter mais informações, consulte o Plug-in do Python.

Tempos de espera para habilitar o plug-in do Python

Quando você inicia a análise de dados, o detector de anomalias habilita automaticamente o Plug-in do Python em seu Eventhouse. Habilitar o plug-in pode levar até uma hora. Depois de habilitada, a análise começa automaticamente.

Para obter mais informações, consulte Habilitar plug-in do Python no Real-Time Intelligence.

Próximas etapas

Agora que você tem a detecção de anomalias configurada, em seguida, você pode:

• Explorar eventos de detecção de anomalias
• Definir alertas sobre eventos de detecção de anomalias
• Configurar o Ativador para respostas automatizadas
• Saiba mais sobre a detecção de anomalias multivariadas
• Criar alertas de um conjunto de consultas KQL

Conteúdo relacionado

• Referência de consulta KQL
• Documentação do Painel em Tempo Real
• Visão geral do ativador