Partilhar via

Armazenamento e análise de consultas históricas no Azure Synapse Analytics

A análise de consultas históricas é uma das necessidades cruciais dos engenheiros de dados. O Azure Synapse Analytics dá suporte a quatro maneiras principais de analisar o histórico e o desempenho de consultas. Estes incluem o Repositório de Consultas, DMVs, Azure Log Analytics e Azure Data Explorer.

Este artigo irá mostrar-lhe como utilizar cada uma destas opções para as suas necessidades. Analise os casos de uso quando se trata de analisar o histórico de consultas e o melhor método para cada um.

Necessidade do cliente Query Store (Store de Consultas) DMVs Azure Log Analytics Azure Data Explorer
Solução pronta a usar Necessita de habilitação ✔️ Serviço adicional necessário Serviço adicional necessário
Períodos de análise mais longos 30 dias Até 10000 linhas de história Personalizável Personalizável
Disponibilidade de métricas cruciais Limitada ✔️ Limitada Personalizável
Usar SQL para análise ✔️ ✔️ KQL necessário O suporte a SQL é limitado

Query Store

O recurso Repositório de Consultas fornece informações sobre a escolha e o desempenho do plano de consulta. Simplifica a resolução de problemas de desempenho ao ajudar a encontrar rapidamente diferenças de desempenho provocadas por alterações no plano de consulta.

O Repositório de Consultas não está habilitado por padrão para novos bancos de dados do Azure Synapse Analytics. Para habilitar o Repositório de Consultas para executar o seguinte comando T-SQL:

ALTER DATABASE <database_name>
SET QUERY_STORE = ON;

Por exemplo:

ALTER DATABASE [SQLPOOL1]
SET QUERY_STORE = ON;

Você pode executar auditorias de desempenho e tarefas relacionadas à solução de problemas procurando as últimas consultas executadas, número de execuções, consultas de duração mais longa, consultas com o máximo uso de E/S física. Consulte Monitorando o desempenho usando o repositório de consultas para obter consultas de exemplo.

Vantagens:

  • Até 30 dias de armazenamento para dados de consulta. Padrão predefinido: 7 dias.
  • Os dados podem ser consumidos na mesma ferramenta em que você executaria a consulta.

Limitação Conhecida:

  • O armazenamento padrão de dados de consulta históricos é menor.
  • Os cenários para análise são limitados no Repositório de Consultas para Azure Synapse em comparação com o uso de DMVs.

DMVs

As Visualizações de Gerenciamento Dinâmico (DMVs) são extremamente úteis quando se trata de coletar informações sobre tempos de espera de consulta, planos de execução, memória, etc. É altamente recomendável rotular sua consulta de interesse para rastreá-la mais tarde. Por exemplo:

-- Query with Label
SELECT *
FROM sys.tables
OPTION (LABEL = 'My Query');

Para obter mais informações sobre como rotular suas consultas no Azure Synapse SQL, consulte Usar rótulos de consulta no Synapse SQL.

Para obter mais informações sobre como usar DMVs para monitorar sua carga de trabalho do Azure Synapse Analytics, consulte Monitorar sua carga de trabalho dedicada do pool SQL usando DMVs. Para obter documentação sobre exibições de catálogo específicas do Azure Synapse Analytics, consulte Exibições do catálogo do Azure Synapse Analytics.

Vantagens:

  • Os dados podem ser consumidos na mesma ferramenta de consulta.
  • Os DMVs oferecem amplas opções de análise.

Limitações Conhecidas:

  • As DMVs são limitadas a 10.000 linhas de registos históricos.
  • As visualizações são reiniciadas quando o pool é interrompido/retomado.

Análise de Registos

Os espaços de trabalho do Log Analytics podem ser criados facilmente no portal do Azure. Para obter mais instruções sobre como conectar o Synapse ao Log Analytics, consulte Monitorar a carga de trabalho - portal do Azure.

Como o Azure Data Explorer, o Log Analytics usa a Kusto Query Language (KQL). Para obter mais informações sobre a sintaxe Kusto, consulte Visão geral da consulta Kusto.

Juntamente com o período de retenção configurável, você escolhe o espaço de trabalho especificamente direcionado para consulta no Log Analytics. O Log Analytics oferece a flexibilidade de armazenar dados, executar e salvar consultas.

Vantagens:

  • O Azure Log Analytics tem uma política de retenção de logs personalizável

Limitações Conhecidas:

  • A utilização do KQL contribui para a curva de aprendizagem.
  • Visualizações limitadas podem ser registadas imediatamente.

Azure Data Explorer (ADX)

O Azure Data Explorer (ADX) é um serviço líder de exploração de dados. Este serviço pode ser usado para analisar consultas históricas do Azure Synapse Analytics. Para configurar um pipeline do Azure Data Factory (ADF) para copiar e armazenar logs no ADX, consulte Copiar dados de ou para o Azure Data Explorer. No ADX, pode executar consultas Kusto eficientes para analisar os seus logs. Você pode combinar outras estratégias aqui, por exemplo, para consultar e carregar a saída do Detran para o ADX via ADF.

Vantagens:

  • O ADX fornece uma política de retenção de logs personalizável.
  • Execução eficiente de consultas em grandes volumes de dados, especialmente consultas que envolvem pesquisa de texto.

Limitação Conhecida:

  • A utilização do KQL contribui para a curva de aprendizagem.

Próximos passos

  • Last updated on