Tutorial: Ingerir e consultar dados de monitoramento no Azure Data Explorer

Exemplo de métricas de diagnóstico

As métricas de diagnóstico são agregadas com um intervalo de tempo de 1 minuto. Segue-se um exemplo de um esquema de eventos métricos do Azure Data Explorer na duração da consulta:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Exemplo de logs de diagnóstico

Segue-se um exemplo de um registo de ingestão de diagnóstico do Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "aaaa0000-bb11-2222-33cc-444444dddddd",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "aaaa0000-bb11-2222-33cc-444444dddddd",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Exemplo de logs de atividades

Os logs de atividade do Azure são logs no nível de assinatura que fornecem informações sobre as operações executadas em recursos em sua assinatura. Segue-se um exemplo de um evento de registo de atividades para verificar o acesso:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Criar tabelas para as métricas de diagnóstico

1. No banco de dados TestDatabase , crie uma tabela chamada DiagnosticMetrics para armazenar os registros de métricas de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Selecione Executar para criar a tabela.

   

3. Crie a tabela de dados intermediária chamada DiagnosticRawRecords no banco de dados TestDatabase para manipulação de dados usando a consulta a seguir. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os logs de diagnóstico

1. No banco de dados TestDatabase , crie uma tabela chamada DiagnosticLogs para armazenar os registros de log de diagnóstico. Use o seguinte .create table comando de gerenciamento:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Selecione Executar para criar a tabela.

3. Crie a tabela de dados intermediária chamada DiagnosticRawRecords no banco de dados TestDatabase para manipulação de dados usando a consulta a seguir. Selecione Executar para criar a tabela.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Criar tabelas para os logs de atividades

1. Crie uma tabela chamada ActivityLogs no banco de dados TestDatabase para receber registros de log de atividades. Para criar a tabela, execute a seguinte consulta do Azure Data Explorer:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Crie a tabela de dados intermediária chamada ActivityLogsRawRecords no banco de dados TestDatabase para manipulação de dados:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Definir a política de retenção zero para a tabela intermediária:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Associa métricas de diagnóstico e logs à tabela

Para mapear a métrica de diagnóstico e os dados de log para a tabela, use a seguinte consulta:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Associar logs de atividades à tabela

Para mapear os dados do log de atividades para a tabela, use a seguinte consulta:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Criar política de atualização de dados para métricas de diagnóstico

1. Crie uma função que expanda a coleção de registros de métricas de diagnóstico para que cada valor na coleção receba uma linha separada. Use o mv-expand operador:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executará automaticamente a consulta em quaisquer dados recém-ingeridos na tabela de dados intermediários DiagnosticRawRecords e ingerirá seus resultados na tabela DiagnosticMetrics :

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados para logs de diagnóstico

1. Crie uma função que expanda a coleção de registros de logs de diagnóstico para que cada valor na coleção receba uma linha separada. Você habilitará os logs de ingestão em um cluster do Azure Data Explorer e usará o esquema de logs de ingestão. Você criará uma tabela para ingestão bem-sucedida e falhada, enquanto alguns dos campos estarão vazios para ingestão bem-sucedida (ErrorCode, por exemplo). Use o mv-expand operador:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executará automaticamente a consulta em quaisquer dados recém-ingeridos na tabela de dados intermediários DiagnosticRawRecords e ingerirá seus resultados na tabela DiagnosticLogs :

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Criar política de atualização de dados para logs de atividades

1. Crie uma função que expanda a coleção de registros de log de atividades para que cada valor na coleção receba uma linha separada. Use o mv-expand operador:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Adicione a política de atualização à tabela de destino. Esta política executará automaticamente a consulta em quaisquer dados recém-ingeridos na tabela de dados intermediária ActivityLogsRawRecords e ingerirá seus resultados na tabela ActivityLogs :

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Conecte métricas e logs de diagnóstico ao seu hub de eventos

Selecione um recurso do qual exportar métricas. Vários tipos de recursos dão suporte à exportação de dados de diagnóstico, incluindo namespace de hubs de eventos, Azure Key Vault, Hub IoT do Azure e clusters do Azure Data Explorer. Neste tutorial, usaremos um cluster do Azure Data Explorer como nosso recurso, analisaremos as métricas de desempenho da consulta e os logs de resultados de ingestão.

1. Selecione seu cluster Kusto no portal do Azure.

2. Selecione Configurações de diagnóstico e, em seguida, selecione o link Ativar diagnóstico .

   

3. O painel Configurações de diagnóstico é aberto. Siga os seguintes passos:

   1. Dê aos seus dados de log de diagnóstico o nome ADXExportedData.

   2. Em LOG, selecione as caixas de seleção SucceededIngestion e FailedIngestion.

   3. Em METRIC, selecione a caixa de seleção Desempenho da consulta.

   4. Marque a caixa de seleção Transmitir para um hub de eventos .

   5. Selecione Configurar.

      

4. No painel Selecionar hub de eventos , configure como exportar dados de logs de diagnóstico para o hub de eventos criado:

   1. Na lista Selecionar namespace do hub de eventos , selecione AzureMonitoringData.
   2. Na lista Selecionar nome do hub de eventos , selecione DiagnosticData.
   3. Na lista Selecionar nome da política do hub de eventos , selecione RootManagerSharedAccessKey.
   4. Selecione OK.

5. Selecione Guardar.

Conecte os registros de atividades ao seu hub de eventos

1. No menu esquerdo do portal do Azure, selecione Log de atividades.

2. A janela Registro de atividades é aberta. Selecione Configurações de diagnóstico.

   

3. A janela Configurações de diagnóstico é aberta. Selecione + Adicionar configuração de diagnóstico.

   

4. Uma nova janela de configuração de diagnóstico é aberta.

   

   Efetue os seguintes passos:

   1. Insira um nome no campo Nome da configuração de diagnóstico .
   2. No lado esquerdo das caixas de seleção, selecione o(s) log(s) da plataforma que você deseja coletar de uma assinatura.
   3. Marque a caixa de seleção Transmitir para um hub de eventos .
   4. Selecione a sua subscrição.
   5. Na lista Namespace do hub de eventos , selecione AzureMonitoringData.
   6. Opcionalmente, selecione o nome do hub de eventos.
   7. Na lista Nome da política do hub de eventos , selecione o nome da política do hub de eventos padrão.
   8. No canto superior esquerdo da janela, selecione Guardar. Será criado um hub de eventos com o nome insights-operational-logs (a menos que você tenha selecionado um nome de hub de eventos acima).

1. Use as seguintes configurações na janela Conexão de dados :

   Fonte de dados:

   Setting	Valor sugerido	Descrição do campo
   Nome da conexão de dados	DiagnosticsLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Namespace do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente para identificar o seu espaço de nomes.
   Hub de eventos	Dados de diagnóstico	O hub de eventos que criou.
   Grupo de consumidores	AdxPipeline	O grupo de consumidores definido no hub de eventos que criou.

   Tabela de destino

   Existem duas opções de roteamento: estático e dinâmico. Para este tutorial, você usará o roteamento estático (o padrão), onde especifique o nome da tabela, o formato de dados e o mapeamento. Deixe Meus dados incluem informações de encaminhamento desmarcado.

   Setting	Valor sugerido	Descrição do campo
   Tabela	DiagnosticRawRecords	A tabela que você criou no banco de dados TestDatabase .
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de colunas	DiagnosticRawRecordsMapping	O mapeamento que criou na base de dados TestDatabase, que associa os dados JSON recebidos aos nomes de coluna e tipos de dados da tabela DiagnosticRawRecords.

2. Selecione Criar.

1. Use as seguintes configurações na janela Conexão de dados :

   Fonte de dados:

   Setting	Valor sugerido	Descrição do campo
   Nome da conexão de dados	ActivityLogsConnection	O nome da ligação que quer criar no Azure Data Explorer.
   Namespace do hub de eventos	AzureMonitoringData	O nome que escolheu anteriormente para identificar o seu espaço de nomes.
   Hub de eventos	insights-operacionais-logs	O hub de eventos que criou.
   Grupo de consumidores	$Default	O grupo de consumidores padrão. Se necessário, você pode criar um grupo de consumidores diferente.

   Tabela de destino:

   Existem duas opções de roteamento: estático e dinâmico. Para este tutorial, você usará o roteamento estático (o padrão), onde especifica o nome da tabela, o formato de dados e o mapeamento. Deixe Meus dados incluem informações de encaminhamento desmarcado.

   Setting	Valor sugerido	Descrição do campo
   Tabela	ActivityLogsRawRecords	A tabela que você criou no banco de dados TestDatabase .
   Formato dos dados	JSON	O formato usado na tabela.
   Mapeamento de colunas	MapeamentoDeRegistosBrutosDeLogsDeAtividade	O mapeamento que criou na base de dados TestDatabase, que associa os dados JSON recebidos aos nomes de coluna e tipos de dados da tabela ActivityLogsRawRecords.

2. Selecione Criar.

Consultar a tabela de métricas de diagnóstico

A consulta a seguir analisa os dados de duração da consulta de registros de métricas de diagnóstico no Azure Data Explorer:

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Resultados da consulta:

Consultar a tabela de registos de diagnóstico

Esse pipeline produz ingestões por meio de um hub de eventos. Irá rever os resultados destas ingestões. A consulta a seguir analisa quantas ingestões se acumularam em um minuto, incluindo uma amostra de Database, Table e IngestionSourcePath para cada intervalo:

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Resultados da consulta:

Consultar a tabela de registos de atividade

A consulta a seguir analisa dados de registros de log de atividades no Azure Data Explorer:

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Resultados da consulta: