Diffuser en continu des données de supervision Azure vers un hub d’événements et un partenaire externe

Une méthode efficace pour diffuser des données d’Azure Monitor vers des outils externes consiste à utiliser Azure Event Hubs. Cet article fournit une description de la façon de diffuser des données vers Event Hubs et répertorie certains des partenaires qui peuvent consommer ces données à partir du hub. Certains partenaires s’intègrent à Azure Monitor et disposent de services hébergés par Azure.

Créer un espace de noms Event Hubs

Avant de configurer la diffusion en continu pour une source de données, vous devez créer un espace de noms Event Hubs et un hub d’événements. Cet espace de noms et hub d’événements est la destination de toutes vos données de surveillance. Un espace de noms Event Hubs est un regroupement logique de hubs d’événements partageant la même politique d’accès, tout comme un compte de stockage contient des conteneurs individuels pour les blobs. Tenez compte des détails suivants sur l’espace de noms Event Hubs et les hubs d’événements que vous utilisez pour la diffusion en continu des données de surveillance :

• Le nombre d’unités de débit vous permet d’augmenter la capacité de traitement pour vos hubs d’événements. Une seule unité de débit est généralement nécessaire. Si vous avez besoin de plus pour répondre à l’augmentation de l’utilisation de votre journal, vous pouvez augmenter manuellement le nombre d’unités de débit pour l’espace de noms ou activer l’inflation automatique.
• Le nombre de partitions permet de paralléliser la consommation sur plusieurs consommateurs. Une partition unique peut prendre en charge jusqu’à 20 Mbits/s ou environ 20 000 messages par seconde. Selon l’outil qui consomme les données, il peut ou ne pas prendre en charge la consommation à partir de plusieurs partitions. Quatre partitions sont raisonnables pour commencer si vous n’êtes pas sûr du nombre de partitions à définir.
• Définissez la rétention des messages sur votre event Hub sur au moins sept jours. Si l’outil consommateur est en panne pendant plus d’un jour, cela garantit qu’il pourra reprendre là où il s’est arrêté pour les événements des 7 derniers jours.
• Utilisez le groupe de consommateurs par défaut pour votre hub d’événements. Il n’est pas nécessaire de créer d’autres groupes de consommateurs ou d’utiliser un groupe de consommateurs distinct, sauf si vous envisagez d’avoir deux outils différents utilisent les mêmes données à partir du même hub d’événements.
• Pour le journal d’activité Azure, lorsque vous sélectionnez un espace de noms Event Hubs, Azure Monitor crée un hub d’événements dans cet espace de noms appelé insights-logs-operational-logs. Pour d’autres types de journaux, vous pouvez choisir un hub d’événements existant ou laisser Azure Monitor créer un hub d’événements par catégorie de journal.
• Le port sortant 5671 et 5672 doit être ouvert sur la machine ou le réseau virtuel consommant des données à partir du hub d’événements.

Méthodes de diffusion en continu

Les données peuvent être envoyées à Event Hubs à l’aide des méthodes suivantes dans Azure Monitor :

• Règles de collecte de données

  Les règles de collecte de données permettent de transmettre en continu les journaux et les métriques vers Event Hubs, les espaces de travail Log Analytics et le service Stockage Azure. Pour plus d’informations sur la configuration des règles de collecte de données, consultez les règles de collecte de données dans Azure Monitor et Créer et modifier des règles de collecte de données.

• Paramètres de diagnostic

  Utilisez le paramétrage des diagnostics pour diffuser en continu journaux et métriques vers Event Hubs. Pour plus d’informations sur la configuration des paramètres de diagnostic, consultez Créer un paramètre de diagnostic.

• Diffuser manuellement à l’aide de Logic Apps

  Pour les données que vous ne pouvez pas diffuser directement vers un hub d’événements, vous pouvez écrire dans stockage Azure, puis utiliser une application logique déclenchée par le temps qui extrait les données du Stockage Blob Azure et les envoie en tant que message au hub d’événements. Pour plus d’informations, consultez Se connecter à un hub d’événements à partir de flux de travail dans Azure Logic Apps.

Formats de données

Le code JSON suivant est un exemple de données de métriques envoyées à un hub d’événements :

[
  {
    "records": [
      {
        "count": 2,
        "total": 0.217,
        "minimum": 0.042,
        "maximum": 0.175,
        "average": 0.1085,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 2,
        "total": 0.284,
        "minimum": 0.053,
        "maximum": 0.231,
        "average": 0.142,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:04:00.0000000Z",
        "metricName": "CpuTime",
        "timeGrain": "PT1M"
      },
      {
        "count": 1,
        "total": 1,
        "minimum": 1,
        "maximum": 1,
        "average": 1,
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
        "time": "2023-04-18T09:03:00.0000000Z",
        "metricName": "Requests",
        "timeGrain": "PT1M"
      },
    ...
    ]
  }
]

Le code JSON suivant est un exemple de données de journal envoyées à un hub d’événements :

[
  {
    "records": [
      {
        "time": "2023-04-18T09:39:56.5027358Z",
        "category": "AuditEvent",
        "operationName": "VaultGet",
        "resultType": "Success",
        "correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
        "callerIpAddress": "10.0.0.10",
        "identity": {
          "claim": {
            "http://schemas.microsoft.com/identity/claims/objectidentifier": "dddddddd-3333-4444-5555-eeeeeeeeeeee",
            "appid": "44445555-eeee-6666-ffff-7777aaaa8888"
          }
        },
        "properties": {
          "id": "https://mykeyvault.vault.azure.net/",
          "clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
          "requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
          "httpStatusCode": 200,
          "properties": {
            "sku": {
              "Family": "A",
              "Name": "Standard",
              "Capacity": null
            },
            "tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
            "networkAcls": null,
            "enabledForDeployment": 0,
            "enabledForDiskEncryption": 0,
            "enabledForTemplateDeployment": 0,
            "enableSoftDelete": 1,
            "softDeleteRetentionInDays": 90,
            "enableRbacAuthorization": 0,
            "enablePurgeProtection": null
          }
        },
        "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
        "operationVersion": "2023-02-01",
        "resultSignature": "OK",
        "durationMs": "16"
      }
    ],
    "EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
    "PartitionId": 1,
    "EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
  },
...

Outils partenaires avec intégration d’Azure Monitor

Le routage de vos données de supervision vers un hub d’événements avec Azure Monitor vous permet d’intégrer facilement des outils SIEM et de supervision externes. Le tableau suivant répertorie des exemples d’outils avec l’intégration d’Azure Monitor.

Étapes suivantes

• Sources de données Azure Monitor et méthodes de collecte de données
• Règles de collecte de données Azure Monitor
• Exportation des métriques à l’aide de règles de collecte de données
• Paramètres de diagnostic Azure Monitor
• Configurer une alerte en fonction d’un événement de journal d’activité