Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Vous pouvez utiliser la fonctionnalité eventstreams dans Microsoft Fabric Real-Time Intelligence pour apporter des événements en temps réel dans Fabric, les transformer, puis les router vers différentes destinations sans écrire de code. Vous créez un flux d’événements, ajoutez des sources de données d’événement au flux, ajoutez éventuellement des transformations pour transformer les données d’événement, puis routez les données vers des destinations prises en charge.
En outre, avec les points de terminaison Apache Kafka disponibles pour les flux d’événements, vous pouvez envoyer ou consommer des événements en temps réel à l’aide du protocole Kafka.
Intégrer des événements dans Fabric
Les flux d’événements vous fournissent des connecteurs sources pour extraire les données d’événement des différentes sources. D’autres sources sont disponibles lorsque vous activez des fonctionnalités améliorées au moment de la création d’un flux d’événements.
| Origine | Descriptif |
|---|---|
| Azure Data Explorer (préversion) | Si vous disposez d’une base de données Azure Data Explorer et d’une table, vous pouvez ingérer des données de la table dans Microsoft Fabric à l’aide d’eventstreams. |
| Azure Event Hubs | Si vous disposez d’un hub d’événements Azure, vous pouvez ingérer des données event Hub dans Fabric à l’aide d’eventstreams. |
| Azure Event Grid (préversion) | Si vous disposez d’un espace de noms Azure Event Grid, vous pouvez ingérer des données d’événements MQTT ou non-MQTT dans Fabric à l’aide de flux d’événements. |
| Azure Service Bus (préversion) | Vous pouvez ingérer des données à partir d’une file d’attente Azure Service Bus ou de l’abonnement d’une rubrique dans Fabric à l’aide d’eventstreams. |
| Azure IoT Hub | Si vous disposez d’un hub Azure IoT, vous pouvez ingérer des données IoT dans Fabric à l’aide d’eventstreams. |
| Point de terminaison personnalisé (autrement dit, application personnalisée en fonctionnalité standard) | La fonctionnalité de point de terminaison personnalisé permet à vos applications ou clients Kafka de se connecter à des flux d’événements à l’aide d’une chaîne de connexion. Cette connexion permet l’ingestion fluide des données de streaming dans des flux d’événements. |
| Opérations Azure IoT | Configurez les Opérations Azure IoT pour envoyer des données en temps réel directement vers Fabric Real-Time Intelligence à l’aide d’un point de terminaison personnalisé "eventstream". Cette fonctionnalité prend en charge l’authentification Microsoft Entra ID ou SASL. |
| Exemples de données | Vous pouvez choisir parmi vélos, taxi jaune, bourse, bus, actions des sociétés du S&P 500 ou journaux de modèles sémantiques comme exemples de sources de données pour tester l'ingestion des données lors de la configuration d'un flux d'événements. |
| Météo en temps réel (préversion) | Vous pouvez ajouter une source météo en temps réel à un flux d’événements pour diffuser en continu des données météorologiques en temps réel à partir de différents emplacements. |
| Capture des changements de données (CDC) de la base de données Azure SQL | Vous pouvez utiliser le connecteur source CDC Azure SQL Database pour capturer un instantané des données dans une base de données Azure SQL. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées à ces données. |
| CDC de PostgreSQL Database | Vous pouvez utiliser le connecteur source CDC de PostgreSQL pour capturer un instantané des données actuelles dans une base de données PostgreSQL. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées à ces données. |
| HTTP (préversion) | Vous pouvez utiliser le connecteur HTTP pour diffuser en continu des données à partir de plateformes externes dans un flux d’événements à l’aide de requêtes HTTP standard. Il offre également des flux de données publics prédéfinis avec des en-têtes et des paramètres renseignés automatiquement, ce qui vous permet de démarrer rapidement sans configuration complexe. |
| Capture de données modifiées MongoDB (préversion) | Le connecteur source CDC de MongoDB pour les flux d'événements Fabric collecte un instantané initial des données de MongoDB. Vous pouvez spécifier les regroupements à surveiller, et le flux d’événements suit et enregistre les modifications en temps réel apportées aux documents dans les bases de données et collections sélectionnées. |
| CDC de MySQL Database | Vous pouvez utiliser le connecteur source de la base de données MySQL avec la fonctionnalité CDC pour capturer un instantané des données actuelles dans une base de données Azure pour MySQL. Vous pouvez spécifier les tables à surveiller, et le Eventstreams enregistre toutes les futures modifications au niveau des lignes apportées aux tables. |
| CDC Azure Cosmos DB | Vous pouvez utiliser le connecteur source CDC Azure Cosmos DB pour les flux d’événements Fabric pour capturer un instantané des données actuelles dans une base de données Azure Cosmos DB. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées à ces données. |
| SQL Server sur base de données de machine virtuelle CDC | Vous pouvez utiliser le connecteur source CDC de SQL Server sur une machine virtuelle pour les flux d'événements Fabric afin de capturer un instantané des données actuelles d'une base de données SQL Server sur une machine virtuelle. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées aux données. |
| CDC de l'instance gérée Azure SQL Capture de Données Modifiées | Vous pouvez utiliser le connecteur source CDC Azure SQL Managed Instance pour les flux d’événements Fabric pour capturer un instantané des données actuelles dans une base de données SQL Managed Instance. Le connecteur surveille et enregistre ensuite les modifications futures au niveau des lignes apportées à ces données. |
| Événements des éléments de l’espace de travail Fabric | Les événements des éléments de l’espace de travail Fabric sont des événements Fabric individuels qui se produisent lorsque des modifications sont apportées à votre espace de travail Fabric. Ces modifications incluent la création, la mise à jour ou la suppression d’un élément Fabric. Avec les flux d’événements Fabric, vous pouvez capturer ces événements d’espace de travail Fabric, les transformer et les router vers différentes destinations dans Fabric pour une analyse plus approfondie. |
| Événements Fabric OneLake | Vous pouvez utiliser des événements OneLake pour vous abonner aux modifications apportées aux fichiers et dossiers dans OneLake, puis réagir à ces modifications en temps réel. Avec les flux d’événements Fabric, vous pouvez capturer ces événements OneLake, les transformer et les router vers différentes destinations dans Fabric pour une analyse plus approfondie. Cette intégration transparente des événements OneLake dans les flux d’événements Fabric vous offre une plus grande flexibilité pour la supervision et l’analyse des activités dans OneLake. |
| Événements de tâches Fabric | Vous pouvez utiliser des événements de travail pour vous abonner aux modifications produites lors de l’exécution d’un travail par Fabric. Par exemple, vous pouvez réagir aux modifications lors de l’actualisation d’un modèle sémantique, de l’exécution d’un pipeline planifié ou de l’exécution d’un notebook. Chacune de ces activités peut générer un travail correspondant, qui génère à son tour un ensemble d’événements de travail correspondants. Avec les flux d’événements Fabric, vous pouvez capturer ces événements de travail, les transformer et les router vers différentes destinations dans Fabric pour une analyse plus approfondie. Cette intégration transparente des événements de travail dans les flux d’événements Fabric vous offre une plus grande flexibilité pour la supervision et l’analyse des activités dans votre travail. |
| Événements d'aperçu de la capacité du Fabric (aperçu) | Les événements d'aperçu de la capacité de l'infrastructure fournissent des informations synthétiques de votre capacité. Vous pouvez utiliser ces événements pour créer des alertes liées à l'état de santé de votre capacité via Fabric Activator. Vous pouvez également stocker ces événements dans une maison d’événements pour une analyse granulaire ou historique. |
| Événements Stockage Blob Azure | Les événements de Stockage Blob Azure sont déclenchés quand un client crée, remplace ou supprime un objet blob. Vous pouvez utiliser le connecteur pour lier des événements de stockage blob aux événements Fabric dans un hub en temps réel. Vous pouvez convertir ces événements en flux de données continus et les transformer avant de les router vers différentes destinations dans Fabric. |
| Google Cloud Pub/Sub | Google Pub/Sub est un service de messagerie qui vous permet de publier et de vous abonner aux Eventstreams. Vous pouvez ajouter Google Pub/Sub en tant que source à votre Eventstreams pour capturer, transformer et acheminer des événements en temps réel vers différentes destinations dans Fabric. |
| Flux de données Amazon Kinesis | Amazon Kinesis Data Streams est un service d'ingestion et de traitement de données hautement durable et massivement évolutif, optimisé pour les flux de données. Grâce à l’intégration des Flux de données Amazon Kinesis en tant que source au sein de votre Eventstreams, vous pouvez traiter en toute transparence les flux de données en temps réel avant de les router vers plusieurs destinations au sein de Fabric. |
| Confluent Cloud pour Apache Kafka | Confluent Cloud pour Apache Kafka est une plateforme de diffusion en continu qui offre de puissantes fonctionnalités de streaming et de traitement des données à l’aide d’Apache Kafka. En intégrant Confluent Cloud pour Apache Kafka comme source dans votre flux d’événements, vous pouvez traiter en toute transparence les flux de données en temps réel avant de les router vers plusieurs destinations au sein de Fabric. |
| Apache Kafka (préversion) | Apache Kafka est une plateforme distribuée open source permettant de créer des systèmes de données évolutifs et en temps réel. En intégrant Apache Kafka en tant que source dans votre flux d’événements, vous pouvez apporter en toute transparence des événements en temps réel à partir d’Apache Kafka et les traiter avant de les router vers plusieurs destinations au sein de Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka est un service Kafka entièrement géré qui simplifie l’installation, la mise à l’échelle et la gestion. En intégrant Amazon MSK Kafka comme source dans votre flux d’événements, vous pouvez apporter en toute transparence les événements en temps réel à partir de MSK Kafka et les traiter avant de les router vers plusieurs destinations au sein de Fabric. |
| MQTT (préversion) | Vous pouvez utiliser des flux d’événements Fabric pour vous connecter à un répartiteur MQTT. Les messages d’un répartiteur MQTT peuvent être ingérés dans des flux d’événements Fabric et acheminés vers différentes destinations au sein de Fabric. |
| Cribl (préversion) | Vous pouvez connecter Cribl à un flux d’événements et acheminer des données vers différentes destinations au sein de Fabric. |
| Solace PubSub+ (préversion) | Vous pouvez utiliser des flux d’événements Fabric pour vous connecter à Solace PubSub+. Les messages de Solace PubSub+ peuvent être ingérés dans des flux d’événements Fabric et acheminés vers différentes destinations au sein de Fabric. |
Traiter des événements à l’aide d’une expérience sans code
Un diagramme de flux de données de bout en bout dans un flux d’événements peut vous donner une compréhension complète du flux de données et de l’organisation.
L’éditeur du processeur d’événements est une interface de glisser-déposer. Il s’agit d’un moyen intuitif de créer votre logique de traitement, de transformation et de routage des données d’événement sans écrire de code.
| Transformation | Descriptif |
|---|---|
| Filter | Utilisez cette transformation pour filtrer les événements en fonction de la valeur d’un champ dans l’entrée. Selon le type de données (nombre ou texte), la transformation conserve les valeurs qui correspondent à la condition sélectionnée, comme is null ou is not null. |
| Gérer les champs | Utilisez cette transformation pour ajouter, supprimer, modifier (type de données) ou renommer des champs provenant d’une entrée ou d’une autre transformation. |
| Agrégat | Utilisez cette transformation pour calculer une agrégation (somme, minimum, maximum ou moyenne) chaque fois qu’un nouvel événement se produit sur une période donnée. Cette opération permet également de renommer ces colonnes calculées, ainsi que de filtrer ou de découper l’agrégation en fonction d’autres dimensions de vos données. Il peut y avoir plusieurs agrégations dans la même transformation. |
| Regrouper par | Utilisez cette transformation pour calculer les agrégations sur tous les événements dans une certaine fenêtre de temps. Vous pouvez regrouper par les valeurs d’un ou plusieurs champs. C’est comme la transformation d’agrégation dans laquelle elle permet de renommer des colonnes, mais elle fournit plus d’options pour l’agrégation et inclut des options plus complexes pour les fenêtres de temps. Comme Aggregate, vous pouvez ajouter plusieurs agrégations par transformation. |
| Union | Utilisez cette transformation pour connecter deux nœuds ou plusieurs nœuds et ajouter des événements avec des champs partagés (avec le même nom et le même type de données) dans une table. Les champs qui ne correspondent pas sont supprimés et ne sont pas inclus dans la sortie. |
| Étendre | Utilisez cette transformation pour créer une ligne pour chaque valeur dans un tableau. |
| Unir | Utilisez cette transformation pour combiner des données à partir de deux flux en fonction d’une condition correspondante entre eux. |
Si vous avez activé des fonctionnalités améliorées lors de la création d’un flux d’événements, les opérations de transformation sont prises en charge pour toutes les destinations. Le flux dérivé agit comme un pont intermédiaire pour certaines destinations, comme un point de terminaison personnalisé ou un activateur Fabric). Si vous n’avez pas activé les fonctionnalités améliorées, les opérations de transformation sont disponibles uniquement pour les destinations lakehouse et eventhouse (traitement des événements avant l’ingestion).
Événements d'itinéraire vers des destinations
La fonctionnalité eventstreams Fabric prend en charge l’envoi de données aux destinations prises en charge suivantes.
| Destination | Descriptif |
|---|---|
| Point de terminaison personnalisé (application personnalisée en fonctionnalité standard) | Utilisez cette destination pour router vos événements en temps réel vers un point de terminaison personnalisé. Vous pouvez connecter vos propres applications au flux d'événements et consommer les données d'événements en temps réel. Cette destination est utile lorsque vous souhaitez envoyer des données en temps réel à un système en dehors de Microsoft Fabric. |
| Eventhouse | Cette destination vous permet d’ingérer vos données d’événements en temps réel dans un eventhouse, où vous pouvez utiliser le puissant langage de requête Kusto (KQL) pour interroger et analyser les données. Avec les données de la maison d’événements, vous pouvez obtenir des insights plus approfondis sur vos données d’événements et créer des rapports et des tableaux de bord enrichis. Vous pouvez choisir entre deux modes d’ingestion : l’ingestion directe et le traitement des événements avant l’ingestion. |
| Lakehouse | Cette destination vous permet de transformer vos événements en temps réel avant de les intégrer dans votre lakehouse. Les événements en temps réel sont convertis en format Delta Lake, puis stockés dans les tables lakehouse désignées. Cette destination prend en charge les scénarios d’entrepôt de données. |
| Flux dérivé | Vous pouvez créer ce type de destination spécialisé après avoir ajouté des opérations de flux, telles que Filtre ou Gérer des champs, à un flux d’événements. Le flux dérivé représente le flux par défaut transformé après le traitement du flux. Vous pouvez router le flux dérivé vers plusieurs destinations dans Fabric et afficher le flux dérivé dans le hub en temps réel. |
| Fabric Activator (préversion) | Vous pouvez utiliser cette destination pour connecter directement vos données d’événement en temps réel à Fabric Activateor. L’activateur est un type d’agent intelligent qui contient toutes les informations nécessaires pour se connecter aux données, surveiller les conditions et agir. Lorsque les données atteignent certains seuils ou correspondent à d’autres modèles, l’activateur effectue automatiquement des actions appropriées, telles que l’alerte des utilisateurs ou le démarrage des flux de travail Power Automate. |
Vous pouvez attacher plusieurs destinations dans un flux d’événements pour recevoir simultanément des données de vos flux d’événements sans que les flux d’événements interfèrent entre eux.
Remarque
Nous vous recommandons d’utiliser la fonctionnalité Fabric Eventstreams avec au moins quatre unités de capacité (SKU : F4).
Apache Kafka sur les flux d’événements Fabric
La fonctionnalité eventstreams Fabric offre un point de terminaison Apache Kafka, ce qui vous permet de vous connecter et de consommer des événements de streaming via le protocole Kafka. Si votre application utilise déjà le protocole Apache Kafka pour envoyer ou recevoir des événements de streaming avec des rubriques spécifiques, vous pouvez facilement la connecter à votre flux d’événements. Mettez simplement à jour vos paramètres de connexion pour utiliser le point de terminaison Kafka fourni dans votre flux d’événements.
La fonctionnalité eventstreams Fabric est associée à Azure Event Hubs, un service cloud natif entièrement managé. Lorsque vous créez un flux d’événements, un espace de noms Event Hub est automatiquement approvisionné. Un hub d’événements est alloué au flux par défaut sans nécessiter de configurations d’approvisionnement. Pour en savoir plus sur les fonctionnalités compatibles Kafka dans Azure Event Hubs, consultez Qu’est-ce qu’Azure Event Hubs pour Apache Kafka ?.
Pour en savoir plus sur l’obtention des détails du point de terminaison Kafka pour l’envoi d’événements à un flux d’événements, consultez Ajouter un point de terminaison personnalisé ou une source d’application personnalisée à un flux d’événements. Pour plus d’informations sur la consommation d’événements à partir d’un flux d’événements, consultez Ajouter un point de terminaison personnalisé ou une destination d’application personnalisée à un flux d’événements.
Limites
Les flux d’événements Fabric présentent les limitations générales suivantes. Avant de travailler avec des flux d’événements, passez en revue ces limitations pour vous assurer qu’elles s’alignent sur vos besoins.
| Limite | Valeur |
|---|---|
| Taille maximale des messages | 1 Mo |
| Durée maximale de la rétention des données des événements | 90 jours |
| Garanties de remise d’événement | Au moins une fois |