Qu’est-ce qu’Azure Synapse Data Explorer ? (Aperçu)

Le programme Microsoft Cloud Migration Factory (CMF) est conçu pour aider les clients à migrer vers Fabric. Le programme offre des ressources clavier pratiques sans coût pour le client. Ces ressources sont affectées pendant une période de 6 à 8 semaines, avec une étendue prédéfinie et acceptée. Les nominations des clients sont acceptées par l’équipe de compte Microsoft ou directement en envoyant une demande d’aide à l’équipe CMF.

Azure Synapse Data Explorer fournit aux clients une expérience de requête interactive pour déverrouiller des insights à partir de données de journal et de télémétrie. Pour compléter les moteurs d’exécution d’analytique SQL et Apache Spark existants, le runtime d’analytique Data Explorer est optimisé pour une analytique des journaux efficace à l’aide de puissantes technologies d’indexation pour indexer automatiquement des données de texte libre et semi-structurées couramment trouvées dans les données de télémétrie.

Pour en savoir plus, consultez la vidéo suivante :

Qu’est-ce qui rend Azure Synapse Data Explorer unique ?

• Ingestion simple : l’Explorateur de données offre des intégrations intégrées pour l’ingestion de données sans code/faible code, l’ingestion de données à haut débit et la mise en cache de données à partir de sources en temps réel. Les données peuvent être ingérées à partir de sources telles qu’Azure Event Hubs, Kafka, Azure Data Lake, des agents open source tels que Fluentd/Fluent Bit et un large éventail de sources de données cloud et locales.

• Aucune modélisation de données complexe - Avec l’Explorateur de données, il n’est pas nécessaire de créer des modèles de données complexes et d’avoir besoin de scripts complexes pour transformer les données avant leur consommation.

• Aucune maintenance d’index : il n’est pas nécessaire que les tâches de maintenance optimisent les données pour les performances des requêtes et n’ont pas besoin de maintenance d’index. Avec l’Explorateur de données, toutes les données brutes sont disponibles immédiatement, ce qui vous permet d’exécuter des requêtes hautes performances et de haute concurrence sur vos données de diffusion en continu et persistantes. Vous pouvez utiliser ces requêtes pour créer des tableaux de bord et des alertes quasiment en temps réel et connecter des données d’analytique opérationnelle avec le reste de la plateforme d’analytique des données.

• Démocratisation de l’analytique des données - Data Explorer démocratise l’analytique en libre-service, le Big Data avec le langage de requête Kusto intuitif (KQL) qui fournit l’expressivité et la puissance de SQL avec la simplicité d’Excel. KQL est hautement optimisé pour explorer les données de télémétrie brutes et de série chronologique en tirant parti de la technologie d’indexation de texte de classe optimale de Data Explorer pour une recherche de texte libre et d’expression régulière efficace, ainsi que des fonctionnalités d’analyse complètes pour interroger des traces\données de texte et des données semi-structurées JSON, notamment des tableaux et des structures imbriquées. KQL offre une prise en charge avancée des séries chronologiques pour la création, la manipulation et l’analyse de plusieurs séries chronologiques avec exécution Python dans le moteur pour le scoring de modèle.

• Technologie éprouvée à l’échelle des pétaoctets : Data Explorer est un système distribué avec des ressources de calcul et un stockage pouvant être mis à l’échelle indépendamment, ce qui permet l’analytique sur des gigaoctets ou des pétaoctets de données.

• Intégré - Azure Synapse Analytics fournit une interopérabilité entre les données entre l’Explorateur de données, Apache Spark et les moteurs SQL permettant aux ingénieurs de données, aux scientifiques des données et aux analystes de données d’accéder facilement et en toute sécurité, d’accéder aux mêmes données et de collaborer sur les mêmes données dans le lac de données.

Quand utiliser Azure Synapse Data Explorer ?

Utilisez l’Explorateur de données comme plateforme de données pour créer des solutions d’analytique des journaux en temps quasi réel et d'analytique IoT pour :

• Consolidez et mettez en corrélation vos données de journaux de logs et d’événements sur des sources de données sur site, cloud et tierces.

• Accélérez votre parcours d’opérations IA (reconnaissance de modèle, détection d’anomalies, prévision, etc.).

• Remplacez les solutions de recherche de logs supportées par l'infrastructure pour réduire les coûts et augmenter la productivité.

• Créez des solutions d’analytique IoT pour vos données IoT.

• Créez des solutions SaaS d’analytique pour offrir des services à vos clients internes et externes.

Architecture du pool Data Explorer

Les pools Data Explorer implémentent une architecture scale-out en séparant les ressources de calcul et de stockage. Cela vous permet de mettre à l’échelle indépendamment chaque ressource et, par exemple, d’exécuter plusieurs calculs en lecture seule sur les mêmes données. Les pools Data Explorer se composent d’un ensemble de ressources de calcul exécutant le moteur responsable de l’indexation automatique, de la compression, de la mise en cache et du service de requêtes distribuées. Ils ont également un deuxième ensemble de ressources de calcul exécutant le service de gestion des données responsable des travaux système en arrière-plan, ainsi que l’ingestion des données gérées et mises en file d’attente. Toutes les données sont conservées sur les comptes de stockage d’objets blob gérés en utilisant un format en colonnes compressé.

Les pools Data Explorer prennent en charge un écosystème riche pour l’ingestion de données à l’aide de connecteurs, de sdk, d’API REST et d’autres fonctionnalités managées. Il offre différentes façons d’utiliser des données pour les requêtes ad hoc, les rapports, les tableaux de bord, les alertes, les API REST et les KITS SDK.

Il existe de nombreuses fonctionnalités uniques qui rendent Data Explorer le meilleur moteur analytique pour l’analytique des journaux et des séries chronologiques sur Azure.

Les sections suivantes mettent en évidence les différents indicateurs clés.

L’indexation de données de texte libre et semi-structurée permet d’effectuer des requêtes hautes performances et simultanées quasiment en temps réel

L’Explorateur de données indexe des données semi-structurées (JSON) et des données non structurées (texte libre) qui rend les requêtes en cours d’exécution fonctionnent correctement sur ce type de données. Par défaut, chaque champ est indexé pendant l’ingestion des données avec l’option permettant d’utiliser une stratégie d’encodage de bas niveau pour affiner ou désactiver l’index pour des champs spécifiques. L’étendue de l’index est un fragment de données unique.

L’implémentation de l’index dépend du type du champ, comme suit :

Ces fonctionnalités d’indexation efficaces permettent à Data Explorer de rendre les données disponibles en quasi-temps réel pour les requêtes hautes performances et haute concurrence. Le système optimise automatiquement les partitions de données pour améliorer davantage les performances.

Langage de requête Kusto

KQL a une communauté de plus en plus importante avec l’adoption rapide d’Azure Monitor Log Analytics et d’Application Insights, Microsoft Sentinel, Azure Data Explorer et d’autres offres Microsoft. Le langage est bien conçu avec une syntaxe facile à lire et fournit une transition fluide d’un liner simple à des requêtes complexes de traitement des données. Cela permet à l’Explorateur de données de fournir une prise en charge IntelliSense enrichie et un ensemble complet de constructions de langage et de fonctionnalités intégrées pour les agrégations, les séries chronologiques et l’analytique utilisateur qui ne sont pas disponibles dans SQL pour l’exploration rapide des données de télémétrie.

Étapes suivantes

• Créer un pool Data Explorer à l’aide de Synapse Studio
• Créer un pool Data Explorer à l’aide du portail Azure (préversion)