Compartir a través de


¿Qué es Azure Synapse Data Explorer? (Versión preliminar)

Importante

El Explorador de datos de Azure Synapse Analytics (versión preliminar) se retirará el 7 de octubre de 2025. Después de esta fecha, se eliminarán las cargas de trabajo que se ejecutan en el Explorador de datos de Synapse y se perderán los datos de la aplicación asociados. Se recomienda migrar a Eventhouse en Microsoft Fabric.

El programa Microsoft Cloud Migration Factory (CMF) está diseñado para ayudar a los clientes a migrar a Fabric. El programa ofrece recursos de teclado prácticos sin costo alguno al cliente. Estos recursos se asignan durante un período de 6 a 8 semanas, con un ámbito predefinido y acordado. Las nominaciones de clientes se aceptan por parte del equipo de la cuenta de Microsoft o directamente enviando una solicitud de ayuda al equipo de CMF.

Azure Synapse Data Explorer proporciona a los clientes una experiencia de consulta interactiva para desbloquear información de datos de registro y telemetría. Para complementar los motores en tiempo de ejecución de análisis de SQL y Apache Spark existentes, el entorno de ejecución de análisis de Data Explorer está optimizado para un análisis de registros eficaz mediante una tecnología de indexación eficaz para indexar automáticamente datos de texto libre y semiestructurados que se encuentran habitualmente en los datos de telemetría.

Diagrama que muestra la arquitectura de Azure Synapse.

Para más información, consulte el vídeo siguiente:

¿Qué hace que Azure Synapse Data Explorer sea único?

  • Fácil ingesta: Data Explorer ofrece integraciones integradas para la ingesta de datos sin necesidad de programar o con bajo código, así como para ingestas de alto rendimiento y almacenamiento en caché de datos de orígenes en tiempo real. Los datos se pueden ingerir desde orígenes como Azure Event Hubs, Kafka, Azure Data Lake, agentes de código abierto, como Fluentd/Fluent Bit, y una amplia variedad de orígenes de datos locales y en la nube.

  • Sin modelado de datos complejos : con el Explorador de datos, no es necesario crear modelos de datos complejos y no es necesario que el scripting complejo transforme los datos antes de consumirlos.

  • Sin mantenimiento de índices : no es necesario que las tareas de mantenimiento optimicen los datos para el rendimiento de las consultas y no necesiten mantenimiento de índices. Con el Explorador de datos, todos los datos sin procesar están disponibles inmediatamente, lo que le permite ejecutar consultas de alto rendimiento y alta simultaneidad en los datos de streaming y persistentes. Puede usar estas consultas para crear paneles y alertas casi en tiempo real y conectar datos de análisis operativos con el resto de la plataforma de análisis de datos.

  • Democratización del análisis de datos : El Explorador de datos democratiza el autoservicio y el análisis de macrodatos con el intuitivo lenguaje de consulta kusto (KQL) que proporciona la expresividad y el poder de SQL con la simplicidad de Excel. KQL está altamente optimizado para explorar datos sin procesar de telemetría y series temporales, aprovechando la tecnología de indexación de texto de primera clase de Data Explorer para una búsqueda eficaz de texto libre y expresiones regulares, y funcionalidades completas de análisis para consultar datos de trazas\text y datos semiestructurados JSON, incluidas matrices y estructuras anidadas. KQL ofrece compatibilidad avanzada con series temporales para crear, manipular y analizar varias series temporales con compatibilidad con la ejecución de Python en el motor para la puntuación del modelo.

  • Tecnología probada a escala de petabyte : Data Explorer es un sistema distribuido con recursos de proceso y almacenamiento que se puede escalar de forma independiente, lo que permite el análisis en gigabytes o petabytes de datos.

  • Integrado : Azure Synapse Analytics proporciona interoperabilidad entre los motores de Data Explorer, Apache Spark y SQL que permiten a los ingenieros de datos, científicos de datos y analistas de datos acceder y colaborar de forma sencilla y segura en los mismos datos del lago de datos.

¿Cuándo usar Azure Synapse Data Explorer?

Utiliza Data Explorer como plataforma de datos para desarrollar soluciones de análisis de registros en casi tiempo real y analítica de IoT para:

  • Consolide y ponga en correlación los registros y los datos de eventos en orígenes de datos locales, en la nube y de terceros.

  • Acelere el recorrido de las operaciones de IA (reconocimiento de patrones, detección de anomalías, previsión y mucho más).

  • Reemplace las soluciones de búsqueda de registros basadas en infraestructura para ahorrar costos y aumentar la productividad.

  • Cree soluciones de análisis de IoT para los datos de IoT.

  • Cree soluciones SaaS de análisis para ofrecer servicios a sus clientes internos y externos.

Arquitectura del pool de Data Explorer

Los grupos de Data Explorer implementan una arquitectura de escalabilidad horizontal separando los recursos de cómputo y almacenamiento. Esto le permite escalar de forma independiente cada recurso y, por ejemplo, ejecutar varios procesos de solo lectura en los mismos datos. Los grupos del Explorador de datos constan de un conjunto de recursos de proceso que ejecutan el motor responsable de la indexación automática, la compresión, el almacenamiento en caché y el servicio de consultas distribuidas. También tienen un segundo conjunto de recursos de computación que ejecutan el servicio de gestión de datos responsable de los trabajos del sistema en segundo plano, así como de la ingestión de datos gestionados y en cola. Todos los datos se conservan en cuentas de almacenamiento de blobs gestionado mediante un formato columnar comprimido.

Los grupos de Data Explorer admiten un ecosistema enriquecido para ingerir datos mediante conectores, SDK, API REST y otras funcionalidades administradas. Ofrece varias maneras de consumir datos para consultas ad hoc, informes, paneles, alertas, API REST y SDK.

Arquitectura de grupos de Data Explorer

Hay muchas funcionalidades únicas que hacen que Data Explore el mejor motor analítico para el análisis de registros y series temporales en Azure.

En las secciones siguientes se resaltan los diferenciadores clave.

La indexación de datos semiestructurados y de texto libre permite consultas simultáneas y de alto rendimiento casi en tiempo real

Data Explorer indexa datos semiestructurados (JSON) y datos no estructurados (texto libre), lo que hace que las consultas en ejecución funcionen bien en este tipo de datos. De forma predeterminada, cada campo se indexa durante la ingesta de datos con la opción de usar una directiva de codificación de bajo nivel para ajustar o deshabilitar el índice para campos específicos. El ámbito del índice es una sola partición de datos.

La implementación del índice depende del tipo del campo, como se indica a continuación:

Tipo de campo Implementación de indexación
String El motor crea un índice de término invertido para los valores de las columnas de texto. Cada valor de cadena se analiza y se divide en términos normalizados y se registra una lista ordenada de posiciones lógicas, que contiene ordinales de registro, para cada término. La lista ordenada resultante de términos y sus posiciones asociadas se almacena como un árbol B inmutable.
Numérico
DateTime
TimeSpan
El motor crea un índice de reenvío basado en intervalos simple. El índice registra los valores min/max de cada bloque, para un grupo de bloques y para toda la columna dentro de la partición de datos.
Dinámica El proceso de ingesta enumera todos los elementos "atomic" dentro del valor dinámico, como nombres de propiedad, valores y elementos de matriz, y los reenvía al generador de índices. Los campos dinámicos tienen el mismo índice de término invertido que los campos de cadena.

Estas eficaces funcionalidades de indexación permiten a Data Explore hacer que los datos estén disponibles casi en tiempo real para consultas de alto rendimiento y alta simultaneidad. El sistema optimiza automáticamente las particiones de datos para aumentar aún más el rendimiento.

Lenguaje de consulta Kusto

KQL tiene una comunidad grande y creciente con la rápida adopción de Azure Monitor Log Analytics y Application Insights, Microsoft Sentinel, Azure Data Explorer y otras ofertas de Microsoft. El lenguaje está bien diseñado con una sintaxis fácil de leer y proporciona una transición sin problemas desde consultas sencillas de un solo liner a consultas complejas de procesamiento de datos. Esto permite al Explorador de datos proporcionar compatibilidad enriquecida con IntelliSense y un amplio conjunto de construcciones de lenguaje y funcionalidades integradas para agregaciones, series temporales y análisis de usuarios que no están disponibles en SQL para la exploración rápida de los datos de telemetría.

Pasos siguientes