Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Há muitos conectores de dados, ferramentas e integrações que funcionam perfeitamente com a plataforma para ingestão, orquestração, saída e consulta de dados. Este documento é uma visão geral de alto nível sobre os conectores, as ferramentas e as integrações disponíveis. Informações detalhadas são fornecidas para cada conector, juntamente com links para a documentação completa.
Para ver as páginas de visão geral sobre um tipo específico de integração, selecione um dos botões a seguir.
Tabelas de comparação
As tabelas a seguir resumem as funcionalidades de cada item. Selecione a guia correspondente a conectores ou ferramentas e integrações. Cada nome de item está vinculado à respectiva descrição detalhada.
A tabela a seguir resume os conectores disponíveis e seus recursos:
| Nome | Ingerir | Exportação | Orquestrar | Consulta |
|---|---|---|---|---|
| Apache Kafka | ✔️ | |||
| Apache Flink | ✔️ | |||
| Apache Log4J 2 | ✔️ | |||
| Apache Spark | ✔️ | ✔️ | ✔️ | |
| Apache Spark para Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
| Azure Cosmos DB | ✔️ | |||
| Azure Data Factory | ✔️ | ✔️ | ||
| Grade de Eventos do Azure | ✔️ | |||
| Hubs de eventos do Azure | ✔️ | |||
| Azure Functions | ✔️ | ✔️ | ||
| Hubs IoT do Azure | ✔️ | |||
| Azure Stream Analytics | ✔️ | |||
| Fluxo do Cribl | ✔️ | |||
| Fluent Bit | ✔️ | |||
| JDBC | ✔️ | |||
| Aplicativos Lógicos | ✔️ | ✔️ | ✔️ | |
| Logstash | ✔️ | |||
| Matlab | ✔️ | |||
| NLog | ✔️ | |||
| ODBC | ✔️ | |||
| Open Telemetry | ✔️ | |||
| Power Apps | ✔️ | ✔️ | ||
| Power Automate | ✔️ | ✔️ | ✔️ | |
| Serilog | ✔️ | |||
| Splunk | ✔️ | |||
| Splunk Universal Forwarder | ✔️ | |||
| Telegraf | ✔️ |
Descrições detalhadas
Veja a seguir descrições detalhadas de conectores, ferramentas e integrações. Selecione a guia correspondente a conectores ou ferramentas e integrações. Todos os itens disponíveis são resumidos nas Tabelas de comparação acima.
Apache Kafka
Apache Kafka é uma plataforma de streaming distribuída para a criação de pipelines de dados de fluxo em tempo real, os quais movem os dados entre sistemas ou aplicativos de modo confiável. O Kafka Connect é uma ferramenta para streaming de dados escalonável e confiável entre o Apache Kafka e outros sistemas. O Coletor Kafka serve como o conector do Kafka e não requer o uso de código. Este é certificado com ouro pela Confluent - passou por revisão e testes abrangentes de qualidade, completude de recursos, conformidade com padrões e desempenho.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: logs, telemetria, séries temporais
- SDK subjacente:Java
- Repositório: Microsoft Azure - https://github.com/Azure/kafka-sink-azure-kusto/
- Documentação: ingerir dados do Apache Kafka
- Blog da comunidade:ingestão do Kafka no Azure Data Explorer
Apache Flink
Apache Flink é uma estrutura e um mecanismo de processamento distribuído para computações com estado em fluxos de dados não associados e limitados. O conector implementa o coletor de dados para mover dados entre o Azure Data Explorer e os clusters do Flink. Usando o Azure Data Explorer e o Apache Flink, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários baseados em dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: streaming
- Casos de uso: telemetria
- SDK subjacente:Java
- Repositório: Microsoft Azure - https://github.com/Azure/flink-connector-kusto/
- Documentação: ingerir dados do Apache Flink
Apache Log4J 2
Log4J é uma estrutura de registro em log popular para aplicativos Java mantido pela Apache Foundation. O Log4j permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome, no nível do registrador e no padrão de mensagem do registrador. O coletor Apache Log4J 2 permite que você transmita seus dados de log para ao banco de dados, onde pode analisar e visualizar seus logs em tempo real.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: logs
- SDK subjacente:Java
- Repositório: Microsoft Azure - https://github.com/Azure/azure-kusto-log4j
- Documentação: ingerir dados com o conector do Apache Log4J 2
- Blog da comunidade:Introdução ao Apache Log4J e ao Azure Data Explorer
Apache Spark
Apache Spark é um mecanismo de análise unificado para processamento de dados em grande escala. O Conector do Spark é um projeto de código aberto que pode ser executado em qualquer cluster do Spark. Ele implementa a fonte de dados e o coletor de dados para mover dados de ou para os clusters do Spark. Usando o conector Apache Spark, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários baseados em dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics. Com o conector, seu banco de dados se torna um armazenamento de dados válido para operações padrão de origem e destino do Spark, como leitura, gravação e writeStream.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: telemetria
- SDK subjacente:Java
- Repositório: Microsoft Azure - https://github.com/Azure/azure-kusto-spark/
- Documentação:conector Apache Spark
- Blog da comunidade:pré-processamento de dados para o Azure Data Explorer para o Azure Data Explorer com Apache Spark
Apache Spark para Azure Synapse Analytics
Apache Spark é uma estrutura de processamento paralelo que dá suporte ao processamento na memória para melhorar o desempenho de aplicativos de análise de Big Data. Apache Spark no Azure Synapse Analytics é uma das implementações do Apache Spark na nuvem da Microsoft. Você pode acessar um banco de dados do Synapse Studio com o Apache Spark para o Azure Synapse Analytics.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Casos de uso: telemetria
- SDK subjacente:Java
- Documentação:conectar-se a um Azure Synapse workspace
Azure Cosmos DB
A conexão de dados do feed de alterações do Azure Cosmos DB é um pipeline de ingestão que escuta o feed de alterações do Cosmos DB e ingere os dados no seu banco de dados.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: feed de alterações
- Documentação:Ingerir dados do Azure Cosmos DB (versão prévia)
Azure Data Factory
ADF (Azure Data Factory) é um serviço de integração de dados baseado em nuvem que permite integrar diferentes armazenamentos de dados e realizar atividades sobre os dados.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Casos de uso: orquestração de dados
- Documentação:copiar dados para seu banco de dados usando o Azure Data Factory
Grade de Eventos do Azure
A ingestão da Grade de Eventos é um pipeline que escuta o Armazenamento do Azure e atualiza seu banco de dados para efetuar pull de informações quando ocorrem eventos assinados. Você pode configurar a ingestão contínua do Armazenamento do Azure (Armazenamento de Blobs e ADLSv2) com uma assinatura da Grade de Eventos do Azure para notificações de criação ou renomeação de blob e a transmissão dessas notificações por meio dos Hubs de Eventos do Azure.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: processamento de eventos
- Documentação:conexão de dados da Grade de Eventos
Hubs de Eventos do Azure
Hubs de Eventos do Azure são uma plataforma de streaming de Big Data e um serviço de ingestão de eventos. Você pode configurar a ingestão contínua a partir de Hubs de Eventos gerenciados pelo cliente.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Documentação:conexão de dados dos Hubs de Eventos do Azure
Azure Functions
Azure Functions permite que você execute código sem servidor na nuvem segundo uma agenda ou em resposta a um evento. Com associações de entrada e saída para o Azure Functions, você pode integrar seu banco de dados em seus fluxos de trabalho para ingerir dados e executar consultas no seu banco de dados.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Casos de uso: integrações de fluxos de trabalho
- Documentação:integrar o Azure Functions usando associações de entrada e saída (preview)
- Blog da comunidade:associações do Azure Data Explorer (Kusto) para o Azure Functions
Hubs IoT do Azure
Hub IoT do Azure é um serviço gerenciado e hospedado na nuvem que atua como hub central de mensagens para comunicação bidirecional entre o aplicativo de IoT e os dispositivos gerenciados. Você pode configurar a ingestão contínua de Hubs IoT gerenciados pelo cliente usando o respectivo ponto de extremidade interno compatível com os Hubs de Eventos das mensagens de dispositivo para nuvem.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: dados de IoT
- Documentação:conexão de dados do Hub IoT
Azure Stream Analytics
Azure Stream Analytics é um mecanismo de processamento de eventos complexos e análise em tempo real desenvolvido para processar simultaneamente altos volumes de dados de streaming rápido de várias fontes.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: processamento de eventos
- Documentação: ingerir dados do Azure Stream Analytics
Fluxo do Cribl
Cribl Stream é um mecanismo de processamento que coleta, processa e transmite dados de eventos do computador de qualquer fonte de forma segura. Permite analisar e processar esses dados para qualquer destino para análise.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: processamento de dados de computador, incluindo logs, métricas, dados de instrumentação
- Documentação: ingerir dados do Cribl Stream no Azure Data Explorer
Fluent Bit
Fluent Bit é um agente de código aberto que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de eventos antes de enviá-los ao armazenamento.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote
- Casos de uso: logs, métricas, rastreamentos
- Repositório:plug-in de saída do Fluent-bit Kusto
- Documentação:ingerir dados com o Fluent Bit no Azure Data Explorer
- Blog da Comunidade:introdução ao Fluent Bit e ao Azure Data Explorer
JDBC
A Conectividade de Banco de Dados Java (JDBC) é uma API Java usada para se conectar a bancos de dados e executar consultas. Você pode usar a JDBC para se conectar ao Azure Data Explorer.
- Funcionalidade: consulta, visualização
- SDK subjacente:Java
- Documentação:conectar-se ao Azure Data Explorer com o JDBC
Aplicativos Lógicos
O conector dos Aplicativos Lógicos da Microsoft permite que você execute consultas e comandos automaticamente como parte de uma tarefa agendada ou disparada.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Casos de uso: orquestração de dados
- Documentação: aplicativos Lógicos da Microsoft e Azure Data Explorer
Logstash
plug-in do Logstash permite processar eventos do Logstash em um banco de dados do Azure Data Explorer para análise posterior.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote
- Casos de uso: logs
- SDK subjacente:Java
- Repositório: Microsoft Azure - https://github.com/Azure/logstash-output-kusto/
- Documentação: ingerir dados do Logstash
- Blog da comunidade:como migrar do Elasticsearch para o Azure Data Explorer
Matlab
O MATLAB é uma plataforma de computação numérica e de programação usada para analisar dados, desenvolver algoritmos e criar modelos. Você pode obter um token de autorização no MATLAB para consultar seus dados no Azure Data Explorer.
- Funcionalidade: consulta
- Documentação:consultar dados usando o MATLAB
NLog
O NLog é uma plataforma de log flexível e gratuita para várias plataformas .NET, incluindo o .NET Standard O NLog permite gravar em vários destinos, como um banco de dados, arquivo ou console. Com o NLog, você pode alterar a configuração de registro em log em tempo real. O coletor NLog é um destino para NLog que permite enviar suas mensagens de log ao banco de dados. O plugin fornece uma maneira eficiente de afundar seus logs para o cluster.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: telemetria, logs, métricas
- SDK subjacente:.NET
- Repositório: Microsoft Azure - https://github.com/Azure/azure-kusto-nlog-sink
- Documentação: ingerir dados no NLog sink
- Blog da comunidade:introdução ao coletor NLog e ao Azure Data Explorer
ODBC
ODBCé uma API (interface de programação de aplicativo) amplamente aceita para acesso ao banco de dados. O Azure Data Explorer é compatível com um subconjunto do protocolo de comunicação do SQL Server (MS-TDS). Essa compatibilidade permite o uso do driver ODBC para SQL Server com o Azure Data Explorer.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: telemetria, logs, métricas
- Documentação:conectar-se ao Azure Data Explorer com o ODBC
OpenTelemetry
O conector OpenTelemetry aceita a ingestão de dados de vários receptores em seu banco de dados. Ele funciona como uma ponte para ingerir dados gerados pelo Open Telemetry para seu banco de dados, personalizando o formato dos dados exportados de acordo com suas necessidades.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: rastreamentos, métricas, logs
- SDK subjacente:Go
- Repositório: Open Telemetry - https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Documentação: ingerir dados do OpenTelemetry
- Blog da comunidade:introdução ao Open Telemetry e ao Azure Data Explorer
Power Apps
Power Apps é um pacote de aplicativos, serviços, conectores e plataforma de dados que fornece um ambiente com método RAD para criar aplicativos personalizados que se conectam aos seus dados empresariais. O conector do Power Apps é útil se você tem uma coleção grande e crescente de dados de streaming no Azure Data Explorer e deseja criar um aplicativo com pouco código e altamente funcional para usar esses dados.
- Funcionalidade: consulta, ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Documentação:usar o Power Apps para consultar dados no Azure Data Explorer
Power Automate
Power Automate é um serviço de orquestração usado para automatizar processos de negócios. O conector Power Automate (o antigo Microsoft Flow) permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou acionada.
- Funcionalidade: ingestão, exportação
- Tipo de ingestão compatível: envio em lote
- Casos de uso: orquestração de dados
- Documentação:conector Microsoft Power Automate
Serilog
O Serilog é uma estrutura de log popular para aplicativos .NET. O Serilog permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome, no nível do registrador e no padrão de mensagem do registrador. O coletor Serilog, também conhecido como appender, transmite seus dados de log ao seu banco de dados, onde você pode analisar e visualizar logs em tempo real.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: logs
- SDK subjacente:.NET
- Repositório: Microsoft Azure - https://github.com/Azure/serilog-sinks-azuredataexplorer
- Documentação: ingerir dados com o coletor Serilog
- Blog da comunidade:introdução ao coletor Serilog e ao Azure Data Explorer
Splunk
Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O complemento do Azure Data Explorer envia dados do Splunk para uma tabela no cluster.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote
- Casos de uso: logs
- SDK subjacente:Python
- Repositório: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Documentação: ingerir dados do Splunk
- Splunk Base:complemento do Microsoft Azure Data Explorer para Splunk
- Blog da comunidade:introdução ao complemento do Microsoft Azure Data Explorer para Splunk
Encaminhador Universal Splunk
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote
- Casos de uso: logs
- Repositório: Microsoft Azure - https://github.com/Azure/azure-kusto-splunk
- Documentação: ingerir dados do Encaminhador Universal do Splunk para o Azure Data Explorer
- Blog da Comunidade: ingerir dados usando o Encaminhador Universal do Splunk no Azure Data Explorer
Telegraf
O Telegraf é um agente leve, de código aberto, com volume de memória mínimo, para coletar, processar e gravar dados de telemetria, incluindo logs, métricas e dados de IoT. O Telegraf dá suporte a centenas de plug-ins de entrada e saída. Ele é amplamente usado pela comunidade de código aberto e conta com seu suporte. O plug-in de saída funciona como o conector do Telegraf e dá suporte à ingestão de dados de vários tipos de plug-ins de entrada no seu banco de dados.
- Funcionalidade: ingestão
- Tipo de ingestão compatível: envio em lote, streaming
- Casos de uso: telemetria, logs, métricas
- SDK subjacente:Go
- Repositório: InfluxData - https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Documentação: ingerir dados do Telegraf
- Blog da comunidade:novo plugin de saída do Azure Data Explorer para Telegraf permite o monitoramento SQL em grande escala