Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Os fluxos de dados permitem que você conecte várias fontes de dados e execute operações de dados, simplificando a configuração de caminhos de dados para mover, transformar e enriquecer dados. O componente de fluxo de dados faz parte das Operações do Azure IoT, implantadas como uma extensão do Azure Arc. A configuração de um fluxo de dados é feita por meio de CRDs (definições de recursos personalizados) do Kubernetes.
Você pode escrever configurações para vários casos de uso, como:
- Transformar dados e enviá-los de volta ao MQTT
- Transformar dados e enviá-los para a nuvem
- Enviar dados para a nuvem ou borda sem transformação
Os fluxos de dados não estão limitados à região em que a instância das Operações do IoT é implantada. Você pode usar fluxos de dados para enviar dados para pontos de extremidade de nuvem em regiões diferentes.
Principais recursos
Aqui estão os principais recursos dos fluxos de dados.
Processamento e roteamento de dados
Os fluxos de dados habilitam a ingestão, o processamento e o roteamento das mensagens para os coletores especificados. É possível especificar:
- Fontes: a partir de onde as mensagens são ingeridas
- Destinos: para onde as mensagens são enviadas, incluindo suporte para roteamento dinâmico de tópicos com base no conteúdo de mensagens para pontos de extremidade MQTT
- Transformações (opcional): configuração para operações de processamento de dados
Funcionalidades de transformação
As transformações podem ser aplicadas aos dados durante o estágio de processamento para executar várias operações. Essas operações podem incluir:
- Novas propriedades de computação: com base nas propriedades existentes na mensagem
- Renomear propriedades: para padronizar ou esclarecer dados
- Converter unidades: converte valores em diferentes unidades de medida
- Padronizar valores: valores da propriedade Scale para um intervalo definido pelo usuário
- Contextualizar dados: adicione dados de referência a mensagens para aprimoramento e geração de insights
Configuração e implantação
A configuração é especificada usando CRDs do Kubernetes. Com base nessa configuração, o operador do fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.
Benefícios
- Configuração simplificada: conecte facilmente fontes de dados e destinos.
- Transformações flexíveis: execute uma ampla gama de operações de dados.
- Configuração escalonável: use CRDs do Kubernetes para configurações escalonáveis e gerenciáveis.
- Alta disponibilidade: o recurso nativo do Kubernetes garante a confiabilidade.
Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.
Registro de esquema
O registro de esquema, um recurso fornecido pela Versão Prévia do Registro de Dispositivo do Azure, é um repositório sincronizado na nuvem e na borda. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores de direção sul, como o conector para OPC UA, podem criar esquemas de mensagens e adicioná-los ao registro de esquema, ou os clientes podem carregar esquemas para a interface de usuário da Web da experiência de operações.
Os fluxos de dados usam esquemas de mensagem para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.
Para obter mais informações, veja Entender esquemas de mensagens.
Armazenamento de mensagens de ponto de extremidade do broker MQTT local
Quando você usa o agente MQTT local como ponto de extremidade de origem em um fluxo de dados, as mensagens são armazenadas durante uma perda de conectividade entre o fluxo de dados e o ponto de extremidade de destino. Como um cenário de exemplo, suponha que você crie um fluxo de dados usando o agente MQTT local padrão como o ponto de extremidade de origem e os Hubs de Eventos do Azure como o ponto de extremidade de destino. Se a conectividade entre o fluxo de dados e os Hubs de Eventos do Azure for interrompida, as mensagens serão armazenadas na fila de mensagens do assinante do broker MQTT. Quando a conectividade é restaurada, o fluxo de dados envia as mensagens na fila de mensagens do assinante para os Hubs de Eventos do Azure.
A fila de mensagens do agente MQTT local é armazenada na memória por padrão. Você pode configurar o broker MQTT para armazenar mensagens em disco usando a configuração de buffer de mensagens com suporte em disco. Para obter mais informações sobre a configuração do agente MQTT, consulte Definir as configurações do agente para alta disponibilidade, dimensionamento e uso de memória. Para obter mais informações sobre o buffer de mensagens com backup de disco, consulte Configurar o comportamento do buffer de mensagens com backup de disco.