Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Dataflow Gen2 ajuda você a moldar e transformar dados com facilidade. Ele oferece uma interface de baixo código e mais de 300 transformações internas de dados e IA, todas alimentadas pela experiência familiar do Power Query que você encontrará no Excel, Power BI, Power Platform e Dynamics 365.
Quando você publica um fluxo de dados, ele cria uma definição que é executada durante a atualização. O mecanismo de Dataflow Gen2 usa essa definição para planejar e gerenciar como as consultas são realizadas em fontes de dados, gateways e mecanismos de computação. Ele cria tabelas no armazenamento de estágio ou as envia para o destino escolhido, para que você obtenha resultados confiáveis sem esforço excessivo.
O diagrama captura componentes da arquitetura do Data Factory Dataflow Gen2, incluindo o Lakehouse, usado para preparar dados que estão sendo ingeridos, e o Warehouse, usado como um mecanismo de computação para gravar resultados em preparo ou saída mais rapidamente. Quando a computação do Warehouse não puder ser usada ou quando o preparo for desabilitado para uma consulta, o Mecanismo de Mashup extrairá, transformará ou carregará os dados no preparo ou nos destinos dos dados. Saiba mais sobre como o Dataflow Gen2 funciona neste blog: Data Factory Spotlight: Dataflow Gen2.
Quando você atualiza ou publica um item do Dataflow Gen2, as Unidades de Capacidade do Fabric são consumidas para os seguintes mecanismos:
- Computação Padrão: você é cobrado por ela com base no tempo de avaliação da consulta em todas as consultas do Dataflow executadas por meio do mecanismo Mashup.
- Computação de Fluxo de Dados de Alta Escala: você é cobrado quando o staging é habilitado, com base na duração do consumo do mecanismo SQL do Lakehouse (armazenamento de staging) e do Warehouse (computação de armazenamento).
- Cópia Rápida: você é cobrado quando os conectores de cópia rápida estão habilitados e podem ser usados no Dataflow, com base na duração do trabalho de cópia.
Modelo de preços do Dataflow Gen2
Como as taxas de preços são determinadas
O preço do Dataflow Gen2 depende de como cada consulta usa a computação. Para processamento padrão, as consultas são executadas no mecanismo de mashup. Dependendo se o fluxo de dados é CI/CD (Dataflow Gen2), a classificação varia.
No Dataflow Gen2 (CI/CD), há uma taxa de duas camadas aplicada à duração da consulta:
- Se uma consulta for executada em menos de 10 minutos, ela será classificada como 12
- Se ele for executado por mais tempo, cada segundo extra será classificado como 1,5 CU.
Se o Dataflow Gen2 não for CI/CD, a taxa será de 16 CU aplicada a toda a duração da consulta.
Para cenários de alta escala—quando o staging está ativado—as consultas são executadas no mecanismo SQL do Lakehouse ou Warehouse. Cada segundo de tempo de computação usa 6 segundos de Unidades de Cálculo (CU), portanto, consultas mais longas consomem mais.
Se você ativar a cópia rápida, haverá uma taxa separada para movimentação de dados: 1.5 UC, com base em quanto tempo a atividade é executada.
No final de cada execução, o Dataflow Gen2 soma o uso de cada mecanismo e o cobra de acordo com os preços de capacidade do Fabric em sua região.
Tabela de Taxas CU
| Tipo de mecanismo do Dataflow Gen2 | Medidores de consumo | Taxa de consumo de CU do Fabric | Granularidade do relatório de consumo |
|---|---|---|---|
| Computação Padrão (Dataflow Gen2 (CI/CD)) | Com base em cada duração de execução de consulta do mecanismo de mashup em segundos. A Computação Padrão tem preços de dois níveis, dependendo da duração da consulta. | - Para cada segundo até 10 minutos, 12 CU - Para cada segundo além de 10 minutos, 1,5 CU |
Por item do Dataflow Gen2 |
| Computação Padrão (não CI/CD) | Com base em cada duração de execução de consulta do mecanismo de mashup em segundos. | 16 UC | Por item do Dataflow Gen2 |
| Computação do fluxo de dados em alta escala | Com base na execução do mecanismo de SQL do Lakehouse/Warehouse (com o preparo habilitado) em segundos. | 6 créditos | Por workspace |
| Movimentação de dados | Com base na duração de execução do Cópia Rápida em segundos e nos recursos usados para a otimização inteligente de taxa de transferência. | 1.5 UC (assuming CU stands for "Unidade de Crédito") | Por item do Dataflow Gen2 |
Preços do gateway de dados da rede virtual com o Dataflow Gen2
O gateway de dados da Rede Virtual (VNet) é faturado como uma cobrança de infraestrutura adicional, associada a uma capacidade do Fabric. Isso significa que ele tem seu próprio medidor e incorre em uma cobrança adicional e consistente em todos os itens executados pelo Fabric.
A fatura total para executar o Fluxo de Dados Gen2 por meio do Gateway de Dados da VNET é calculada como: Taxa do Fluxo de Dados Gen2 + Taxa do Gateway de Dados da VNET.
O custo do gateway de dados da VNET é proporcional ao uso desse Gateway, definido como o tempo de atividade ou sempre que o gateway de dados da VNET estiver ativado.
Taxa de consumo de CU do Gateway de Dados VNET: 4 CU
Saiba mais em: Preços e cobrança dos gateways de dados da rede virtual.
Alterações na taxa de consumo de carga de trabalho do Microsoft Fabric
As taxas de consumo estão sujeitas a alterações a qualquer momento. A Microsoft envida esforços razoáveis para fornecer aviso por email e por meio de notificação no produto. As alterações entram em vigor na data declarada nas Notas sobre a versão da Microsoft e no Blog do Microsoft Fabric. Se qualquer alteração em uma taxa de consumo de carga de trabalho do Microsoft Fabric aumentar materialmente as CU (Unidades de Capacidade) necessárias para usar uma carga de trabalho específica, os clientes poderão usar as opções de cancelamento disponíveis para a forma de pagamento escolhida.
Calcular custos estimados usando o Aplicativo de Métricas do Fabric e o Histórico de Atualização de Fluxo de Dados
O Aplicativo de Métricas de Capacidade do Microsoft Fabric fornece visibilidade do uso da capacidade para todos os workspaces do Fabric vinculados a uma capacidade. É usado por administradores de capacidade para monitorar o desempenho das cargas de trabalho e seu uso, em comparação com a capacidade adquirida. Usar o Aplicativo de Métricas é a maneira mais precisa de estimar os custos das execuções de atualização do Dataflow Gen2. Para entender como os preços em camadas afetaram seus custos de computação padrão, você também precisa usar o histórico de atualização de fluxo de dados.
Esses exercícios mostram como validar os custos para fluxos de dados CI/CD e não CI/CD. Para o fluxo de dados de CI/CD com computação padrão, usaremos um exemplo e forneceremos instruções para todos os outros cenários.
Exercício 1: Computação padrão para um fluxo de dados de CI/CD
O fluxo de dados a seguir tem duas consultas que envolvem a transformação, e o estágio está desabilitado.
O Dataflow Gen2 usará apenas a Computação Padrão.
Para cada consulta, acesse a duração da consulta no histórico de atualização de consultas e aplique a fórmula a seguir para calcular o consumo de CU por consulta.
Para a primeira consulta, a duração é de 2.131 segundos.
Da mesma forma, para a segunda consulta, a duração é de 913 segundos
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Para a consulta 1, o consumo calculado é de 9497 segundos de CU e, para a consulta 2, o consumo calculado é de 7670 segundos de CU.
Agregar o consumo de capacidade em segundos de CU e validar o consumo no aplicativo de métricas de capacidade do Fabric. Nesse cenário, o aplicativo de métricas mostra 17.180 segundos de CU como uso de Computação Padrão, que se compara bem com o consumo computado de 17.167 segundos de CU. Qualquer discrepância pode ser devida ao arredondamento em relatórios periódicos de uso.
Exercício 2: Computação padrão para um fluxo de dados não CI/CD
Quando o fluxo de dados envolve a transformação e o preparo é desabilitado, o Dataflow Gen2 usará apenas a Computação Padrão.
Para cada consulta, acesse a duração da consulta no histórico de atualização de consultas e aplique a fórmula a seguir para calcular o consumo de CU por consulta.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Agregar o consumo de capacidade em segundos de CU e validar o consumo no aplicativo de métricas de capacidade do Fabric.
Exercício 3: Noções básicas sobre o consumo de computação em alta escala (fluxos de dados CI/CD e não CI/CD)
Se o fluxo de dados usar staging, para descobrir a quantidade de computação de alta escala usada, abra o Aplicativo de Métricas de Capacidade do Fabric e filtre pelo nome do fluxo de dados. Clique com o botão direito do mouse no nome, procure a computação em Alta Escala na lista de operações e verifique a duração.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Exercício 4: Noções básicas sobre o consumo de computação de cópia rápida (fluxos de dados CI/CD e não CI/CD)
Se o seu fluxo de dados utilizar cópia rápida, para descobrir a quantidade de computação de Movimentação de Dados utilizada, abra o App de Métricas de Capacidade do Fabric e filtre pelo nome do seu fluxo de dados. Clique com o botão direito do mouse no nome, procure por "Data Movement" na lista de operações e verifique o tempo de execução.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5