Qual é a estrutura de armazenamento para fluxos de dados analíticos?

Os fluxos de dados analíticos armazenam dados e metadados no Azure Data Lake Storage. Os fluxos de dados usam uma estrutura padrão para armazenar e descrever os dados criados no lago, que são chamadas de pastas Common Data Model. Neste artigo, você aprenderá mais sobre o padrão de armazenamento que os fluxos de dados usam nos bastidores.

O armazenamento precisa de uma estrutura para um fluxo de dados analítico

Se o fluxo de dados for padrão, os dados serão armazenados no Dataverse. O Dataverse é como um sistema de banco de dados; tem o conceito de tabelas, exibições e assim por diante. O Dataverse é uma opção de armazenamento de dados estruturada usada por fluxos de dados padrão.

No entanto, quando o fluxo de dados é analítico, os dados são armazenados no Azure Data Lake Storage. Os dados e metadados de um fluxo de dados são armazenados em uma pasta common data model. Como uma conta de armazenamento pode ter vários fluxos de dados armazenados nela, uma hierarquia de pastas e subpastas é introduzida para ajudar a organizar os dados. Dependendo do produto em que o fluxo de dados foi criado, as pastas e subpastas podem representar workspaces (ou ambientes) e, em seguida, a pasta Common Data Model do fluxo de dados. Dentro da pasta Modelo de Dados Comuns, o esquema e os dados das tabelas de fluxo de dados são armazenados. Essa estrutura segue os padrões definidos para o Common Data Model.

O que é a estrutura de armazenamento do Common Data Model?

O Common Data Model é uma estrutura de metadados definida para trazer conformidade e consistência para usar dados em várias plataformas. O Common Data Model não é o armazenamento de dados, é a maneira como os dados são armazenados e definidos.

As pastas common data model definem como o esquema de uma tabela e seus dados devem ser armazenados. No Azure Data Lake Storage, os dados são organizados em pastas. As pastas podem representar uma área de trabalho ou um ambiente. Nessas pastas, subpastas para cada fluxo de dados são criadas.

O que há em uma pasta de fluxo de dados?

Cada pasta de fluxo de dados contém uma subpasta para cada tabela e um arquivo de metadados chamado model.json.

O arquivo de metadados: model.json

O model.json arquivo é a definição de metadados do fluxo de dados. Esse arquivo é o único arquivo que contém todos os metadados de fluxo de dados. Ele inclui uma lista de tabelas, as colunas e seus tipos de dados em cada tabela, a relação entre tabelas e assim por diante. Você pode exportar esse arquivo de um fluxo de dados facilmente, mesmo que não tenha acesso à estrutura de pastas do Common Data Model.

Você pode usar esse arquivo JSON para migrar (ou importar) seu fluxo de dados para outro workspace ou ambiente.

Para saber exatamente o que o arquivo de metadados model.json inclui, acesse o arquivo de metadados (model.json) para o Common Data Model.

Arquivos de dados

Além do arquivo de metadados, a pasta de fluxo de dados inclui outras subpastas. Um fluxo de dados armazena os dados de cada tabela em uma subpasta com o nome da tabela. Os dados de uma tabela podem ser divididos em várias partições de dados, armazenadas no formato CSV.

Como ver ou acessar pastas do Common Data Model

Se você estiver usando fluxos de dados que usam o armazenamento fornecido pelo produto em que foram criados, você não terá acesso a essas pastas diretamente. Nesses casos, obter dados dos fluxos de dados requer o uso do conector de fluxo de dados do Microsoft Power Platform disponível na experiência Obter dados no serviço do Power BI, no Power Apps e nos produtos do Dynamics 35 Customer Insights ou no Power BI Desktop.

Para saber como funcionam os fluxos de dados e a integração interna do Data Lake Storage, vá para fluxos de dados e integração do Azure Data Lake (versão prévia).

Se sua organização habilitou fluxos de dados para aproveitar sua conta do Data Lake Storage e foi selecionada como um destino de carga para fluxos de dados, você ainda poderá obter dados do fluxo de dados usando o conector de fluxo de dados do Power Platform, conforme mencionado anteriormente. Mas você também pode acessar a pasta Common Data Model do fluxo de dados diretamente pelo lago, mesmo fora das ferramentas e serviços do Power Platform. O acesso ao lago é possível por meio do portal do Azure, do Gerenciador de Armazenamento do Microsoft Azure ou de qualquer outro serviço ou experiência que dê suporte ao Azure Data Lake Storage. Para obter mais informações, acesse Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados.

Conteúdo relacionado

• Usar o Modelo de Dados Comuns para otimizar o Azure Data Lake Storage Gen2

• O arquivo de metadados (model.json) para o Modelo de Dados Comum

• Adicionar uma pasta cdm ao Power BI como um fluxo de dados (versão prévia)

• Conectar o Azure Data Lake Storage Gen2 para armazenamento de fluxo de dados

• Fluxos de dados e integração do Azure Data Lake (versão prévia)

• Definir configurações de fluxo de dados do workspace (versão prévia)