Espelhamento do Azure Cosmos DB

O espelhamento no Microsoft Fabric fornece uma experiência sem a necessidade de ETL para integrar seus dados existentes do Azure Cosmos DB com o restante de seus dados no Microsoft Fabric, permitindo um verdadeiro HTAP (processamento transacional/analítico híbrido) com isolamento completo de carga de trabalho entre sistemas transacionais e analíticos. Seus dados do Azure Cosmos DB são replicados continuamente diretamente no Fabric OneLake quase em tempo real, sem qualquer impacto no desempenho nas cargas de trabalho transacionais ou no consumo de RUs (Unidades de Solicitação).

Os dados no OneLake são armazenados no formato delta de software livre e disponibilizados automaticamente para todos os mecanismos analíticos no Fabric.

Você pode usar recursos internos do Power BI para acessar dados no OneLake no modo DirectLake. Com Copilot aprimoramentos no Fabric, você pode usar o poder da IA generativa para obter insights importantes sobre seus dados de negócios. Além do Power BI, você pode usar o T-SQL para executar consultas agregadas complexas ou usar o Spark para exploração de dados. Você pode acessar perfeitamente os dados em notebooks e usar a ciência de dados para criar modelos de machine learning.

Por que usar espelhamento no Fabric?

Com o Espelhamento no Fabric, você não precisa reunir serviços diferentes de vários fornecedores. Em vez disso, você pode desfrutar de um produto altamente integrado, de ponta a ponta e fácil de usar projetado para simplificar suas necessidades de análise e criado para abertura.

Se você estiver procurando relatórios de BI ou análise sobre seus dados operacionais no Azure Cosmos DB, o espelhamento fornecerá:

• Sem ETL, acesso quase em tempo real econômico aos dados do Azure Cosmos DB sem afetar o consumo da unidade de solicitação
• Facilidade de trazer dados entre várias fontes para o Fabric OneLake
• Otimizações de tabela delta com ordem v para leituras rápidas
• Integração de um clique com o Power BI com o Direct Lake e Copilot
• Insights de negócios avançados unindo dados em várias fontes
• Integração de aplicativos mais avançada para acessar consultas e exibições

Os dados do OneLake são armazenados no formato Delta Lake de software livre, permitindo que você os use com várias soluções dentro e fora da Microsoft. Esse formato de dados ajuda a facilitar a criação de um único conjunto de dados para suas necessidades analíticas.

Quais experiências de análise são internas?

Bancos de dados espelhados são um item no Fabric Data Warehousing distinto do ponto de extremidade de análise do Warehouse e do SQL.

Cada item espelhado do Azure Cosmos DB cria estes itens com os quais você pode interagir no workspace do Fabric:

• O item de banco de dados espelhado. O espelhamento gerencia a replicação de dados no OneLake e a conversão em Parquet, em um formato pronto para análise. Isso permite cenários downstream, como engenharia de dados, ciência de dados e muito mais.
• Ponto de extremidade de análise do SQL, que é gerado automaticamente

Banco de dados espelhado

O banco de dados espelhado mostra o status da replicação e os controles para interromper ou iniciar a replicação no Fabric OneLake. Você também pode exibir seu banco de dados de origem, no modo somente leitura, usando o data explorer do Azure Cosmos DB. Usando o data explorer, você pode exibir seus contêineres no banco de dados do Azure Cosmos DB de origem e consultá-los. Essas operações consomem RUs (unidades de solicitação) de sua conta do Azure Cosmos DB. Todas as alterações no banco de dados de origem são refletidas imediatamente na exibição do banco de dados de origem do Fabric. A gravação no banco de dados de origem não é permitida no Fabric, pois você só pode exibir os dados.

Ponto de extremidade de análise SQL

Cada banco de dados espelhado tem um ponto de extremidade de análise de SQL gerado automaticamente que fornece uma experiência analítica avançada sobre as tabelas Delta do OneLake criadas pelo processo de espelhamento. Você tem acesso a comandos T-SQL familiares que podem definir e consultar objetos de dados, mas não manipular os dados do ponto de extremidade de análise do SQL, pois são uma cópia somente leitura.

Você pode executar as seguintes ações no ponto de extremidade de análise do SQL:

• Explore tabelas delta lake usando T-SQL. Cada tabela é mapeada para um contêiner do banco de dados do Azure Cosmos DB.
• Crie consultas e exibições sem código e explore-as visualmente sem escrever uma linha de código.
• Junte e consulte dados em outros bancos de dados espelhados, Warehouses e Lakehouses no mesmo workspace.
• Você pode visualizar e criar relatórios de BI facilmente com base em consultas ou exibições do SQL.

Além do editor de consultas SQL, há um amplo ecossistema de ferramentas. Essas ferramentas incluem a extensão mssql com o Visual Studio Code, o SSMS (SQL Server Management Studio) e até mesmo o GitHub Copilot. Você pode sobrecarregar a análise e a geração de insights da ferramenta de sua escolha.

Modelo semântico

Você pode criar um Modelo Semântico do Power BI no banco de dados para permitir que as métricas de negócios sejam criadas, compartilhadas e reutilizados. Para obter mais informações, consulte Criar um modelo semântico do Power BI.

Como funciona a replicação quase em tempo real?

Quando você habilita o espelhamento no banco de dados do Azure Cosmos DB, insere, atualiza e exclui operações em seus dados de OLTP (processamento de transações online) replica continuamente no Fabric OneLake para consumo de análise.

O recurso de backup contínuo é um pré-requisito para espelhamento. Você pode habilitar o backup contínuo de 7 ou 30 dias em sua conta do Azure Cosmos DB. Se você estiver habilitando o backup contínuo especificamente para espelhamento, é recomendável fazer backup contínuo de 7 dias, pois ele é gratuito.

Pode levar alguns minutos para replicar seus dados do Azure Cosmos DB no Fabric OneLake. Dependendo do instantâneo inicial dos dados ou da frequência de atualizações/exclusões, a replicação também pode levar mais tempo em alguns casos. A replicação não afeta as RUs (unidades de solicitação) alocadas para suas cargas de trabalho transacionais.

O que esperar do espelhamento

Há algumas considerações e cenários com suporte que você deve considerar antes do espelhamento.

Considerações de instalação

Para espelhar um banco de dados, ele já deve ser provisionado no Azure. Você deve habilitar o backup contínuo na conta como um pré-requisito.

• Você só pode espelhar cada banco de dados individualmente por vez. Você pode escolher qual banco de dados espelhar.
• Você pode espelhar o mesmo banco de dados várias vezes no mesmo workspace. Como prática recomendada, uma única cópia do banco de dados pode ser reutilizado em lakehouses, armazéns ou outros bancos de dados espelhados. Você não precisa configurar vários espelhos para o mesmo banco de dados.
• Você também pode espelhar o mesmo banco de dados em diferentes workspaces ou locatários do Fabric.
• Você pode selecionar quais contêineres espelhar em seu banco de dados.
• As alterações nos contêineres do Azure Cosmos DB, como adicionar novos contêineres e excluir os existentes, são replicadas diretamente no Fabric. Você pode começar a espelhar um banco de dados vazio sem contêineres, por exemplo, e o espelhamento seleciona perfeitamente os contêineres adicionados em um momento posterior.

Suporte para dados aninhados

Os dados aninhados são mostrados como uma cadeia de caracteres JSON nas tabelas de ponto de extremidade de análise do SQL. Você pode usar OPENJSON, CROSS APPLYe OUTER APPLY em consultas T-SQL ou exibições para expandir esses dados seletivamente. Se você estiver usando o Power Query, também poderá aplicar a ToJson função para expandir esses dados.

Por meio da inferência automática de esquemas, os dados aninhados podem ser achatados por meio de OPENJSON sem a necessidade de definir explicitamente o esquema aninhado. Isso é especialmente útil para cargas de trabalho com esquemas aninhados dinâmicos ou imprevisíveis. Para obter mais informações, confira como consultar dados aninhados.

Manipular alterações de esquema

O espelhamento replica automaticamente as propriedades em itens do Azure Cosmos DB, com alterações de esquema. Todas as novas propriedades descobertas em um item são mostradas como novas colunas e as propriedades ausentes, se houver, são representadas como nulas no Fabric.

Se você renomear uma propriedade em um item, as tabelas do Fabric manterão as colunas antigas e novas. A coluna antiga mostrará nulo e o novo mostrará o valor mais recente para todos os itens replicados após a operação de renomeação.

Se você alterar o tipo de dados de uma propriedade em itens do Azure Cosmos DB, as alterações serão suportadas para tipos de dados compatíveis que podem ser convertidos. Se os tipos de dados não forem compatíveis com a conversão no Delta, eles serão representados como valores nulos.

As tabelas de ponto de extremidade de análise do SQL convertem tipos de dados Delta em tipos de dados T-SQL.

Nomes de coluna duplicados

O Azure Cosmos DB dá suporte a nomes de coluna que não diferenciam maiúsculas de minúsculas, com base no padrão JSON. O espelhamento dá suporte a esses nomes de coluna duplicados adicionando _n ao nome da coluna, onde n seria um valor numérico.

Por exemplo, se o item do Azure Cosmos DB tiver addressName e AddressName como propriedades exclusivas, as tabelas do Fabric terão colunas e addressName correspondentesAddressName_1. Para obter mais informações, consulte as limitações de replicação.

Suporte para cargas de trabalho de IA

O Espelhamento do Azure Cosmos DB dá suporte a contas que usam pesquisa e indexação de vetores, permitindo que cargas de trabalho de IA e aprendizado de máquina aproveitem ao máximo a análise poderosa do Microsoft Fabric, enquanto continuam a aproveitar as funcionalidades de vetor de alto desempenho do Azure Cosmos DB.

Para obter mais detalhes, explore a documentação sobre Pesquisa de Vetor e Indexação para Experiências de Ia e Ciência de Dados do Cosmos DB e Fabric.

Segurança

Você pode se conectar a uma conta de origem usando Microsoft Entra ID e controle de acesso baseado em função ou chaves de nível de conta.

Se você usar chaves e girar ou regenerar as chaves, precisará atualizar as conexões para garantir que a replicação funcione. Para obter mais informações, consulte conexões. As chaves da conta não ficam diretamente visíveis para outros usuários do Fabric depois que a conexão é configurada. Você pode limitar quem tem acesso às conexões criadas no Fabric. As gravações não são permitidas no banco de dados do Azure Cosmos DB no data explorer ou no ponto de extremidade de análise no banco de dados espelhado. Atualmente, o espelhamento não dá suporte à autenticação usando chaves de conta somente leitura.

Para a autenticação da ID do Microsoft Entra, as seguintes permissões RBAC são necessárias: Microsoft.DocumentDB/databaseAccounts/readMetadata & Microsoft.DocumentDB/databaseAccounts/readAnalytics. Para obter mais informações, consulte a documentação do controle de acesso baseado em função do plano de dados.

Recursos de proteção de dados

A segurança granular pode ser configurada no banco de dados espelhado no Microsoft Fabric. Para obter mais informações, consulte permissões granulares no Microsoft Fabric.

Você pode proteger filtros de coluna e filtros de linha baseados em predicado em tabelas para funções e usuários no Microsoft Fabric:

• Segurança em nível de linha no data warehouse do Fabric
• Segurança em nível de coluna no data warehouse do Fabric

Você também pode mascarar dados confidenciais de usuários não administradores usando máscara dinâmica de dados:

• Mascaramento dinâmico de dados no armazenamento de dados do Fabric

Segurança de rede

As contas do Azure Cosmos DB com redes virtuais ou pontos de extremidade privados são suportadas com espelhamento do Fabric usando o recurso Bypass de ACL de Rede. Isso permite que o espaço de trabalho autorizado do Fabric acesse a conta do Cosmos DB sem exigir um gateway de dados, mantendo a segurança de rede reforçada. Para obter instruções de configuração detalhadas, consulte Configurar redes privadas para bancos de dados espelhados do Microsoft Fabric do Azure Cosmos DB.

Atualmente, o espelhamento não dá suporte a CMK (chaves gerenciadas pelo cliente) no OneLake.

Latência de recuperação e replicação de desastre

No Fabric, você pode implantar conteúdo em data centers em regiões diferentes da região inicial do locatário do Fabric. Para obter mais informações, consulte suporte multigeográfico.

Para uma conta do Azure Cosmos DB com uma região de gravação primária e várias regiões de leitura, o espelhamento escolhe a região de leitura do Azure Cosmos DB mais próxima da região em que a capacidade do Fabric está configurada. Essa seleção ajuda a fornecer replicação de baixa latência para espelhamento.

Quando você alterna sua conta do Azure Cosmos DB para uma região de recuperação, o espelhamento seleciona automaticamente a região mais próxima do Azure Cosmos DB novamente.

Os dados do Cosmos DB replicados para o OneLake precisam ser configurados para lidar com interrupções em toda a região. Para obter mais informações, consulte a recuperação de desastre no OneLake.

Explorar seus dados com espelhamento

Você pode exibir e acessar diretamente dados espelhados no OneLake. Você também pode acessar diretamente dados espelhados sem mais movimentação de dados.

Saiba mais sobre como acessar o OneLake usando APIs ou SDK do ADLS Gen2, o Gerenciador de Arquivos OneLake e o Gerenciador de Armazenamento do Azure.

Você pode se conectar ao ponto de extremidade de análise do SQL a partir de ferramentas como o SSMS (SQL Server Management Studio) ou usando drivers como o Microsoft Open Database Connectivity (ODBC) e o Java Database Connectivity (JDBC). Para obter mais informações, consulte a conectividade do ponto de extremidade da análise de SQL.

Você também pode acessar dados espelhados com serviços como:

• Serviços do Azure, como o Azure Databricks, o Azure HDInsight ou o Azure Synapse Analytics
• Fabric Lakehouse usando atalhos para cenários de engenharia de dados e ciência de dados
• Outros bancos de dados espelhados ou armazéns no workspace do Fabric

Você também pode criar soluções de arquitetura de medalhão, limpando e transformando os dados que estão sendo colocados no banco de dados espelhado como a camada bronze. Para obter mais informações, consulte o suporte à arquitetura de medalhão no Fabric.

Pricing

A computação de malha usada para replicar seus dados do Cosmos DB no Fabric OneLake é gratuita. O armazenamento no OneLake é gratuito com base no custo com base no tamanho da capacidade. Para obter mais informações, consulte o preço do OneLake para espelhamento. O uso de computação para consultar dados via SQL, Power BI ou Spark ainda é cobrado com base na Capacidade do Fabric.

Se você estiver usando o data explorer no espelhamento do Fabric, acumulará custos típicos com base no uso da RU (unidade de solicitação) para explorar os contêineres e consultar os itens no banco de dados do Azure Cosmos DB de origem. O recurso de backup contínuo do Azure Cosmos DB é um pré-requisito para espelhamento: os encargos padrão para o backup contínuo são aplicados. Não há encargos adicionais para espelhamento na cobrança contínua de backup. Para obter mais informações, veja Preços do Azure Cosmos DB.

Próxima etapa

Conteúdo relacionado

• Limitações em bancos de dados espelhados do Microsoft Fabric do Azure Cosmos DB
• Perguntas frequentes: bancos de dados espelhados do Microsoft Fabric do Azure Cosmos DB