Análise de ponta a ponta com o Microsoft Fabric

A solução neste artigo combina uma variedade de serviços da Microsoft que ingerem, armazenam, processam, enriquecem e fornecem dados e insights de diferentes fontes. Essas fontes incluem formatos estruturados, semiestruturados, não estruturados e de streaming.

Architecture

Amazon Simple Storage Service (AWS S3), Amazon Web Services (AWS), AWS Kinesis, Google Cloud Storage, Google Cloud, Google Cloud Pub/Sub e Snowflake são marcas registradas ou marcas comerciais de seus respectivos proprietários. Apache® e Apache Kafka são marcas registradas ou marcas comerciais do Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso dos respectivos proprietários de marca está implícito pelo uso dessas marcas.

Baixe um arquivo do Visio dessa arquitetura.

Fluxo de dados

As seções a seguir descrevem como o OneLake serve como a página inicial para dados em vários estágios do ciclo de vida dos dados. O OneLake é o data lake unificado de nível empresarial integrado ao Microsoft Fabric que serve como uma camada de armazenamento centralizada para todas as cargas de trabalho de dados, incluindo Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Data Warehouse, Fabric Real-Time Intelligence, Fabric Databases e Power BI.

Lakehouse

Use uma lakehouse quando precisar de uma plataforma unificada, escalonável e flexível. É ideal para gerenciar dados estruturados, semiestruturados e não estruturados para dar suporte a análise, machine learning e relatórios. Organize dados com a arquitetura de medalhão e use camadas Bronze (bruto), Prata (validado) e Ouro (pronto para negócios) entre pastas e arquivos, bancos de dados e tabelas.

Armazém

Use o Data Warehouse quando precisar de uma solução de análise baseada em SQL de alto desempenho e totalmente gerenciada para gerenciar dados estruturados e semiestruturados organizando-os em bancos de dados, esquemas e tabelas. Ele tem suporte completo do T-SQL, incluindo a criação de procedimentos armazenados, exibições e junções.

Eventhouse

Use uma casa de eventos para gerenciar e analisar dados de eventos em tempo real e de alto volume. Ele dá suporte a dados estruturados, semiestruturados e não estruturados, como logs e telemetria, organizando-os em bancos de dados, esquemas e tabelas.

Banco de dados SQL no Fabric

Use o banco de dados SQL no Fabric quando precisar unificar cargas de trabalho transacionais e analíticas. Ele é executado no mesmo mecanismo que o Banco de Dados SQL do Azure, fornece suporte completo ao T-SQL e permite a integração com o ecossistema mais amplo do Fabric.

Bancos de dados do Azure, fontes de dados externas e bancos de dados relacionais

Esta seção explica como trazer dados de bancos de dados e plataformas do Azure, como o Azure Databricks, bem como plataformas que não são da Microsoft, como o Snowflake, para o Fabric.

Ingest

O Fabric fornece várias abordagens para ingerir dados de bancos de dados relacionais. Utilize o espelhamento para replicar seu ambiente de dados existente no OneLake quase em tempo real sem processos complexos de ETL (extração, transformação e carregamento). Para obter mais informações, consulte fontes de dados de espelhamento com suporte.

Você também pode usar pipelines do Data Factory para ingerir dados de uma ampla gama de bancos de dados, local e na nuvem. Para ingerir os dados, você pode usar várias abordagens, como uma atividade de cópia, um trabalho de cópia ou o Dataflow Gen2. Essas opções também fornecem recursos de orquestração, transformação e agendamento. Para obter mais informações, consulte conectores com suporte.

Para ingestão baseada em SQL, use recursos T-SQL para carregar dados em escala de seus lakehouses e armazéns de dados existentes. Você pode criar novas versões de tabela que tenham dados agregados, subconjuntos filtrados ou resultados de consultas complexas.

Store

Use o espelhamento para criar uma réplica somente leitura do seu banco de dados de origem e sincronizá-la continuamente com o sistema de origem por meio de replicação quase em tempo real. O espelhamento armazena os dados no formato Delta Lake no OneLake.

Você também pode usar uma atividade de cópia de dados ou um trabalho de cópia do pipeline do Data Factory para armazenar os dados copiados de bancos de dados relacionais em um lakehouse ou data warehouse. A arquitetura do OneLake usa o formato Delta Lake, que fornece flexibilidade para implementar lakehouses usando uma estrutura de medalhão ou usar um modelo de armazém que se alinhe às suas necessidades organizacionais.

Process

Cada banco de dados espelhado inclui um ponto de extremidade SQL gerado automaticamente para consulta. O ponto de extremidade de análise de SQL somente leitura dá suporte ao acesso por meio do SQL Server Management Studio, Open Database Connectivity (ODBC), qualquer ferramenta de consulta com a cadeia de conexão SQL ou a extensão MSSQL com o Visual Studio Code (VS Code). Execute agregações complexas usando T-SQL ou explore dados usando notebooks Apache Spark. Consultas entre bancos de dados permitem acessar dados de bancos de dados espelhados e combiná-los com outras fontes de dados do Fabric, como lakehouses e warehouses. Os procedimentos armazenados automatizam a lógica do SQL para transformações e agregações de dados, o que melhora a reutilização e centraliza a lógica para tarefas repetitivas.

O espelhamento cria um instantâneo completo de tabelas selecionadas do banco de dados de origem. Após a carga inicial, o Fabric usa a CDC (captura de dados de alteração) do banco de dados de origem para controlar inserções, atualizações e exclusões. Ele replica continuamente essas alterações no OneLake com baixa latência e sincronização quase em tempo real. Você pode criar atalhos para tabelas espelhadas em um lakehouse e consultá-las por meio de blocos de anotações do Spark.

O Dataflow Gen2 limpa e forma dados analisados ao detectar inconsistências de esquema, nulos ou exceções. Depois de criar o perfil e transformar os dados, salve os dados processados em tabelas do Data Warehouse.

Os notebooks Spark enriquecem os dados carregando-os de lakehouses ou armazéns. Treine ou carregue modelos de machine learning usando bibliotecas como scikit-learn, XGBoost ou SynapseML. Use o MLflow para acompanhar experimentos e registrar modelos. Pontuar dados com previsões em lotes escalonáveis e previsões em tempo real.

Serve

Um banco de dados espelhado gera um item de banco de dados SQL espelhado e um ponto de extremidade de análise de SQL que você pode usar para executar consultas somente leitura. Exiba dados por meio da visualização de dados ou explore diretamente no OneLake. O editor de consultas SQL permite que você crie consultas T-SQL em relação aos dados no item de banco de dados espelhado. Você pode acessar dados espelhados usando um atalho do Lakehouse e consultas do Spark para processar os dados.

Normalmente, você desejará que esses dados sejam disponibilizados no Power BI. Para fazer isso, crie modelos semânticos para simplificar a análise de dados e relações de negócios. Analistas de negócios usam relatórios e painéis do Power BI para analisar dados e obter insights empresariais usando o modo Direct Lake para um lakehouse ou o ponto de extremidade SQL para o Armazém de Dados. Use o Ativador de Dados para configurar alertas em visuais do Power BI para monitorar as métricas de alteração frequente, definir condições de alerta e receber emails ou notificações do Microsoft Teams.

O compartilhamento de dados externos no Fabric permite que um usuário em um locatário do Fabric (o provedor) compartilhe dados com um usuário em outro locatário do Fabric (o consumidor). Esse recurso dá suporte à colaboração entre organizações, mantendo limites de governança e segurança. Os consumidores de dados acessam dados somente leitura por meio dos atalhos do OneLake em seus próprios data lakes e data warehouses, bem como em bancos de dados SQL e bancos de dados espelhados. A API do Fabric para GraphQL expõe dados de fontes de dados do Fabric compatíveis por meio de um único e flexível ponto de extremidade de API. Esse recurso é ideal para criar aplicativos modernos que exigem acesso eficiente e em tempo real a dados estruturados.

Modelos de machine learning fornecem previsões em tempo real a partir de qualquer modelo de machine learning que esteja registrado, utilizando pontos de extremidade online de machine learning seguros e escalonáveis que são configurados automaticamente. Para uma implantação nativa do Fabric em tempo real, esses pontos de extremidade são propriedades internas da maioria dos modelos do Fabric. Você pode chamá-los de outros mecanismos do Fabric ou aplicativos externos para consumo mais amplo e confiável. Um agente de dados do Fabric possibilita uma interface conversacional com dados de um lakehouse ou warehouse ao traduzir consultas em linguagem natural para consultas relevantes. O Copilot no Fabric transforma questões de linguagem natural em SQL, corrige erros, fornece explicações para consultas SQL e auxilia na conclusão do código.

Plataforma de dados baseada em nuvem para o Dataverse

Esta seção explica como trazer dados do Dataverse para o Fabric.

Ingest

O Dataverse Link to Fabric disponibiliza dados do Dynamics 365 e do Dataverse quase em tempo real no Fabric, sem a necessidade de ETL ou cópia de dados. Com o Dataverse Link to Fabric, os engenheiros de dados podem consultar dados usando SQL, aplicar IA, combinar conjuntos de dados, remodelar informações e compilar resumos diretamente no Fabric.

Store

Quando você usa o Dataverse Link para o Fabric, o Dataverse cria um lakehouse no OneLake com atalhos para as tabelas do Dataverse, sem exigir a movimentação física de dados.

Process

Veja o lakehouse gerado pelo Dataverse para explorar tabelas vinculadas ao seu ambiente do Dataverse. Consulte o lakehouse gerado pelo Dataverse usando o endpoint SQL, explore os dados usando notebooks Spark e acesse os dados por meio do SQL Server Management Studio ou do editor de SQL. Referencie dados do Dataverse em outras casas de lago usando atalhos para reutilizar os mesmos dados sem copiá-los ou duplicá-los.

Enriquecer dados usando o Data Wrangler, uma ferramenta de baixo código e sem código nos notebooks do Fabric. Ele permite explorar, preparar e moldar dados para análise exploratória. As operações geram código em pandas ou PySpark e você pode salvar o código no notebook como uma função reutilizável.

Serve

Os atalhos para tabelas do Dataverse criadas no OneLake dão suporte ao formato Delta Lake. Você pode preencher esses dados em um relatório do Power BI do conjunto de dados padrão gerado pelo Dataverse no workspace do Fabric.

Você também pode usar o Ativador de Dados para configurar alertas em visuais do Power BI, monitorar métricas de alteração frequente, definir condições de alerta e receber notificações por email ou do Teams.

Fontes de dados semiestruturadas e não estruturadas

Esta seção descreve como ingerir dados semiestruturados e não estruturados no Fabric.

Ingest

Use pipelines do Data Factory para extrair dados de uma ampla gama de fontes semiestruturadas no local e na nuvem. Para extrair os dados, você pode usar várias abordagens, como uma atividade de cópia, um trabalho de cópia, Dataflow Gen2, notebooks do Spark ou envio de arquivo para o lakehouse. Considere as seguintes fontes com suporte:

• Dados ingeridos de fontes baseadas em arquivo que contêm arquivos CSV ou JSON

• Arquivos XML de sistemas herdados

• Arquivos Parquet de contas de armazenamento

• PDF, MP3, imagens, logs, documentos e outros arquivos binários

• APIs REST do Fabric como uma fonte de dados para o pipeline

Use a instrução COPY INTO para ingerir dados de uma conta de armazenamento externa para cargas de trabalho SQL de alta taxa de transferência. A instrução oferece suporte aos formatos de arquivo Parquet e CSV. Crie atalhos no OneLake para fontes externas, incluindo o Azure Data Lake Storage, contas de armazenamento do AWS S3 (Serviço de Armazenamento Simples da Amazon), contas do Google Cloud Storage e outras opções de armazenamento externo com suporte para habilitar o acesso de cópia zero e evitar duplicação. Carregue arquivos de forma programática ou manual na pasta lakehouse. Disparar pipelines quando novos arquivos chegam usando a orquestração baseada em eventos do Fabric.

Store

Organize seus dados no data lake unificado do Fabric OneLake. Siga as práticas recomendadas para quais camadas criar, quais estruturas de pastas usar em cada camada e quais formatos de arquivo usar para cada cenário de análise. Armazene dados não estruturados na zona Bronze para manter dados não processados em seu formato original. Use uma casa de eventos para armazenar dados de telemetria, logs ou série temporal.

Process

Os notebooks Spark analisam e transformam dados semiestruturados. Por exemplo, você pode achatar estruturas JSON aninhadas, converter XML em formato tabular ou extrair campos-chave de arquivos de log. Os notebooks Spark também extraem conteúdo e transformam dados não estruturados por meio do Spark DataFrames.

A ingestão de T-SQL carrega dados de tabelas existentes em lakehouses ou armazéns do Fabric. O Dataflow Gen2 limpa e forma dados analisados enquanto detecta inconsistências de esquema, nulos ou exceções. Depois de criar o perfil e transformar os dados, salve-os em tabelas lakehouse. Atalhos internos nos dados de referência do Fabric armazenados em um lakehouse.

Os notebooks Spark enriquecem os dados à medida que você os processa. Carregue dados de lakehouses ou armazéns e, em seguida, treine ou carregue modelos de machine learning usando bibliotecas como scikit-learn, XGBoost ou SynapseML. O MLflow rastreia experimentos e registra modelos. Avaliar os dados usando previsões em lotes dimensionáveis ou previsões em tempo real.

Serve

O T-SQL consulta tabelas lakehouse por meio do ponto de extremidade de análise de SQL do Fabric. O endpoint de análise do SQL oferece suporte a modelos semânticos e relatórios do Power BI. O modo Direct Lake fornece análise de alto desempenho. Você também pode configurar alertas em visuais do Power BI usando o Ativador de Dados para monitorar as métricas de alteração frequente, definir condições de alerta e receber emails ou notificações do Teams.

O compartilhamento de dados externos no Fabric permite que um usuário em um locatário do Fabric (o provedor) compartilhe dados com um usuário em outro locatário do Fabric (o consumidor). Esse recurso dá suporte à colaboração entre organizações enquanto mantém limites de governança e segurança. Os consumidores de dados acessam dados somente leitura usando atalhos do OneLake em suas próprias casas de lago.

A API do Fabric para GraphQL expõe dados de fontes de dados do Fabric suportadas por meio de uma API flexível. Essa abordagem é ideal para criar aplicativos modernos que precisam de acesso eficiente e em tempo real a dados estruturados.

Forneça previsões em tempo real de qualquer modelo de aprendizado de máquina registrado usando endpoints online de aprendizado de máquina seguros e escalonáveis que são configurados automaticamente. Para implantação nativa do Fabric em tempo real, use esses pontos de extremidade como propriedades internas da maioria dos modelos do Fabric. Chame-os de outros mecanismos do Fabric ou aplicativos externos para uso confiável e abrangente. Crie um modelo semântico com base em dados de previsão e visualize os resultados em um relatório do Power BI.

Um agente de dados do Fabric é uma interface de conversa personalizada movida a IA que converte consultas de linguagem natural em insights acionáveis para seus dados do OneLake. O Copilot simplifica as tarefas de visualização e análise de dados. Faça perguntas sobre tabelas lakehouse, pandas e DataFrames do Spark diretamente nos blocos de anotações. Copilot responde com explicações de linguagem natural. Os usuários empresariais podem usar o painel Copilot para fazer perguntas sobre o conteúdo do relatório e resumir rapidamente os principais insights. Eles também podem usar a seção Copilot para descobrir informações às quais já têm acesso.

Streaming

Esta seção explica como trazer dados de streaming de série temporal de alto volume para o Fabric.

Ingest

Use Real-Time Intelligence para coletar dados para ingestão em tempo real por meio de um fluxo de eventos. Obtenha os dados de uma ampla gama de fontes de dados, como dispositivos IoT (Internet das Coisas), aplicativos, hubs de eventos externos e eventos Fabric, como eventos de itens do workspace, eventos do OneLake e eventos de tarefas. Se você precisar fazer referência a um banco de dados KQL (Linguagem de Consulta Kusto) de origem, como um banco de dados existente do Azure Data Explorer no Real-Time Intelligence, poderá criar um atalho de banco de dados para acessar os dados sem duplicar ou reingessá-los.

Store

O Eventstream dá suporte ao roteamento de dados para destinos diferentes. Armazene grandes volumes de dados em uma casa de eventos, que é uma solução de armazenamento escalonável, otimizada e de alto desempenho. Você pode criar um banco de dados KQL em uma casa de eventos que é um banco de dados especializado projetado para análise de dados controlada por eventos usando KQL.

Process

Use um conjunto de consultas KQL para gravar, executar e gerenciar consultas KQL em várias fontes de dados em tempo real. Um conjunto de consultas KQL é uma ferramenta central na experiência de Inteligência em Tempo Real. Ele permite que os usuários explorem, analisem e visualizem dados de streaming ou de série temporal. Você pode usar o T-SQL no Real-Time Intelligence para consultar dados de streaming armazenados em bancos de dados KQL. O KQL é o idioma principal para análise em tempo real, mas o Fabric também dá suporte ao T-SQL para usuários familiarizados com a análise baseada em SQL.

Para processamento entre mecanismos, ative a disponibilidade do OneLake para criar uma cópia lógica dos dados do banco de dados KQL. Você pode consultar os dados no formato Delta Lake de outros mecanismos do Fabric, como o modo Direct Lake no Power BI, armazéns, lakehouses e notebooks.

Serve

Os analistas de negócios podem criar um painel do Real-Time Intelligence, que é uma coleção de blocos controlados por consultas KQL. Você pode organizar blocos em páginas e conectá-los a fontes de dados. O painel é atualizado automaticamente, o que fornece visibilidade quase instantânea dos dados à medida que flui pelo sistema. Você também pode adicionar o Ativador de Dados a um bloco do painel para monitorar as métricas de alteração frequente, definir condições de alerta e receber notificações por email ou do Teams. Crie um relatório do Power BI para gerar relatórios de modelos semânticos criados a partir do banco de dados KQL como fonte.

O compartilhamento de dados externos do Fabric permite que um usuário em um locatário do Fabric (o provedor) compartilhe dados com um usuário em outro locatário do Fabric (o consumidor). Ele dá suporte à colaboração entre organizações, mantendo limites de governança e segurança. Os consumidores de dados acessam dados de leitura única por meio de atalhos do OneLake em seus próprios bancos de dados KQL.

Um agente de dados do Fabric pode trabalhar com bancos de dados KQL para permitir que os usuários façam perguntas, o que facilita o uso de dados em tempo real para usuários não técnicos. O Copilot pode converter consultas de linguagem natural em KQL que você pode executar.

Components

Essa arquitetura usa os seguintes serviços do Fabric e do Azure:

• Copilot in Fabric é um assistente de IA generativo inserido na plataforma Fabric. Nessa arquitetura, ela ajuda a criar pipelines de dados escalonáveis, criar código Spark para transformações de dados, gerar SQL otimizado para Data Warehouse, gravar consultas KQL para Real-Time Intelligence e criar modelos semânticos e medidas de DAX (Expressões de Análise de Dados) para relatórios.

• Um agente de dados do Fabric é um recurso controlado por IA que ajuda os usuários a interagir com dados organizacionais usando linguagem natural. Nessa arquitetura, os agentes de dados servem como uma interface de conversa para traduzir questões de linguagem natural em consultas estruturadas, como SQL, DAX ou KQL.

• O Microsoft Purview é uma plataforma unificada para governança de dados, segurança e conformidade. Nessa arquitetura, o Microsoft Purview administra todo o seu patrimônio de dados e linhagem, desde a fonte de dados até o relatório do Power BI.

• O compartilhamento de dados externos do Fabric é um recurso que permite a colaboração segura entre locatários, permitindo que os usuários compartilhem dados de seu ambiente do Fabric com usuários em outro locatário do Fabric. Nessa arquitetura, as organizações podem colaborar além dos limites de inquilinos sem duplicar dados.

• A API do Fabric para GraphQL é um recurso que permite que os desenvolvedores exponham e interajam com dados usando a linguagem de consulta GraphQL. Nessa arquitetura, ela permite que os usuários desenvolvam aplicativos de dados.

• Real-Time Intelligence é uma solução de análise orientada a eventos projetada para processar, analisar e agir sobre dados de streaming. Nessa arquitetura, ele processa dados de streaming de alto volume e fornece painéis em tempo real compostos por blocos que visualizam consultas subjacentes.

• O Power BI é um BI (business intelligence) e uma plataforma de visualização de dados. Nessa arquitetura, ele se conecta ao OneLake para criar dashboards e relatórios.

• O Microsoft Foundry é uma PaaS (plataforma unificada como serviço) para criar, implantar e gerenciar aplicativos e agentes de IA em escala empresarial. Nessa arquitetura, os agentes do Foundry enriquecem e habilitam sistemas de vários agentes, e os agentes de dados do Fabric servem como especialistas em domínio ao lado de outros agentes.

• O Azure Machine Learning é um serviço de nuvem de nível empresarial para gerenciar todo o ciclo de vida do machine learning, desde a preparação e experimentação de dados até o treinamento, a implantação e o monitoramento de modelos. Nessa arquitetura, você pode habilitar os usuários a rodarem modelos de aprendizado de máquina usando endpoints de processamento em lote. Os atalhos do OneLake permitem que o Machine Learning e o Fabric compartilhem a mesma instância subjacente do Data Lake Storage, para que ambos os serviços possam ler e gravar sem duplicar dados.

• O Gerenciamento de Custos da Microsoft é um serviço que ajuda você a acompanhar, analisar e otimizar suas faturas de recursos do Microsoft Azure. Nessa arquitetura, sua análise de custos e fatura no Gerenciamento de Custos exibem vários metros associados ao recurso de capacidade do Fabric.

• O Azure Key Vault é um serviço baseado em nuvem para armazenar e gerenciar com segurança informações confidenciais, como segredos, chaves e certificados. Nessa arquitetura, ele gerencia as credenciais usadas em conexões e gateways do Fabric.

• O Azure Policy é uma ferramenta de governança que impõe regras de governança em recursos do Azure. Nessa arquitetura, ela garante a conformidade, a governança de dados e o controle de custos em toda a plataforma de dados do Fabric.

• A ID do Microsoft Entra é uma solução de gerenciamento de acesso e identidade baseada em nuvem que garante o acesso seguro para usuários, dispositivos e cargas de trabalho. Nessa arquitetura, permite que os usuários entrem no Fabric usando suas credenciais do Microsoft Entra, enquanto impõe controles de acesso de Zero Trust.

• O Azure DevOps é um conjunto de ferramentas e serviços de desenvolvimento que a Microsoft fornece para dar suporte a todo o ciclo de vida de desenvolvimento de software. Nessa arquitetura, o Azure DevOps integra-se aos workspaces do Fabric para gerenciar o ciclo de vida e fornecer controle do código-fonte.

• O GitHub é uma plataforma baseada em nuvem para controle de versão e colaboração que permite que os desenvolvedores armazenem, gerenciem e acompanhem as alterações em seu código. Nessa arquitetura, o GitHub se integra aos workspaces do Fabric para dar suporte ao gerenciamento do ciclo de vida e ao controle do código-fonte.

• O recurso de monitoramento de workspace no Fabric permite coletar, analisar, visualizar logs e métricas de itens do Fabric em um workspace. Nessa arquitetura, ela ajuda a executar o diagnóstico de consulta em seu ambiente do Fabric, identificar problemas, criar painéis de monitoramento personalizados e definir alertas.

Alternatives

O Fabric fornece um conjunto de ferramentas para gerenciar cargas de trabalho de dados e análise com eficiência. Com tantas opções disponíveis, selecionar a ferramenta certa pode ser desafiador. Esses guias de decisão fornecem um roteiro para ajudá-lo a avaliar as opções e determinar a estratégia mais eficaz.

• Para ver comparações de outras alternativas, consulte os seguintes recursos:

  • Escolha um tipo de ingestão no Fabric
  • Escolher uma estratégia de integração de dados no Fabric
  • Escolher uma estratégia de movimentação de dados no Fabric
  • Escolher um armazenamento de dados no Fabric
  • Escolha entre um armazém e uma lakehouse no Fabric

Detalhes do cenário

Este cenário de exemplo mostra como o Fabric facilita as empresas na criação de uma plataforma de dados unificada e moderna que simplifica a integração, acelera insights e reduz a complexidade operacional. Ele ajuda as organizações a superar os desafios comuns de dados, ao mesmo tempo em que impulsionam a escalabilidade, a governança e a eficiência de custos.

Possíveis casos de uso

• Modernize a plataforma de dados corporativos substituindo ferramentas fragmentadas por uma solução unificada.

• Estabeleça uma arquitetura de lago de medalhão usando o Fabric Lakehouses, com uma camada Bronze para ingestão de dados brutos, uma camada Silver para dados limpos e transformados e uma camada Gold para dados prontos para negócios usados em análise e IA. Crie armazéns como soluções específicas de área de assunto ou domínio projetadas para tópicos que exigem análise personalizada.

• Integre fontes de dados relacionais a conjuntos de dados não estruturados usando mecanismos de computação do Fabric.

• Forneça análise operacional em tempo real para monitorar e agir sobre dados de streaming com Inteligência em Tempo Real.

• Gere insights de clientes com suporte de IA para melhorar os dados e gerar valor comercial.

• Forneça relatórios corporativos e BI de autoatendimento por meio de modelagem semântica e ferramentas de visualização avançadas.

• Habilite o compartilhamento de dados entre locatários através de atalhos do OneLake e de compartilhamento de dados externos.

• Integre agentes de dados do Fabric ao Azure AI Foundry ou ao Microsoft Copilot Studio para criar soluções de IA inteligentes, conversacionais e com reconhecimento de contexto para usuários e aplicativos empresariais.

Recommendations

Considere as seguintes recomendações.

Descoberta e governança

A governança de dados é um desafio comum em ambientes de grandes empresas. Os analistas de negócios precisam descobrir e entender os ativos de dados para resolver problemas de negócios, enquanto os diretores de dados buscam insights sobre a privacidade e a segurança dos dados comerciais.

Microsoft Purview

A governança de dados do Microsoft Purview consiste em duas soluções. O Catálogo Unificado e o Mapa de Dados fornecem uma experiência de governança moderna consolidando metadados de diversos catálogos e fontes. Essa integração permite visibilidade, fortalece a confiança dos dados e dá suporte à inovação responsável em toda a empresa.

Mantenha os termos do glossário com a terminologia de negócios específica que os usuários precisam para entender a semântica e o uso do conjunto de dados em toda a organização. Registre fontes de dados e organize-as em coleções, que também servem como limites de segurança para metadados. Configure verificações regulares para catalogar e atualizar automaticamente metadados relevantes sobre ativos de dados organizacionais. Quando um locatário do Fabric é verificado, metadados e linhagem de ativos do Fabric, incluindo o Power BI, são ingeridos automaticamente no catálogo de dados unificados do Microsoft Purview. Atribua automaticamente rótulos de classificação de dados e confidencialidade de dados a ativos de dados com base em regras pré-configuradas ou personalizadas durante as verificações.

Use o gerenciamento de integridade do Catálogo Unificado para monitorar a integridade geral do cenário de dados e proteger a organização contra riscos de segurança e privacidade. Um hub integrado do Microsoft Purview no Fabric fornece insights sobre inventário de dados, etiquetas de sensibilidade e endorsamento. Ele serve como um gateway para se conectar com recursos mais amplos do Microsoft Purview.

Serviços de plataforma

O Fabric dá suporte a vários padrões de implantação que ajudam as organizações a alinhar sua arquitetura de dados com necessidades de negócios, modelos de governança e requisitos de desempenho. Esses padrões são definidos nos níveis de implantação de locatário, capacidade, espaço de trabalho e item. Cada padrão fornece diferentes compensações em escalabilidade, isolamento, custo e complexidade operacional.

O design incorpora vários serviços fundamentais do Azure. A ID do Microsoft Entra fornece serviços de identidade, SSO (logon único) e autenticação multifator em cargas de trabalho do Azure. O Gerenciamento de Custos fornece governança financeira para suas cargas de trabalho do Azure. O Key Vault gerencia credenciais e certificados com segurança. Ao configurar um cofre de chaves no Fabric, você pode recuperar credenciais e certificados do serviço do Key Vault. Use essas credenciais para acessar armazenamentos de dados que não dão suporte à autenticação integrada, como fontes locais ou externas.

O Azure Monitor coleta, analisa e atua na telemetria de recursos do Azure para identificar proativamente problemas e maximizar o desempenho e a confiabilidade. O Azure DevOps e o GitHub Enterprise implementam operações de desenvolvimento (DevOps) para impor a automação e a conformidade nos pipelines de desenvolvimento e implantação de carga de trabalho do Fabric. Essa abordagem permite o controle de versão, a colaboração e o gerenciamento do ciclo de vida. O Azure Policy impõe padrões organizacionais e governança para garantir a consistência dos recursos, a conformidade regulatória, a segurança, o controle de custos e o gerenciamento.

Considerations

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte a lista de verificação de revisão de design para Otimização de Custos.

Para estimar os custos, consulte Preços. O tipo de preço ideal e o custo total de cada serviço na arquitetura dependem da quantidade de dados processados e armazenados e do nível de desempenho esperado. Use o seguinte guia para explorar as principais estratégias de otimização de custo para o Fabric:

• A capacidade do Fabric é um pool compartilhado que alimenta todos os recursos do Fabric, desde engenharia de dados e data warehouse até modelagem de dados, BI e experiências de IA. A Microsoft define preços das unidades de capacidade (CUs) por hora com opções de pagamento conforme o uso ou reserva. O pagamento conforme o uso fornece flexibilidade para pagar apenas pelas horas que você usa a capacidade do Fabric. Você pode pausar as capacidades quando não estiver em uso para gerenciar custos, sem precisar de um compromisso mensal ou anual. As reservas fornecem cobrança previsível e normalmente proporcionam economia para cargas de trabalho estáveis. O armazenamento OneLake fornece uma única cópia de dados em todos os mecanismos analíticos sem a necessidade de mover ou duplicar dados.

• A ferramenta avaliador de capacidade do Fabric ajuda a estimar as necessidades de capacidade e determinar os requisitos apropriados de SKU e armazenamento com base nas características da carga de trabalho. Monitore o uso e o consumo usando o aplicativo Métricas de Capacidade do Fabric para mostrar a utilização da capacidade. O Gerenciamento de Custos controla o uso e define alertas de orçamento. Para obter mais informações, consulte Noções básicas sobre sua fatura do Azure para uma capacidade do Fabric. Os guias de solução de problemas de capacidade do Fabric fornecem recursos para monitorar e otimizar proativamente o uso da capacidade.

• O aplicativo Fabric Chargeback (versão prévia) ajuda as organizações a acompanhar, analisar e alocar custos de uso de capacidade entre unidades de negócios, usuários e cargas de trabalho que usam o Fabric. Ele dá suporte a modelos de chargeback e showback para permitir uma distribuição de custos justa e transparente com base no consumo efetivo. O preço do Microsoft Purview depende do número de ativos de dados no catálogo e do poder de computação necessário para examiná-los.

Excelência operacional

A Excelência operacional abrange os processos de operações que implantam uma aplicação e as mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação de revisão de design para Excelência Operacional.

• Adote uma metodologia de IaC (infraestrutura como código) consistente para provisionar capacidades do Fabric usando Bicep, modelos do ARM (modelos do Azure Resource Manager) e Terraform. Integre workspaces do Fabric ao Git para o gerenciamento do ciclo de vida do aplicativo Fabric e use pipelines de implantação para integração contínua e implantação contínua (CI/CD).

• Use o hub de monitoramento para monitorar as atividades do Fabric. A área de trabalho de monitoramento do administrador fornece uma área de trabalho específica para administradores do Fabric supervisionarem e gerenciarem operações do locatário. Ele fornece relatórios internos para visão geral da atividade, detalhes da atividade e governança, o que permite que os administradores monitorem cargas de trabalho e uso com eficiência. Envie mensagens do Teams em chats de grupo ou canais para notificar o status do pipeline. Para notificações por email, use a atividade do Outlook do Office 365.

• Aplique políticas de governança por meio do Microsoft Purview. Agende revisões de Well-Architected regulares e sprints de otimização. Para obter mais informações sobre novos recursos no Fabric e quando esperar deles, consulte o roteiro do Fabric. Implemente uma arquitetura semelhante em ambientes de pré-produção em que você desenvolva e teste sua plataforma. Considere os requisitos específicos de sua plataforma e os recursos de cada serviço para criar um ambiente de pré-produção econômico.

Contributors

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autores principais:

• Kevin Lee | Arquiteto de Soluções na Nuvem
• Lavanya Sreedhar | Arquiteto sênior de soluções de nuvem

Para ver perfis não públicos no LinkedIn, entre no LinkedIn.

Próximas etapas

• Roteiro de adoção do Fabric
• Introdução ao Fabric