Documentação da Engenharia de Dados no Microsoft Fabric

Sobre a Engenharia de dados

Visão geral

• O que é a Engenharia de dados?
• O que é um lakehouse?

Conceito

• Tabelas Lakehouse e Delta
• Funções e permissões do espaço de trabalho
• Escolher um armazenamento de dados

Guia de Instruções

• Otimização Delta e Ordem V
• Carregar nas tabelas

Introdução ao lakehouse

Introdução

• Criar um lakehouse
• Navegar pelo lakehouse explorer

Guia de Instruções

• Obter dados no lakehouse usando o notebook

Tutorial

• Etapa 1 – criar um workspace
• Etapa 2 – Criar um lakehouse
• Etapa 3 – Ingerir dados no lakehouse
• Etapa 4 – Transformar dados em tabelas delta
• Etapa 5 – Criar um relatório
• Etapa 6: Limpar os recursos

Introdução aos notebooks

Introdução

• Criar e usar notebooks

Guia de Instruções

• Desenvolver e executar notebooks
• Explorar dados do lakehouse com um notebook
• Visualizar os notebooks
• Implantação e controle do código-fonte de notebooks
• Criar e executar notebooks do T-SQL

Consulta com a API para GraphQL

Visão geral

• O que é a API de Fabric para GraphQL?

Introdução

• Criar uma API para GraphQL e adicionar dados

Guia de Instruções

• Gerenciar relações
• Conectar-se a aplicativos
• Consultar várias fontes de dados
• Pipelines de implantação e controle do código-fonte do GraphQL
• Monitoramento de dashboard e registro em log (versão prévia)

Integração do VS Code

Conceito

• O que é a extensão VS Code da Engenharia de Dados?

Guia de Instruções

• Usar notebooks do VS Code
• Usar a imagem de contêiner do VS Code
• Usar definições de trabalho do Spark do VS Code
• Explorar o lakehouse do VS Code
• Desenvolver notebook com base na experiência Web do VS Code

Apache Spark para Engenharia de Dados

Conceito

• Definição de trabalho do Apache Spark
• O que é o assistente do Apache Spark?

Introdução

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API do Fabric
• Integração do Git à definição de trabalho do Spark

Guia de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Gerenciar pacotes do Apache Spark
• Como usar o Fabric MSSparkUtils

Introdução ao ambiente

Introdução

• Ambientes do Microsoft Fabric

Guia de Instruções

• Gerenciar computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Ambiente de integração Git e pipeline de implantação
• Gerenciar o ambiente por meio de APIs públicas
• Gerenciamento de bibliotecas no ambiente protegido pela proteção de acesso de saída

Fabric Livy API

Visão geral

• O que é a API do Livy?

Introdução

• Criar e executar trabalhos do Spark usando a API do Livy
• Enviar trabalhos de sessão da API do Livy
• Enviar trabalhos em lotes da API do Livy

Otimizar com vistas materializadas para o lago

Visão geral

• O que são vistas materializadas do lago?

Introdução

• Comece com vistas materializadas do lago
• Implementar a arquitetura do Medallion com vistas materializadas para o lago
• Gerenciar vistas materializadas do lago