Documentação de engenharia de dados no Microsoft Fabric

Sobre Engenharia de Dados

Descrição geral

• O que é engenharia de dados?
• O que é uma casa de lago?

Conceito

• Mesas Lakehouse e Delta
• Funções e permissões do espaço de trabalho
• Escolher um arquivo de dados

Manual de Instruções

• Otimização Delta e V-Order
• Carregar em tabelas

Comece a usar o lakehouse

Começar agora

• Criar uma casa no lago
• Navegue pelo explorador da casa do lago

Manual de Instruções

• Obter dados em lakehouse usando o notebook

Tutorial

• Etapa 1 - Criar um espaço de trabalho
• Passo 2 - Criar uma casa no lago
• Etapa 3 - Ingerir dados em lakehouse
• Etapa 4 - Transformar dados em tabelas delta
• Etapa 5 - Criar um relatório
• Etapa 6 - Limpar recursos

Introdução aos blocos de notas

Começar agora

• Criar e utilizar blocos de notas

Manual de Instruções

• Desenvolver e executar blocos de notas
• Explore os dados da lakehouse com um bloco de anotações
• Visualizar blocos de anotações
• Controle e implantação do código-fonte de notebooks
• Criar e executar blocos de anotações T-SQL

Consulta com API para GraphQL

Descrição geral

• O que é a API de malha para GraphQL?

Começar agora

• Criar uma API para o GraphQL e adicionar dados

Manual de Instruções

• Gerir Relações
• Ligar a aplicações
• Consultar várias fontes de dados
• Controle de origem e pipelines de implantação do GraphQL
• Painel de monitoramento e registro em log (visualização)

Integração do VS Code

Conceito

• O que é a extensão Data Engineering VS Code?

Manual de Instruções

• Usar blocos de anotações do VS Code
• Usar imagem de contêiner do VS Code
• Usar definições de trabalho do Spark do VS Code
• Explore lakehouse a partir do VS Code
• Desenvolver notebook a partir da experiência web do VS Code

Apache Spark para Engenharia de Dados

Conceito

• Definição de trabalho do Apache Spark
• O que é o Apache Spark advisor?

Começar agora

• Criar uma definição de trabalho do Spark
• Criar uma definição de trabalho do Spark com uma API de malha
• Definição de trabalho do Spark Integração Git

Manual de Instruções

• Agendar e executar uma definição de trabalho do Spark
• Gerenciar bibliotecas do Apache Spark
• Como usar o Fabric MSSparkUtils

Introdução ao ambiente

Começar agora

• Ambientes Microsoft Fabric

Manual de Instruções

• Gerencie a computação do Spark em ambientes
• Gerenciar bibliotecas em ambientes
• Pipeline de integração e implantação do Git de ambiente
• Gerencie o ambiente por meio de APIs públicas
• Gerenciando bibliotecas em ambiente protegido pela proteção de acesso de saída

Fabric Livy API

Descrição geral

• O que é a API Livy?

Começar agora

• Criar e executar trabalhos do Spark usando a API do Livy
• Enviar trabalhos de sessão da API Livy
• Enviar trabalhos em lote da API Livy

Otimize com vistas materializadas do lago

Descrição geral

• O que são vistas materializadas do lago?

Começar agora

• Comece com vistas materializadas do lago
• Implemente a arquitetura Medallion com vistas materializadas para o lago
• Gerencie as vistas materializadas do lago