Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
As soluções de Big Data geralmente consistem em tarefas discretas de processamento em lote que contribuem para a solução geral de processamento de dados. Você pode usar o processamento em lote para cargas de trabalho que não exigem acesso imediato a insights. O processamento em lote pode complementar os requisitos de processamento em tempo real. Você também pode usar o processamento em lote para equilibrar a complexidade e reduzir o custo da implementação geral.
O requisito fundamental dos mecanismos de processamento em lote é dimensionar cálculos para lidar com um grande volume de dados. Ao contrário do processamento em tempo real, o processamento em lote tem latências, ou o tempo entre a ingestão de dados e a computação de um resultado, de minutos ou horas.
Escolha uma tecnologia para processamento em lote
A Microsoft oferece vários serviços que você pode usar para fazer processamento em lote.
Microsoft Fabric
O Microsoft Fabric é uma plataforma de dados e análise tudo-em-um para organizações. É uma oferta de software como serviço que simplifica a forma como provisiona, gerencia e governa uma solução de análise de ponta a ponta. O Fabric lida com movimentação, processamento, ingestão, transformação e emissão de relatórios de dados. As características da Fabric que se usam para processamento em lote incluem engenharia de dados, data warehouses, lakehouses e processamento Apache Spark. O Azure Data Factory na plataforma Fabric também oferece suporte a lakehouses. Para simplificar e acelerar o desenvolvimento, você pode habilitar o Copilot orientado por IA.
Linguagens: R, Python, Java, Scala e SQL
Segurança: Rede virtual gerenciada e controle de acesso baseado em função (RBAC) do OneLake
Armazenamento principal: OneLake, que tem atalhos e opções de espelhamento
Spark: Uma piscina inicial pré-hidratada e uma piscina Spark customizada com tamanhos de nós predefinidos
Azure Databricks
O Azure Databricks é uma plataforma de análise baseada no Spark. Ele possui recursos ricos e premium do Spark que são construídos em cima do Spark de código aberto. O Azure Databricks é um serviço da Microsoft que se integra com o resto dos serviços do Azure. Ele possui configurações extras para implantações de cluster do Spark. E o Unity Catalog ajuda a simplificar a governança dos objetos do Azure Databricks Spark.
Linguagens: R, Python, Java, Scala e Spark SQL.
Segurança: Autenticação do usuário com o Microsoft Entra ID.
Armazenamento primário: Integração integrada com Azure Blob Storage, Data Lake Storage, Fabric OneLake e outros serviços. Para obter mais informações, consulte Fontes de dados.
Outros benefícios incluem:
Cadernos baseados na web para colaboração e exploração de dados.
Tempos de arranque rápidos dos clusters, encerramento automático e escala automática.
Suporte para clusters habilitados para GPU.
Principais critérios de seleção
Para escolher sua tecnologia para processamento em lote, considere as seguintes perguntas:
Você quer um serviço gerenciado ou deseja gerenciar seus próprios servidores?
Deseja criar lógica de processamento em lote declarativa ou imperativamente?
Você executa processamento em lote em rajadas? Se sim, considere opções que forneçam a capacidade de encerrar automaticamente um cluster ou que tenham modelos de preços para cada trabalho em lote.
Você precisa consultar armazenamentos de dados relacionais junto com seu processamento em lote, por exemplo, para procurar dados de referência? Se sim, considere as opções que fornecem a capacidade de consultar repositórios relacionais externos.
Matriz de capacidades
As tabelas a seguir resumem as principais diferenças nos recursos entre serviços.
Capacidades gerais
| Capacidade | Malha | Azure Databricks |
|---|---|---|
| Software como serviço | Sim1 | Não |
| Serviço gerido | Não | Sim |
| Armazenamento de dados relacional | Sim | Sim |
| Modelo de preços | Unidades de capacidade | Unidade 2 do Azure Databricks e hora do cluster |
[1] Capacidade de malha atribuída.
[2] Uma unidade do Azure Databricks é a capacidade de processamento por hora.
Outras capacidades
| Capacidade | Malha | Azure Databricks |
|---|---|---|
| Dimensionamento automático | Não | Sim |
| Granularidade de expansão | Por malha SKU | Por cluster |
| Cache de dados na memória | Não | Sim |
| Consulta de repositórios relacionais externos | Sim | Sim |
| Autenticação | Microsoft Entra ID | Microsoft Entra ID |
| Auditoria | Sim | Sim |
| Segurança ao nível da linha | Sim | Sim |
| Suporta firewalls | Sim | Sim |
| Máscara de dados dinâmica | Sim | Sim |
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Principais autores:
- Zoiner Tejada | CEO e Arquiteto
- Pratima Valavala | Arquiteta de Soluções Principal
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.