O que é Lakebase?

Esta página apresenta o Azure Databricks Lakebase, um mecanismo de banco de dados OLTP Postgres totalmente gerenciado, integrado à Plataforma de Inteligência de Dados Databricks. Uma instância de banco de dados é um tipo de computação do Azure Databricks que fornece o armazenamento e a computação para executar um servidor Postgres que gerencia vários bancos de dados.

Visão geral

Um banco de dados de processamento de transações on-line (OLTP) é um tipo especializado de sistema de banco de dados projetado para lidar eficientemente com grandes volumes de dados transacionais em tempo real. O Lakebase permite que você crie um banco de dados OLTP no Azure Databricks e integre cargas de trabalho OLTP ao seu Lakehouse. Esse banco de dados OLTP permite criar e gerenciar bancos de dados armazenados no armazenamento gerenciado por Databricks.

Usar um banco de dados OLTP em conjunto com a plataforma Azure Databricks reduz significativamente a complexidade do aplicativo. O Lakebase está bem integrado com Databricks Feature Store, SQL warehouses e Databricks Apps. O uso de tabelas de sincronização fornece uma maneira simples e eficiente de sincronizar dados entre cargas de trabalho OLTP e OLAP (processamento analítico online).

Baseado no Postgres e totalmente integrado com a Databricks Data Intelligence Platform, o Lakebase herda vários recursos principais da plataforma, incluindo:

• Gestão simplificada: Aproveita a infraestrutura existente do Azure Databricks para implantar instâncias com computação e armazenamento dissociados, captura de dados de alteração gerenciada com o Delta Lake e suporte para implantações em várias nuvens.
• Integração de inteligência artificial (IA) e aprendizado de máquina (ML): Suporta funcionalidade e serviço de modelo, geração aumentada de recuperação (RAG) e outras integrações de IA e ML.
• Autenticação e governança integradas: Opcionalmente, use o Unity Catalog para impor o acesso seguro aos dados.

Exemplos de casos de uso

Os exemplos a seguir mostram como organizações em diferentes setores usam as integrações do Azure Databricks para tomada de decisões em tempo real e automação de fluxo de trabalho:

• Comércio eletrónico: Use segmentos de clientes e insights pré-calculados para dar suporte a fluxos de trabalho, como entrega preferencial, segmentação de ofertas e recomendações personalizadas de produtos.
• Cuidados de saúde: Gerencie dados de ensaios clínicos e apresente insights relevantes por meio de sistemas de recomendação incorporados em fluxos de trabalho clínicos.
• Serviços financeiros: Habilite a negociação automática de mercado com base em dados de streaming e modelos pré-treinados.
• Retalho: Use um chatbot que incorpore o histórico de conversas recentes e dados em tempo real (por exemplo, conteúdo do carrinho de compras) para personalizar as respostas e aumentar o engajamento.
• Fabrico: Rastreie e gerencie dados de telemetria de máquina e IoT para dar suporte à tomada de decisões de baixa latência e fluxos de trabalho de manutenção automatizados.

Tipos de carga de trabalho

• Serviço de dados: Forneça informações de tabelas douradas a aplicativos com baixa latência e alto QPS.
• Estado do aplicativo de armazenamento: Gerencie o estado do seu fluxo de trabalho em nosso armazenamento de dados transacionais.
• Serviço de Característica: Forneça dados caracterizados aos modelos com baixa latência.

Integração com Databricks

Os seguintes recursos oferecem suporte à integração do Lakebase com os recursos existentes do Azure Databricks:

• Integração com a loja de recursos online: Use tabelas PostgreSQL como uma loja online para servir recursos em tempo real. Consulte Databricks Online Feature Stores.
• Armazenar dados de Aplicativos Databricks: Adicione instâncias de base de dados como um recurso de aplicativo para persistir dados em implantações de Aplicativos Azure Databricks. Consulte Adicionar um recurso do Lakebase a um aplicativo Databricks.
• Recursos do Databricks Asset Bundles: Defina instâncias de banco de dados e tabelas sincronizadas como recursos em um pacote para ajudar a gerenciar projetos complexos. Veja database_instance e synced_database_table.
• Integração Databricks Terraform: Use o provedor Databricks Terraform para criar e gerenciar recursos do Lakebase. O Terraform permite automatizar os aspetos mais complicados da implantação e gerenciamento de suas plataformas de dados. Consulte o provedor Databricks Terraform e a documentação do Terraform.