Qu’est-ce que Lakebase ?

Cette page présente Azure Databricks Lakebase, un moteur de base de données Postgres OLTP entièrement managé, intégré à la plateforme Databricks Data Intelligence. Une instance de base de données est un type de calcul Azure Databricks qui fournit le stockage et le calcul pour l’exécution d’un serveur Postgres qui gère plusieurs bases de données.

Aperçu

Une base de données OLTP (Online Transaction Processing) est un type spécialisé de système de base de données conçu pour gérer efficacement des volumes élevés de données transactionnelles en temps réel. Lakebase vous permet de créer une base de données OLTP sur Azure Databricks et d’intégrer des charges de travail OLTP à votre Lakehouse. Cette base de données OLTP vous permet de créer et de gérer des bases de données stockées dans le stockage géré par Databricks.

L’utilisation d’une base de données OLTP conjointement avec la plateforme Azure Databricks réduit considérablement la complexité des applications. Lakebase est bien intégré au magasin de fonctionnalités Databricks, aux entrepôts SQL et aux applications Databricks. L’utilisation de tables de synchronisation offre un moyen simple et performant de synchroniser les données entre les charges de travail OLTP et OLAP (Online Analytical Processing).

Basé sur Postgres et entièrement intégré à la plateforme Databricks Data Intelligence, Lakebase hérite de plusieurs fonctionnalités de plateforme de base, notamment :

• Gestion simplifiée : Tire parti de l’infrastructure Azure Databricks existante pour déployer des instances avec le calcul et le stockage découplés, la capture de données modifiées managées avec Delta Lake et la prise en charge des déploiements multiclouds.
• Fonctionnalités d’intelligence artificielle intégrée (IA) et de Machine Learning (ML) : Prend en charge les fonctionnalités et les modèles servant, la génération augmentée de récupération (RAG) et d’autres intégrations IA et ML.
• Authentification et gouvernance intégrées : Si vous le souhaitez, utilisez le catalogue Unity pour appliquer un accès sécurisé aux données.

Exemples de cas d’utilisation

Les exemples suivants montrent comment les organisations dans différents secteurs utilisent des intégrations Azure Databricks pour la prise de décision en temps réel et l’automatisation des flux de travail :

• E-commerce : Utilisez des segments de clients prédéfinis et des insights pour prendre en charge des flux de travail tels que la livraison privilégiée, le ciblage des offres et les recommandations personnalisées sur les produits.
• Santé: Gérez les données d’essai clinique et surfacez les insights pertinents par le biais de systèmes de recommandation incorporés dans les flux de travail cliniques.
• Services financiers: Activez le trading automatique du marché en fonction des données de diffusion en continu et des modèles préentraînés.
• Vente au détail: Utilisez un chatbot qui intègre l’historique des conversations récent et les données en temps réel (par exemple, le contenu du panier d’achat) pour personnaliser les réponses et stimuler l’engagement.
• Fabrication: Suivez et gérez les données de télémétrie des machines et IoT pour prendre en charge les workflows de prise de décision et de maintenance automatisée à faible latence.

Types de charges de travail

• Service des données : Fournissez des informations stratégiques des tables de référence aux applications avec une faible latence et un haut débit de requêtes par seconde (QPS).
• Stocker l’état de l’application : Gérez l'état de votre flux de travail dans notre stockage de données transactionnel.
• Service des fonctionnalités : servez les données de fonctionnalité à une faible latence pour les modèles.

Intégration de Databricks

Les fonctionnalités suivantes prennent en charge l’intégration de Lakebase à des fonctionnalités Azure Databricks existantes :

• Intégration du magasin de fonctionnalités en ligne : Utilisez des tables PostgreSQL en tant que magasin en ligne pour le service des fonctionnalités en temps réel. Consultez les magasins de fonctionnalités Databricks Online.
• Stocker les données Databricks Apps : Ajoutez des instances de base de données en tant que ressource d’application pour conserver des données dans les déploiements Azure Databricks Apps. Consultez Ajouter une ressource Lakebase à une application Databricks.
• Ressources Databricks Asset Bundles : Définissez des instances de base de données et des tables synchronisées en tant que ressources dans un bundle pour aider à gérer des projets complexes. Consultez database_instance et synced_database_table.
• Intégration de Databricks Terraform : Utilisez le fournisseur Databricks Terraform pour créer et gérer des ressources Lakebase. Terraform vous permet d’automatiser les aspects les plus compliqués du déploiement et de la gestion de vos plateformes de données. Consultez le fournisseur Databricks Terraform et la documentation Terraform.