Migrar de tabelas online herdadas e de terceiros

Esta página descreve como migrar suas tabelas online existentes. Você pode migrar para o seguinte:

• Um repositório de recursos online
• Uma tabela sincronizada do Lakebase

Listar todas as tabelas online existentes

Para ver todas as tabelas online existentes em seu workspace, use uma consulta SQL ou um script Python.

SQL

Substitua <workspace_url> e <workspace_id> com suas informações de workspace.

SELECT
  CONCAT("https://<workspace_url>/pipelines/", usage_metadata.dlt_pipeline_id, "?o=<workspace_id>"),
  SUM(usage_quantity)
FROM
  system.billing.usage
WHERE
  usage_date > DATE_SUB(NOW(), 7)
  AND billing_origin_product = 'ONLINE_TABLES'
GROUP BY
  ALL;

Python

from databricks.sdk import *
from databricks.sdk.service.catalog import *

w = WorkspaceClient()

result = []
for catalog in w.catalogs.list():
    for schema in w.schemas.list(catalog_name=catalog.name):
        for table in w.tables.list(catalog_name=catalog.name, schema_name=schema.name):
            if table.table_type == TableType.FOREIGN and table.data_source_format == DataSourceFormat.MYSQL_FORMAT and table.pipeline_id is not None:
                result.append((table.full_name, table.comment))

print(result)

Migrar tabelas online para o repositório de recursos online para pontos de extremidade de serviço de modelo ou recurso

Etapa 1: criar um repositório de recursos online e publicar as tabelas de recursos

O Databricks recomenda a criação de um único repositório online por workspace para teste e prova de conceito. Para casos de uso de produção ou requisitos de isolamento, você pode provisionar repositórios adicionais.

from databricks.feature_engineering import FeatureEngineeringClient

fe = FeatureEngineeringClient()

# Create a single online store that can support multiple feature tables
fe.create_online_store(
    name="online-feature-store",
    capacity="CU_1"
)

Para obter detalhes sobre como publicar tabelas de recursos, consulte Os Repositórios de Recursos do Databricks Online.

Etapa 2: Atualizar o ponto de extremidade que depende desses recursos online

Use o SDK do Databricks em Python ou a interface do usuário para atualizar o ponto de extremidade com uma nova variável de ambiente MIGRATE_FEATURE_STORE usando a data atual como valor.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.update_config(
  name="my-serving-endpoint",
  served_entities=[
    ServedEntityInput(
      entity_name="main.default.customer_features",
      workload_size="Small",
      scale_to_zero_enabled=True,
      environment_vars={
        # Set to the current date (optional time) to indicate migration to online store
        # This environment variable can be removed after January 15, 2026.
        "MIGRATE_FEATURE_STORE": "2025-11-13"
      }
    )
  ]
)

Para obter detalhes, consulte Atualizar um ponto de extremidade.

Etapa 3: Limpar suas tabelas online

Verifique se o ponto de extremidade está usando o novo repositório online verificando se os eventos de ponto de extremidade contêm mensagens como Linked to Online Feature Store table: "table name". Consulte a qualidade do modelo monitor e a integridade do ponto de extremidade.

Em seguida, exclua suas tabelas online herdadas. Consulte Excluir uma tabela online usando a interface do usuário ou excluir uma tabela online usando APIs.

Migrar tabelas online para tabelas sincronizadas para OLTP

Etapa 1: Criar uma instância de banco de dados

Para começar, crie uma instância de banco de dados do Lakebase para armazenar suas tabelas sincronizadas. Consulte Criar e gerenciar uma instância de banco de dados.

Opcionalmente, você pode criar um catálogo de banco de dados para usar privilégios do Catálogo do Unity para gerenciar o acesso a dados. Consulte Registrar seu banco de dados no Catálogo do Unity.

Etapa 2: Criar uma tabela sincronizada da tabela de origem

Uma tabela sincronizada é uma tabela Postgres somente leitura do Catálogo do Unity que sincroniza automaticamente os dados de uma tabela do Catálogo do Unity para a instância do banco de dados Lakebase.

Para migrar de tabelas online para tabelas sincronizadas, crie uma tabela sincronizada da tabela de origem de uma tabela online:

1. No Catálogo, selecione a tabela online que você deseja migrar para uma tabela sincronizada.
2. Na guia Visão geral , na seção Descrição , clique no nome da tabela Origem.
3. Crie uma tabela sincronizada da tabela de origem selecionada. Consulte o ETL Reverso com o Lakebase.
   • Você pode armazenar a tabela sincronizada no mesmo local de catálogo que a tabela online existente.
   • Você pode compartilhar um pipeline entre tabelas sincronizadas.
4. Depois que a tabela sincronizada for criada, você poderá se conectar à instância do banco de dados e consultá-la diretamente. Consulte Conectar e consultar.

Etapa 3: Limpar suas tabelas online

Depois de criar suas tabelas sincronizadas, exclua suas tabelas online. Consulte Excluir uma tabela online usando a interface do usuário ou excluir uma tabela online usando APIs.

Excluir uma tabela online usando a interface do usuário

Na página da tabela online, selecione Excluir no menu kebab.

Excluir uma tabela online usando APIs

SDK do Databricks – Python

w.online_tables.delete('main.default.my_online_table')

API REST

curl --request DELETE \
  "https://xxx.databricks.com/api/2.0/online-tables/main.default.my_online_table" \
  --header "Authorization: Bearer xxx"

A exclusão da tabela online interrompe qualquer sincronização de dados e libere todos os seus recursos.