Migrowanie ze starszych tabel online i innych firm

Na tej stronie opisano sposób migrowania istniejących tabel online usługi Databricks (starsza wersja). Możesz przeprowadzić migrację do następujących elementów:

• Sklep funkcji online
• Zsynchronizowana tabela usługi Lakebase

Wyświetlanie listy wszystkich istniejących tabel online

Aby wyświetlić wszystkie istniejące tabele online w obszarze roboczym, użyj zapytania SQL lub skryptu języka Python.

SQL

Zastąp <workspace_url> i <workspace_id> informacjami o swoim obszarze roboczym.

SELECT
  CONCAT("https://<workspace_url>/pipelines/", usage_metadata.dlt_pipeline_id, "?o=<workspace_id>"),
  SUM(usage_quantity)
FROM
  system.billing.usage
WHERE
  usage_date > DATE_SUB(NOW(), 7)
  AND billing_origin_product = 'ONLINE_TABLES'
GROUP BY
  ALL;

Python

from databricks.sdk import *
from databricks.sdk.service.catalog import *

w = WorkspaceClient()

result = []
for catalog in w.catalogs.list():
    for schema in w.schemas.list(catalog_name=catalog.name):
        for table in w.tables.list(catalog_name=catalog.name, schema_name=schema.name):
            if table.table_type == TableType.FOREIGN and table.data_source_format == DataSourceFormat.MYSQL_FORMAT and table.pipeline_id is not None:
                result.append((table.full_name, table.comment))

print(result)

Migrowanie tabel online do magazynu funkcji online dla modelu lub funkcji obsługujących punkty końcowe

Krok 1. Tworzenie magazynu funkcji online i publikowanie tabel funkcji

Usługa Databricks zaleca utworzenie pojedynczego magazynu online na obszar roboczy na potrzeby testowania i weryfikacji koncepcji. W przypadku przypadków użycia w środowisku produkcyjnym lub wymagań dotyczących izolacji można aprowizować dodatkowe magazyny.

from databricks.feature_engineering import FeatureEngineeringClient

fe = FeatureEngineeringClient()

# Create a single online store that can support multiple feature tables
fe.create_online_store(
    name="online-feature-store",
    capacity="CU_1"
)

Aby uzyskać szczegółowe informacje na temat publikowania tabel funkcji, zobacz Magazyny funkcji online usługi Databricks.

Krok 2. Aktualizowanie punktu końcowego, który zależy od tych funkcji online

Użyj zestawu SDK usługi Databricks dla języka Python lub interfejsu użytkownika, aby zaktualizować punkt końcowy przy użyciu nowej zmiennej MIGRATE_FEATURE_STORE środowiskowej z bieżącą datą jako wartością.

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import EndpointCoreConfigInput, ServedEntityInput

workspace = WorkspaceClient()

workspace.serving_endpoints.update_config(
  name="my-serving-endpoint",
  served_entities=[
    ServedEntityInput(
      entity_name="main.default.customer_features",
      workload_size="Small",
      scale_to_zero_enabled=True,
      environment_vars={
        # Set to the current date (optional time) to indicate migration to online store
        # This environment variable can be removed after January 15, 2026.
        "MIGRATE_FEATURE_STORE": "2025-11-13"
      }
    )
  ]
)

Aby uzyskać szczegółowe informacje, zobacz Aktualizowanie punktu końcowego.

Krok 3. Czyszczenie tabel online

Sprawdź, czy punkt końcowy korzysta z nowego magazynu online, sprawdzając, czy zdarzenia punktu końcowego zawierają komunikaty takie jak Linked to Online Feature Store table: "table name". Zobacz Monitorowanie jakości modelu i kondycji punktu końcowego.

Następnie usuń starsze tabele online. Zobacz Usuwanie tabeli online przy użyciu interfejsu użytkownika lub Usuwanie tabeli online przy użyciu interfejsów API.

Migrowanie tabel online do zsynchronizowanych tabel olTP

Krok 1. Tworzenie wystąpienia bazy danych

Aby rozpocząć, utwórz wystąpienie bazy danych Lakebase do przechowywania zsynchronizowanych tabel. Zobacz Stwórz i zarządzaj wystąpieniem bazy danych.

Opcjonalnie możesz utworzyć wykaz baz danych, aby używać uprawnień wykazu aparatu Unity do zarządzania dostępem do danych. Zobacz Zarejestruj swoją bazę danych w Katalogu Unity.

Krok 2. Tworzenie zsynchronizowanej tabeli z tabeli źródłowej

Zsynchronizowana tabela to tabela typu Postgres tylko do odczytu w ramach Unity Catalog, która automatycznie synchronizuje dane z tabeli Unity Catalog do twojego wystąpienia bazy danych Lakebase.

Aby przeprowadzić migrację z tabel online do zsynchronizowanych tabel, utwórz zsynchronizowaną tabelę z tabeli źródłowej tabeli online:

1. W Wykaz, wybierz tabelę online, którą chcesz przeprowadzić migrację do zsynchronizowanej tabeli.
2. Na karcie Przegląd w sekcji Opis kliknij nazwę tabeli Źródło.
3. Utwórz zsynchronizowaną tabelę z wybranej tabeli źródłowej. Zobacz Synchronizowanie danych z tabel katalogu Unity do instancji bazy danych.
   • Zsynchronizowaną tabelę można przechowywać w tej samej lokalizacji katalogu co istniejąca tabela online.
   • Potok można udostępniać między zsynchronizowanych tabelami.
4. Po utworzeniu zsynchronizowanej tabeli możesz nawiązać połączenie z wystąpieniem bazy danych i wykonać zapytanie bezpośrednio. Zobacz Connect and query (Nawiązywanie połączenia i wykonywanie zapytań).

Krok 3. Czyszczenie tabel online

Po utworzeniu zsynchronizowanych tabel usuń tabele online. Zobacz Usuwanie tabeli online przy użyciu interfejsu użytkownika lub Usuwanie tabeli online przy użyciu interfejsów API.