Interfejs API języka Python

Ta strona zawiera linki do dokumentacji interfejsu API języka Python usługi Databricks Feature Engineering and Databricks legacy Workspace Feature Store oraz informacji o pakietach klienta databricks-feature-engineering i databricks-feature-store.

Macierz zgodności

Pakiet i klient, którego należy użyć, zależą od tego, gdzie znajdują się tabele funkcji, oraz od używanej wersji usługi Databricks Runtime ML, jak pokazano w poniższej tabeli.

Aby zidentyfikować wersję pakietu wbudowaną w wersję uczenia maszynowego środowiska Databricks Runtime, zobacz macierz zgodności inżynierii funkcji.

Informacje o wersji

Zobacz Artykuł Databricks feature engineering and legacy Workspace Feature Store release notes (Inżynieria funkcji usługi Databricks i starsze informacje o wersji magazynu funkcji obszaru roboczego).

Dokumentacja interfejsu API języka Python inżynierii funkcji

Zobacz dokumentację interfejsu API języka Python inżynierii funkcji.

Dokumentacja interfejsu API języka Python (przestarzałe) dla Sklepu Funkcji Obszaru Roboczego

Aby uzyskać informacje o databricks-feature-store wersji v0.17.0, zobacz Dokumentacja interfejsu API Databricks FeatureStoreClient w języku Python do inżynierii funkcji, aby zapoznać się z najnowszymi informacjami o interfejsie API magazynu funkcji obszaru roboczego.

W przypadku wersji 0.16.3 i starszych użyj linków w tabeli, aby pobrać lub wyświetlić dokumentację interfejsu API języka Python Feature Store. Aby określić preinstalowaną wersję środowiska Databricks Runtime ML, zapoznaj się z macierzą zgodności.

Pakiet języka Python

W tej sekcji opisano sposób instalowania pakietów języka Python w celu korzystania z usługi Databricks Feature Engineering i Databricks Workspace Feature Store.

Inżynieria cech

Interfejsy API tworzenia cech usługi Databricks są dostępne za pośrednictwem pakietu klienta języka Python databricks-feature-engineering. Klient jest dostępny w PyPI i jest wstępnie zainstalowany w środowisku Databricks Runtime 13.3 LTS ML i nowszych wersjach.

Aby uzyskać informacje o wersji klienta odpowiadającej wersji środowiska uruchomieniowego, zobacz macierz zgodności.

Aby zainstalować klienta w środowisku Databricks Runtime:

%pip install databricks-feature-engineering

Aby zainstalować klienta w lokalnym środowisku języka Python:

pip install databricks-feature-engineering

Magazyn funkcji przestrzeni roboczej (przestarzałe)

Interfejsy API repozytorium funkcji Databricks są dostępne za pośrednictwem pakietu klienta Python databricks-feature-store. Pakiet jest dostępny na platformie PyPI i jest wstępnie zainstalowany w środowisku uruchomieniowym Databricks dla uczenia maszynowego. Aby uzyskać informacje o tym, które środowisko uruchomieniowe zawiera wersję klienta, zobacz macierz zgodności.

Aby zainstalować klienta w środowisku Databricks Runtime:

%pip install databricks-feature-store

Aby zainstalować klienta w lokalnym środowisku języka Python:

pip install databricks-feature-store

Migrowanie do databricks-feature-engineering

Aby zainstalować databricks-feature-engineering pakiet, użyj polecenia pip install databricks-feature-engineering zamiast pip install databricks-feature-store. Wszystkie moduły w databricks-feature-store zostały przeniesione do databricks-feature-engineering, więc nie trzeba zmieniać żadnego kodu. Instrukcje importu, takie jak from databricks.feature_store import FeatureStoreClient będą nadal działać po zainstalowaniu programu databricks-feature-engineering.

Aby pracować z tabelami cech w Unity Catalog, użyj polecenia FeatureEngineeringClient. Aby użyć magazynu funkcji Workspace, należy użyć FeatureStoreClient.

Obsługiwane scenariusze

W przypadku usługi Databricks, w tym środowiska Databricks Runtime i środowiska Databricks Runtime na potrzeby uczenia maszynowego, można wykonywać następujące czynności:

• Tworzenie, odczytywanie i zapisywanie tabel funkcji.
• Trenowanie i ocenianie modeli na danych cech.
• Publikuj tabelę cech w sklepach internetowych na potrzeby serwowania w czasie rzeczywistym.

Ze środowiska lokalnego lub środowiska zewnętrznego do usługi Databricks można wykonywać następujące czynności:

• Opracowywanie kodu przy użyciu lokalnej obsługi środowiska IDE.
• Test jednostkowy korzystający ze struktur makiety.
• Napisz testy integracyjne do uruchomienia w usłudze Databricks.

Ograniczenia

Bibliotekę klienta można uruchamiać tylko w usłudze Databricks, w tym w środowisku Databricks Runtime i Databricks Runtime for Machine Learning. Nie obsługuje wywoływania inżynierii cech w katalogu Unity ani interfejsów API sklepu cech z lokalnego środowiska lub ze środowiska innego niż Databricks.

Używanie klientów do testowania jednostkowego

Możesz zainstalować klienta Unity Catalog dla inżynierii funkcji lub klienta Feature Store lokalnie, aby umożliwić łatwiejsze przeprowadzanie testów jednostkowych.

Aby na przykład potwierdzić, że metoda update_customer_features poprawnie wywołuje metodę FeatureEngineeringClient.write_table (lub dla Magazynu Funkcji Obszaru Roboczego, FeatureStoreClient.write_table), możesz napisać:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Używanie klientów do testowania integracji

Testy integracji można uruchamiać za pomocą Feature Engineering w kliencie Unity Catalog lub kliencie Feature Store na platformie Databricks. Aby uzyskać szczegółowe informacje, zobacz Narzędzia deweloperskie i wskazówki: użyj CI/CD.