Udostępnij przez

Magazyn funkcji usługi Databricks

Ta strona zawiera omówienie funkcji dostępnych w przypadku korzystania z magazynu funkcji usługi Databricks z wykazem aparatu Unity.

Magazyn funkcji usługi Databricks udostępnia centralny rejestr funkcji używanych w modelach sztucznej inteligencji i uczenia maszynowego. Tabele funkcji i modele są rejestrowane w wykazie aparatu Unity, zapewniając wbudowane zarządzanie, pochodzenie i udostępnianie funkcji między obszarami roboczymi oraz odnajdywanie. W przypadku usługi Databricks cały przepływ pracy trenowania modelu odbywa się na jednej platformie, w tym:

  • Potoki danych, które pozyskiwają nieprzetworzone dane, tworzą tabele funkcji, trenują modele i wykonują wnioskowanie wsadowe.
  • Model i funkcja obsługujące punkty końcowe, które są dostępne za pomocą jednego kliknięcia i które zapewniają milisekundy opóźnienia.
  • Monitorowanie danych i modeli.

Gdy używasz funkcji z magazynu funkcji do trenowania modeli, model automatycznie śledzi pochodzenie funkcji używanych podczas trenowania. W czasie wnioskowania model automatycznie wyszukuje najnowsze wartości funkcji. Magazyn funkcji udostępnia również obliczenia funkcji na żądanie dla aplikacji w czasie rzeczywistym. Magazyn funkcji obsługuje wszystkie zadania obliczeniowe funkcji. Eliminuje to niesymetryczność trenowania/obsługi, zapewniając, że obliczenia funkcji używane podczas wnioskowania są takie same jak te używane podczas trenowania modelu. Znacznie upraszcza również kod po stronie klienta, ponieważ wszystkie wyszukiwania funkcji i obliczenia są obsługiwane przez magazyn funkcji.

Uwaga / Notatka

Ta strona obejmuje inżynierię cech i możliwości serwowania dla obszarów roboczych, które są włączone dla Unity Catalog. Jeśli obszar roboczy nie jest włączony do Unity Catalogu, zobacz Workspace Feature Store (starsza wersja).

Omówienie pojęć

Aby zapoznać się z przeglądem działania Databricks Feature Store i słownikiem terminów, zobacz Omówienie i słownik magazynu funkcji.

Inżynieria cech

Funkcja Description
Praca z tabelami funkcji w wykazie aparatu Unity Tworzenie i praca z tabelami funkcji.

Odnajdywanie i udostępnianie funkcji

Funkcja Description
Eksplorowanie funkcji w wykazie aparatu Unity Eksplorowanie tabel funkcji i zarządzanie nimi przy użyciu Eksploratora wykazu i interfejsu użytkownika funkcji.
Używanie tagów z tabelami funkcji i funkcjami w wykazie aparatu Unity Użyj prostych par klucz-wartość, aby kategoryzować tabele i funkcje funkcji oraz zarządzać nimi.

Korzystanie z funkcji w przepływach pracy trenowania

Funkcja Description
Używanie funkcji do trenowania modeli Używanie funkcji do trenowania modeli.
Sprzężenia funkcji do punktu w czasie Użyj poprawności punktu w czasie, aby utworzyć zestaw danych treningowych, który odzwierciedla wartości funkcji od czasu zarejestrowania obserwacji etykiety.
Python API Dokumentacja interfejsu API języka Python

Obsługa funkcji

Funkcja Description
Magazyny funkcji online usługi Databricks Udostępniaj dane funkcji aplikacjom online i modelom uczenia maszynowego w czasie rzeczywistym. Obsługiwane przez usługę Databricks Lakebase.
Obsługa modelu z automatycznym wyszukiwaniem funkcji Automatycznie wyszukuj wartości funkcji ze sklepu online.
Punkty końcowe obsługujące funkcje Udostępniaj funkcje modelom i aplikacjom poza usługą Databricks.
Obliczenia funkcji na żądanie Oblicz wartości funkcji w czasie wnioskowania.

Zarządzanie cechami i pochodzenie danych

Funkcja Description
Zarządzanie funkcjami i pochodzenie danych Użyj wykazu aparatu Unity, aby kontrolować dostęp do tabel funkcji i wyświetlać pochodzenie tabeli funkcji, modelu lub funkcji.

Tutorials

Tutorial Description
Przykładowe notesy do rozpoczęcia pracy Notes podstawowy. Przedstawia sposób tworzenia tabeli funkcji, używania jej do trenowania modelu i uruchamiania oceniania wsadowego przy użyciu automatycznego wyszukiwania funkcji. Ponadto pokazuje interfejs użytkownika inżynierii funkcji, aby wyszukać funkcje i wyświetlić pochodzenie danych.
Przykładowy notes taksówek. Przedstawia proces tworzenia funkcji, ich aktualizowania i używania do trenowania modelu i wnioskowania wsadowego.
Przykład: Wdrażanie i wykonywanie zapytań względem punktu końcowego obsługującego funkcję Samouczek i przykładowy notes przedstawiający sposób wdrażania i wykonywania zapytań dotyczących punktu końcowego obsługującego funkcję.
Przykład: używanie funkcji ze strukturą aplikacji RAG Samouczek przedstawiający sposób używania tabel online usługi Databricks i funkcji obsługujących punkty końcowe na potrzeby pobierania aplikacji generacji rozszerzonej (RAG).

Wymagania

  • Obszar roboczy musi być włączony dla Unity Catalog.
  • Przygotowanie cech w Unity Catalog wymaga środowiska Databricks Runtime 13.3 LTS lub wyższego.

Jeśli obszar roboczy nie spełnia tych wymagań, zobacz Workspace Feature Store (starsza wersja), aby dowiedzieć się, jak korzystać ze starszego magazynu funkcji obszaru roboczego.

Obsługiwane typy danych:

Inżynieria cech w Katalogu Unity i starszym Sklepie Cech w obszarze roboczym obsługuje następujące typy danych PySpark:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] BinaryType, DecimalType oraz MapType są obsługiwane we wszystkich wersjach Feature Engineering w Unity Catalog oraz w Workspace Feature Store w wersji 0.3.5 lub nowszej. [2] StructType jest obsługiwany w inżynierii funkcji w wersji 0.6.0 lub nowszej.

Typy danych wymienione powyżej obsługują typy funkcji, które są wspólne w aplikacjach uczenia maszynowego. Na przykład:

  • Można przechowywać gęste wektory, tensory i osadzanie jako ArrayType.
  • Można przechowywać rozrzedzone wektory, tensory i osadzenia jako MapType.
  • Tekst można przechowywać jako StringType.

Po opublikowaniu w sklepach online, funkcje ArrayType oraz MapType są przechowywane w formacie JSON.

Interfejs użytkownika magazynu funkcji wyświetla metadane dotyczące typów danych funkcji:

Przykład złożonych typów danych

Więcej informacji

Aby uzyskać więcej informacji na temat najlepszych praktyk, pobierz kompleksowy przewodnik po Feature Stores.

  • Last updated on