Freigeben über

Databricks Feature Store

Diese Seite enthält eine Übersicht über die verfügbaren Funktionen, wenn Sie databricks Feature Store mit Unity Catalog verwenden.

Der Databricks Feature Store bietet eine zentrale Registrierung für Features, die in Ihren AI- und ML-Modellen verwendet werden. Featuretabellen und -modelle werden im Unity-Katalog registriert und bieten integrierte Governance, Lineage und arbeitsbereichübergreifende Featurefreigabe und -ermittlung. Mit Databricks findet der gesamte Modellschulungsworkflow auf einer einzigen Plattform statt, darunter:

  • Datenpipelines, die Rohdaten einbinden, Funktionstabellen erstellen, Modelle trainieren und Batch-Inferenz durchführen.
  • Endpunkte für die Bereitstellung von Modellen und Funktionen, die mit einem einzigen Klick verfügbar sind und eine Latenzzeit von Millisekunden aufweisen.
  • Daten- und Modellüberwachung.

Wenn Sie Features aus dem Featurespeicher zum Trainieren von Modellen verwenden, verfolgt das Modell automatisch die Linien an die Features, die in der Schulung verwendet wurden. Zur Folgezeit sucht das Modell automatisch nach den neuesten Featurewerten. Der Featurespeicher bietet auch die On-Demand-Berechnung von Features für Echtzeitanwendungen. Der Featurespeicher behandelt alle Featureberechnungsaufgaben. Dadurch werden Schulungen und Neigungen beseitigt, wodurch sichergestellt wird, dass die bei der Modellschulung verwendeten Funktionsberechnungen mit denen identisch sind, die während der Modellschulung verwendet werden. Außerdem wird der clientseitige Code erheblich vereinfacht, da alle Feature-Nachschlagevorgänge und -berechnungen vom Featurespeicher behandelt werden.

Hinweis

Diese Seite behandelt das Feature Engineering für Arbeitsbereiche, die für Unity Catalog aktiviert sind. Wenn Ihr Arbeitsbereich nicht für Unity Catalog aktiviert ist, siehe Workspace Feature Store (veraltet).

Konzeptionelle Übersicht

Eine Übersicht über die Arbeitsweise des Databricks Feature Store und ein Glossar mit Begriffen finden Sie in der Übersicht und im Glossar eines Feature Store.

Featureentwicklung

Merkmal Description
Arbeiten mit Featuretabellen im Unity-Katalog Erstellen und Arbeiten mit Featuretabellen.

Entdecken und Freigeben von Features

Merkmal Description
Erkunden von Features im Unity-Katalog Erkunden und verwalten Sie Featuretabellen mithilfe des Katalog-Explorers und der Features-Benutzeroberfläche.
Verwenden von Tags mit Featuretabellen und Features im Unity-Katalog Verwenden Sie einfache Schlüssel-Wert-Paare, um Ihre Featuretabellen und -features zu kategorisieren und zu verwalten.

Verwenden von Features in Schulungsworkflows

Merkmal Description
Verwenden von Features zum Trainieren von Modellen Verwenden Sie Features zum Trainieren von Modellen.
Verknüpfungen von Punkt-in-Time-Features Verwenden Sie die Punkt-in-Time-Korrektheit, um ein Schulungsdatenset zu erstellen, das Featurewerte zum Zeitpunkt der Aufzeichnung einer Bezeichnungsbeobachtung widerspiegelt.
Python-API Python-API-Referenz

Bereitstellen von Features

Merkmal Description
Databricks Online Feature Stores Bereitstellen von Featuredaten für Onlineanwendungen und Echtzeit-Machine Learning-Modelle. Unterstützt von Databricks Lakebase.
Modellbereitstellung mit automatischer Featuresuche Automatisches Nachschlagen von Featurewerten aus einem Onlinespeicher.
Endpunkte zur Bereitstellung von Features Dienen Sie Features für Modelle und Anwendungen außerhalb von Databricks.
On-Demand-Featureberechnung Berechnen von Funktionswerten zum Zeitpunkt der Ableitung.

Featuregovernance und -herkunft

Merkmal Description
Featuregovernance und -lineage Verwenden Sie Unity-Katalog, um den Zugriff auf Featuretabellen zu steuern und die Linien einer Featuretabelle, eines Modells oder einer Funktion anzuzeigen.

Anleitungen

Tutorial Description
Beispielnotizbücher für die ersten Schritte Einfaches Notizbuch. Zeigt, wie Sie eine Featuretabelle erstellen, sie zum Trainieren eines Modells verwenden und die Batchbewertung mithilfe der automatischen Featuresuche ausführen. Zeigt außerdem die Feature Engineering-Benutzeroberfläche an, um nach Features und Ansichtslinien zu suchen.
Taxi-Beispielnotizbuch. Zeigt den Prozess des Erstellens von Features, das Aktualisieren und verwenden sie für Modellschulungen und Batch-Ableitungen.
Beispiel: Bereitstellen und Abfragen eines Endpunkts für die Bereitstellung eines Features Lernprogramm und Beispielnotizbuch, das zeigt, wie sie einen Endpunkt für die Bereitstellung und Abfrage eines Features bereitstellen und abfragen.
Beispiel: Verwenden von Features mit strukturierten RAG-Anwendungen Lernprogramm, das zeigt, wie Sie Databricks-Onlinetabellen und Featurebereitstellungsendpunkte für Rag-Anwendungen (Retrieval Augmented Generation) verwenden.

Anforderungen

  • Ihr Arbeitsbereich muss für Unity Catalog aktiviert sein.
  • Feature Engineering in Unity Catalog erfordert Databricks Runtime 13.3 LTS oder höher.

Wenn Ihr Arbeitsbereich diese Anforderungen nicht erfüllt, lesen Sie im Workspace Feature Store (Legacy) nach, wie der ältere Workspace Feature Store genutzt werden kann.

Unterstützte Datentypen

Feature engineering in Unity Catalog und legacy Workspace Feature Store unterstützen die folgenden PySpark-Datentypen:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] BinaryType, DecimalType und MapType werden in allen Versionen von Feature Engineering im Unity-Katalog und im Arbeitsbereich Feature Store v0.3.5 oder höher unterstützt. [2] StructType wird in Feature Engineering v0.6.0 oder höher unterstützt.

Die oben aufgeführten Datentypen unterstützen Featuretypen, die in Machine Learning-Anwendungen üblich sind. Zum Beispiel:

  • Sie können Vektoren mit hoher Dichte, Tensoren und Einbettungen als ArrayType speichern.
  • Sie können Vektoren mit geringer Dichte, Tensoren und Einbettungen als MapType speichern.
  • Sie können Text als StringType speichern.

Wenn sie in Onlineshops veröffentlicht werden, werden ArrayType- und MapType-Features im JSON-Format gespeichert.

Die Benutzeroberfläche des Featurespeichers zeigt Metadaten zu Featuredatentypen an:

Beispiel für komplexe Datentypen

Weitere Informationen

Weitere Informationen zu bewährten Verfahren finden Sie in Die umfassende Anleitung zu Feature Stores.

  • Last updated on