Notes de publication Databricks sur l’ingénierie de caractéristiques et le magasin de fonctionnalités d’espace de travail hérité

Cette page liste les publications du client Ingénierie des caractéristiques Databricks dans Unity Catalog et du client Magasin des caractéristiques d’espace de travail Databricks. Les deux clients sont disponibles sur PyPI : databricks-feature-engineering et databricks-feature-store.

Les bibliothèques servent à :

• Créer, lire et écrire des tables de caractéristiques.
• Effectuer l’apprentissage de modèles sur les données de caractéristiques.
• Publier des tables de caractéristiques dans des magasins en ligne pour un déploiement en temps réel.

Pour plus d’informations sur l’utilisation, consultez databricks Feature Store. Pour obtenir la documentation sur l’API Python, consultez l’API Python.

Le client Ingénierie des caractéristiques Databricks dans Unity Catalog fonctionne pour les caractéristiques et les tables de caractéristiques de Unity Catalog. Le client Magasin des caractéristiques d’espace de travail fonctionne pour les caractéristiques et les tables de caractéristiques du Magasin des caractéristiques d’espace de travail. Les deux clients sont préinstallés dans Databricks Runtime pour Machine Learning. Ils peuvent également s’exécuter sur Databricks Runtime après l’installation de databricks-feature-engineering depuis PyPI (pip install databricks-feature-engineering). Pour les tests unitaires uniquement, les deux clients peuvent être utilisés localement ou dans des environnements CI/CD.

Pour obtenir un tableau indiquant la compatibilité des versions des clients avec Databricks Runtime et Databricks Runtime ML, consultez Matrice de compatibilité de l’Ingénierie des caractéristiques. Les versions antérieures du client Feature Store d'espace de travail Databricks sont disponibles sur PyPI sous le nom databricks-feature-store.

databricks-feature-engineering 0.12.1

• Prendre en charge les valeurs par défaut pour les recherches de fonctionnalités.
• Correctifs de bogues et améliorations.

databricks-feature-engineering 0.11.0

• Ajoutez la prise en charge de mlflow la version 3.0.
• Correctifs de bogues et améliorations.

databricks-feature-engineering 0.10.2

• Ajoutez la prise en charge de la version mlflow 2.20.0 et des versions ultérieures.
• Ajouter la prise en charge de la version 2.x numpy.
• Correctifs de bogues et améliorations.

databricks-feature-engineering 0.9.0

• Soutien de l'utilisation de prebuilt_env dans les invocations de score_batch.
• Améliorations des performances de jointure de fonctionnalités ponctuelles avec Photon.
• Correctifs de bogues et améliorations.

databricks-feature-engineering 0.8.0

• Prise en charge de l’utilisation de params dans les appels score_batch, ce qui permet de transmettre des paramètres supplémentaires au modèle pour l’inférence.
• Correctifs de bogues et améliorations.

databricks-feature-engineering 0.7.0

• Certaines vues du catalogue Unity peuvent désormais être utilisées comme tables de caractéristiques pour la formation et l’évaluation des modèles hors connexion. Consultez Lire à partir d’une table de fonctionnalités dans le catalogue Unity.
• Les jeux d’apprentissage peuvent désormais être créés avec des recherches de caractéristiques ou une spécification de caractéristique. Consultez la référence du Kit de développement logiciel (SDK) Python.

databricks-feature-engineering 0.6.0

• L’exécution de jointures à un point dans le temps avec Spark natif est désormais prise en charge, en plus de la prise en charge existante avec Tempo. Grand merci à Semyon Sinchenko d’avoir suggéré l’idée.
• StructType est désormais pris en charge en tant que type de données PySpark. StructType n’est pas pris en charge pour la mise en service en ligne.
• write_table prend désormais en charge l’écriture dans des tables dont le clustering liquide est activé.
• Le paramètre timeseries_columns de create_table a été renommé timeseries_column. Les flux de travail existants peuvent continuer à utiliser le paramètre timeseries_columns.
• score_batch prend désormais en charge le paramètre env_manager. Pour en savoir plus, consultez la documentation MLflow.

databricks-feature-engineering 0.5.0

• Nouvelle API update_feature_spec dans databricks-feature-engineering qui permet aux utilisateurs de mettre à jour le propriétaire d’une FeatureSpec dans Unity Catalog.

databricks-feature-engineering 0.4.0

• Résolutions de petits bogue et améliorations.

databricks-feature-engineering 0.3.0

• log_model utilise désormais le nouveau package PyPI databricks-feature-lookup, qui inclut des améliorations du niveau de performance du service de modèle en ligne.

databricks-feature-store 0.17.0

• databricks-feature-store est déconseillé. Tous les modules existants de ce package sont disponibles dans databricks-feature-engineering versions 0.2.0 et ultérieures. Pour plus d’informations, consultez API Python.

databricks-feature-engineering 0.2.0

• databricks-feature-engineering contient désormais tous les modules de databricks-feature-store. Pour plus d’informations, consultez API Python.

databricks-feature-store 0.16.3

• Corrige le bogue de délai d’expiration lors de l’utilisation d’AutoML avec des tables de caractéristiques.

databricks-feature-engineering 0.1.3

• Petites améliorations apportées à UpgradeClient.

databricks-feature-store 0.16.2

• Vous pouvez maintenant créer des points de terminaison Mise en service des fonctions & des caractéristiques. Pour plus de détails, consultez Mise en service des fonctions & des caractéristiques.

databricks-feature-store 0.16.1

• Résolutions de petits bogue et améliorations.

databricks-feature-engineering 0.1.2 et databricks-feature-store 0.16.0

• Résolutions de petits bogue et améliorations.
  • Correction des URL incorrectes de traçabilité des travaux enregistrées avec certaines configurations de l’espace de travail.

databricks-feature-engineering 0.1.1

• Résolutions de petits bogue et améliorations.

databricks-feature-engineering 0.1.0

• Version GA de Feature Engineering dans le client Python Unity Catalog vers PyPI

databricks-feature-store 0.15.1

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.15.0

• Vous pouvez désormais déduire et consigner automatiquement un exemple d’entrée lorsque vous journalisez un modèle. Pour ce faire, définissez infer_model_example sur True lorsque vous appelez log_model. L’exemple est basé sur les données d’apprentissage spécifiées dans le paramètre training_set.

databricks-feature-store 0.14.2

• Correction d'un bogue lors de la publication sur Aurora MySQL à partir d'un connecteur MariaDB/J >=2.7.5.

databricks-feature-store 0.14.1

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.14.0

À compter de la version 0.14.0, vous devez spécifier des colonnes clés timestamp dans l’argument primary_keys. Les clés timestamp font partie des « clés primaires » qui identifient de manière unique chaque ligne de la table de fonctionnalités. Comme d’autres colonnes de clé primaire, les colonnes de clé timestamp ne peuvent pas contenir de valeurs NUL.

Dans l’exemple suivant, le DataFrame user_features_df contient les colonnes suivantes : user_id, ts, purchases_30d et is_free_trial_active.

0.14.0 et versions ultérieures

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 et versions antérieures

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.13.0

• La version minimale requise mlflow-skinnyest désormais 2.4.0.
• La création d’un jeu d’entraînement échoue si le DataFrame fourni ne contient pas toutes les clés de recherche requises.
• Lors de la journalisation d’un modèle qui utilise des tables de caractéristiques dans Unity Catalog, une signature MLflow est journalisée automatiquement avec le modèle.

databricks-feature-store 0.12.0

• Vous pouvez maintenant supprimer un magasin en ligne à l’aide de l’API drop_online_table.

databricks-feature-store 0.11.0

• Dans les espaces de travail avec Unity Catalog, vous pouvez désormais publier à la fois des tables d’espace de travail et des fonctionnalités Unity Catalog dans des magasins en ligne Cosmos DB. Pour cela, Databricks Runtime 13.0 ML ou une version ultérieure est nécessaire.

databricks-feature-store 0.10.0

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.9.0

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.8.0

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.7.1

• Ajout de flask en tant que dépendance pour résoudre le problème de dépendance manquante lors de la notation des modèles avec score_batch.

databricks-feature-store 0.7.0

• Résolutions de petits bogue et améliorations.

databricks-feature-store 0.6.1

• Publication publique initiale du client Databricks Feature Store sur PyPI.