API Python

Esta página fornece links para a documentação da API Python do Databricks Feature Engineering e do Databricks legacy Workspace Feature Store, além de informações sobre os pacotes de cliente databricks-feature-engineering e databricks-feature-store.

Matriz de compatibilidade

O pacote e o cliente que você deve usar dependem de onde suas tabelas de recursos estão localizadas e qual versão do Databricks Runtime ML você está executando, conforme mostrado na tabela a seguir.

Para identificar a versão do pacote incorporada à versão do Databricks Runtime ML, consulte a matriz de compatibilidade do Feature Engineering.

Notas de versão

Consulte Engenharia de Funcionalidades do Databricks e notas de versão do Workspace Feature Store legadas.

Referência da API Python de Engenharia de Recursos

Consulte a referência da API Python de Engenharia de Características.

Referência da API Python do Armazenamento de Funcionalidades de Espaço de Trabalho (descontinuada)

Para databricks-feature-store v0.17.0, consulte Databricks FeatureStoreClient em Feature Engineering Python API reference para obter a referência mais recente da API do Workspace Feature Store.

Para v0.16.3 e abaixo, use os links na tabela para baixar ou exibir a referência da API Python do Feature Store. Para determinar a versão pré-instalada para sua versão do Databricks Runtime ML, consulte a matriz de compatibilidade.

Pacote Python

Esta seção descreve como instalar os pacotes Python para usar o Databricks Feature Engineering e o Databricks Workspace Feature Store.

Engenharia de Características

As APIs de engenharia de recursos do Databricks estão disponíveis através do pacote databricks-feature-engineeringdo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime 13.3 LTS ML e superior.

Para obter uma referência de qual versão do cliente corresponde a qual versão de tempo de execução, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-engineering

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-engineering

Repositório de recursos do espaço de trabalho (preterido)

As APIs do Databricks Feature Store estão disponíveis através do pacote databricks-feature-storedo cliente Python . O cliente está disponível no PyPI e está pré-instalado no Databricks Runtime for Machine Learning. Para obter uma referência de qual tempo de execução inclui qual versão do cliente, consulte a matriz de compatibilidade.

Para instalar o cliente no Databricks Runtime:

%pip install databricks-feature-store

Para instalar o cliente em um ambiente Python local:

pip install databricks-feature-store

Migrar para databricks-feature-engineering

Para instalar o databricks-feature-engineering pacote, use pip install databricks-feature-engineering em vez de pip install databricks-feature-store. Todos os módulos em databricks-feature-store foram movidos para databricks-feature-engineering, portanto, não é necessário alterar nenhum código. Instruções de importação, como from databricks.feature_store import FeatureStoreClient, continuarão a funcionar após a instalação de databricks-feature-engineering.

Para trabalhar com tabelas de recursos no Unity Catalog, use FeatureEngineeringClient. Para usares o Repositório de Recursos do Espaço de Trabalho, deves usar FeatureStoreClient.

Cenários suportados

No Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning, você pode:

• Crie, leia e escreva tabelas de funcionalidades.
• Treine e pontue modelos em dados de características.
• Publique tabelas de funcionalidades em lojas online para disponibilização em tempo real.

A partir de um ambiente local ou externo ao Databricks, você pode:

• Desenvolva código com suporte IDE local.
• Teste de unidade usando estruturas simuladas.
• Escreva testes de integração para serem executados no Databricks.

Limitações

A biblioteca de cliente só pode ser executada em Databricks, incluindo Databricks Runtime e Databricks Runtime for Machine Learning. Não suporta chamar o Feature Engineering no Unity Catalog ou as APIs do Feature Store a partir de um ambiente local ou de um ambiente diferente do Databricks.

Utilize os clientes para testes de unidade

Você pode instalar o Feature Engineering no cliente Unity Catalog ou o cliente Feature Store localmente para ajudar na execução de testes de unidade.

Por exemplo, para validar que um método update_customer_features chama FeatureEngineeringClient.write_table corretamente (ou para o Workspace Feature Store, FeatureStoreClient.write_table), você pode escrever:

from unittest.mock import MagicMock, patch

from my_feature_update_module import update_customer_features
from databricks.feature_engineering import FeatureEngineeringClient

@patch.object(FeatureEngineeringClient, "write_table")
@patch("my_feature_update_module.compute_customer_features")
def test_something(compute_customer_features, mock_write_table):
  customer_features_df = MagicMock()
  compute_customer_features.return_value = customer_features_df

  update_customer_features()  # Function being tested

  mock_write_table.assert_called_once_with(
    name='ml.recommender_system.customer_features',
    df=customer_features_df,
    mode='merge'
  )

Use os clientes para testes de integração

Você pode executar testes de integração com o cliente Feature Engineering no Unity Catalog ou o cliente Feature Store no Databricks. Para obter detalhes, consulte Developer Tools and Guidance: Use CI/CD.