Partilhar via

Loja de recursos Databricks

Esta página é uma visão geral dos recursos disponíveis quando você usa o Databricks Feature Store com o Unity Catalog.

O Databricks Feature Store fornece um registro central para recursos usados em seus modelos de IA e ML. As tabelas e modelos de recursos são registrados no Unity Catalog, fornecendo governança integrada, linhagem e compartilhamento e descoberta de recursos entre espaços de trabalho. Com o Databricks, todo o fluxo de trabalho de treinamento do modelo ocorre em uma única plataforma, incluindo:

  • Pipelines de dados que ingerem dados brutos, criam tabelas de características, treinam modelos e executam inferência em lote.
  • Modelo e recurso servindo pontos de extremidade que estão disponíveis com um único clique e que fornecem milissegundos de latência.
  • Monitorização de dados e modelos.

Quando você usa recursos da loja de recursos para treinar modelos, o modelo rastreia automaticamente a linhagem para os recursos que foram usados no treinamento. No momento da inferência, o modelo procura automaticamente os valores de recurso mais recentes. A loja de recursos também fornece computação sob demanda de recursos para aplicativos em tempo real. O repositório de recursos lida com todas as tarefas de computação de recursos. Isso elimina a distorção de treinamento/serviço, garantindo que os cálculos de recursos usados na inferência sejam os mesmos usados durante o treinamento do modelo. Ele também simplifica significativamente o código do lado do cliente, já que todas as pesquisas de recursos e computação são manipuladas pelo repositório de recursos.

Observação

Esta página aborda a engenharia de características e as capacidades de serviço para espaços de trabalho ativados para o Unity Catalog. Se o seu espaço de trabalho não estiver habilitado para o Catálogo Unity, consulte Workspace Feature Store (legado).

Descrição geral conceptual

Para uma visão geral de como funciona a Databricks Feature Store e um glossário de termos, consulte a visão geral e o glossário da Feature store.

Engenharia de recursos

Característica Description
Trabalhar com tabelas de recursos no Catálogo Unity Crie e trabalhe com tabelas de recursos.

Descubra e partilhe funcionalidades

Característica Description
Explore os recursos do Catálogo Unity Explore e gerencie tabelas de recursos usando o Catalog Explorer e a interface do usuário de recursos.
Usar tags com tabelas de recursos e recursos no Unity Catalog Use pares chave-valor simples para categorizar e gerenciar suas tabelas e recursos de recursos.

Usar recursos em fluxos de trabalho de treinamento

Característica Description
Usar recursos para treinar modelos Use recursos para treinar modelos.
O recurso point-in-time se junta Use a correção point-in-time para criar um conjunto de dados de treinamento que reflita os valores do recurso a partir do momento em que uma observação de rótulo foi registrada.
Python API Referência da API Python

Servir funcionalidades

Característica Description
Lojas de recursos on-line Databricks Forneça dados de recursos para aplicativos on-line e modelos de aprendizado de máquina em tempo real. Desenvolvido por Databricks Lakebase.
Apresentação de modelos com pesquisa automática de funcionalidades Pesquise automaticamente valores de recursos de uma loja online.
Pontos de extremidade de serviço de recursos Forneça recursos para modelos e aplicativos fora do Databricks.
Computação de recursos sob demanda Calcule os valores do recurso no momento da inferência.

Governança e linhagem de funcionalidades

Característica Description
Governança e linhagem de recursos Use o Unity Catalog para controlar o acesso a tabelas de recursos e exibir a linhagem de uma tabela de recursos, modelo ou função.

Tutoriais

Tutorial Description
Exemplos de blocos de notas para começar Caderno básico. Mostra como criar uma tabela de recursos, usá-la para treinar um modelo e executar a pontuação em lote usando a pesquisa automática de recursos. Também mostra a interface do usuário de engenharia de recursos para pesquisar recursos e exibir linhagem.
Exemplo de táxi caderno. Mostra o processo de criação de recursos, atualizando-os e usando-os para treinamento de modelo e inferência em lote.
Exemplo: implantar e consultar um ponto de extremidade de serviço de recurso Tutorial e bloco de anotações de exemplo mostrando como implantar e consultar um ponto de extremidade de serviço de recurso.
Exemplo: usar recursos com aplicativos RAG estruturados Tutorial mostrando como usar tabelas on-line Databricks e pontos de extremidade de serviço de recursos para aplicativos de geração aumentada (RAG) de recuperação.

Requisitos

  • Seu espaço de trabalho deve estar habilitado para o Catálogo Unity.
  • A engenharia de características no Unity Catalog requer o Databricks Runtime 13.3 LTS ou posterior.

Se o seu espaço de trabalho não atender a esses requisitos, consulte Repositório de Recursos de Espaço de Trabalho (legado) para saber como usar o Repositório de Recursos de Espaço de Trabalho herdado.

Tipos de dados suportados:

A engenharia de recursos no Unity Catalog e no Workspace Feature Store herdado suporta os seguintes tipos de dados PySpark:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] BinaryType, DecimalTypee MapType são suportados em todas as versões do Feature Engineering no Unity Catalog e no Workspace Feature Store v0.3.5 ou superior. [2] StructType é suportado no Feature Engineering v0.6.0 ou superior.

Os tipos de dados listados acima suportam tipos de recursos que são comuns em aplicativos de aprendizado de máquina. Por exemplo:

  • Você pode armazenar vetores densos, tensores e incorporações como ArrayType.
  • Você pode armazenar vetores, tensores e incorporações esparsos como MapType.
  • Você pode armazenar texto como StringType.

Quando publicado em lojas online, os recursos ArrayType e MapType são armazenados no formato JSON.

A interface do usuário do Feature Store exibe metadados sobre tipos de dados de recursos:

Exemplo de tipos de dados complexos

Mais informações

Para obter mais informações sobre práticas recomendadas, baixe o Guia abrangente para lojas de recursos.

  • Last updated on