Migrar fluxos de trabalho e modelos para o Unity Catalog

A Databricks recomenda o uso de Modelos no Unity Catalog para melhorar a governança, facilitar o compartilhamento entre espaços de trabalho e ambientes e fluxos de trabalho MLOps mais flexíveis. Esta página orienta você na migração de modelos no Registro de Modelo de Espaço de Trabalho para o Catálogo Unity.

Introdução aos modelos no Catálogo Unity

Os modelos no Unity Catalog estendem os benefícios do Unity Catalog aos modelos de ML, incluindo controle de acesso centralizado, auditoria, linhagem e compartilhamento e descoberta de modelos entre espaços de trabalho. Os modelos no Unity Catalog também oferecem maior flexibilidade no gerenciamento do ciclo de vida do modelo.

Quando você migra modelos para o Unity Catalog, algumas etapas do ciclo de vida do modelo são feitas de forma diferente:

• As permissões do Registro do Modelo de Espaço de Trabalho são substituídas pelas permissões do Catálogo Unity no nível da conta. Consulte o Passo 2. Atribua permissões do Catálogo Unity ao modelo.
• Os estágios são substituídos por aliases e tags personalizados. Em vez de quatro estágios fixos, você pode criar até 10 aliases personalizados e reatribuíveis. Você também pode definir tags para rotular modelos. Consulte o Passo 4. Migrar metadados do modelo.
• Os trabalhos de implantação são usados para fazer a transição de modelos ao longo de seu ciclo de vida. Consulte a Etapa 6. (Opcional) Crie uma tarefa de implementação.

Passo 1. Criar um modelo no Catálogo Unity

Consulte Treinar e registrar modelos compatíveis com o Unity Catalog.

Passo 2. Atribuir permissões do Catálogo Unity ao modelo

O Catálogo Unity tem um modelo de permissão unificado. Para saber como atribuir permissões a modelos no Unity Catalog, consulte Controlar o acesso a modelos.

A tabela a seguir mostra a relação entre as permissões no registro do modelo de espaço de trabalho e os privilégios no Unity Catalog. Além dos privilégios mostrados na tabela, todas as ações também exigem USE CATALOG e USE SCHEMA privilégios.

Passo 3. Copiar versões do modelo

Para copiar versões de modelos, utilize copy_model_version() com o cliente MLflow >= 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Se o modelo de destino não existir no Unity Catalog, ele será criado por esta chamada de API.

Os modelos no Catálogo Unity exigem uma assinatura. Se a versão do modelo de espaço de trabalho não tiver uma assinatura, o Databricks recomenda que você crie uma seguindo as instruções na documentação do MLflow. Outra alternativa é utilizar a variável MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATIONambiente. Essa variável de ambiente só está disponível quando você usa copy_model_version() e requer a versão 3.4.0 MLflow ou superior. Quando essa variável de ambiente é definida como "true", uma assinatura não é necessária.

Para obter um script que você pode usar para migrar todas as versões de modelo de um modelo no registro do modelo de espaço de trabalho para um modelo de catálogo Unity de destino, consulte Migrar versões de modelo do Registro de modelo de espaço de trabalho para o catálogo Unity.

Passo 4. Migrar metadados do modelo

Esta seção descreve como mapear metadados ao nível do registo do espaço de trabalho para metadados do modelo Unity Catalog e da versão do modelo, como estágios, etiquetas e descrições.

Estágios

O Registro de Modelo de Espaço de Trabalho usou o conceito de "estágios", como Staging e Production, para acompanhar o ciclo de vida do modelo. Você pode pesquisar ou invocar os modelos por estágio. No Unity Catalog, os estágios foram substituídos por aliases para chamar um modelo e por tags para rotular modelos.

Para uma migração simples dos estágios do Registro do Modelo de Espaço de Trabalho, você pode usar diretamente "Produção" e "Preparo" ou qualquer outro nome de alias de sua preferência. No Registro do Modelo de Espaço de Trabalho, várias versões do modelo podem estar no mesmo estágio, e a versão mais recente foi chamada quando você fez referência a uma versão do modelo. No Unity Catalog, um alias é atribuído a uma versão exclusiva do modelo.

Para uma migração simples de rótulos de etapas, utilize etiquetas para rotular versões de modelo como "Produção", "Preparo" ou "Arquivado". Você também pode usar qualquer outro rótulo. Para saber mais sobre tags, veja Tags.

No Registro do Modelo de Espaço de Trabalho, o ciclo de vida de uma versão do modelo era rastreado por estágio, e a aprovação humana era necessária para uma solicitação de transição. No Unity Catalog, o ciclo de vida de uma versão do modelo é gerenciado por um trabalho de implantação. Cada tarefa no trabalho de implantação corresponde a um "estágio". Os trabalhos de implantação permitem personalizar o ciclo de vida do modelo e acomodar fluxos de trabalho mais complicados do que o Registro do Modelo de Espaço de Trabalho. Os trabalhos de implantação ainda acomodam aprovações humanas. Para obter detalhes, consulte Trabalhos de implantação do MLflow 3.

Etiquetas

No Unity Catalog, você cria tags no modelo ou na versão do modelo.

Para procurar um modelo por marca no Catalog Explorer, digite a chave ou o valor na caixa de pesquisa:

No Gerenciador de Catálogos, você pode usar tags apenas para pesquisar modelos, não versões de modelos. O cliente MLflow não suporta a pesquisa de modelos por tags do Unity Catalog. O Unity Catalog permite no máximo 50 tags por objeto.

Descrição e comentários

Você pode adicionar descrições ao modelo e à versão do modelo. O Unity Catalog também oferece a opção de uma descrição gerada por IA para o modelo.

Os modelos no Catálogo Unity não têm um local correspondente para as informações mostradas na seção Atividades na página de versão do modelo no registro do modelo de espaço de trabalho. Se houver informações nessa seção que você deseja transferir com a versão do modelo, copie-as para a seção Descrição da página da versão do modelo no Catálogo Unity.

Passo 5. Atualizar todas as cargas de trabalho e pontos de extremidade

Depois de migrar modelos e versões de modelo para o Catálogo Unity, atualize todos os trabalhos, blocos de anotações e outras workloads, incluindo endpoints de servir modelo, para usar as versões no Catálogo Unity.

Passo 6. (Opcional) Criar uma tarefa de implantação

Um trabalho de implantação é acionado automaticamente sempre que uma nova versão do modelo é criada e automatiza o fluxo de trabalho de avaliação, aprovação e implantação. Para obter detalhes, consulte Trabalhos de implantação do MLflow 3.

Você pode definir notificações para disparar em eventos como a criação ou aprovação de uma versão do modelo. Consulte Adicionar notificações numa tarefa.

Se você tinha notificações por email configuradas para eventos no Registro de Modelo de Espaço de Trabalho, migre-as da seguinte maneira:

• Nova versão do modelo foi criada: configure um trabalho de implantação que é acionado quando uma nova versão do modelo é criada e uma notificação por e-mail quando o trabalho é acionado.
• Solicitação de transição de estágio: as solicitações de transição de estágio correspondem a tarefas de aprovação. Defina uma notificação por e-mail para o sucesso ou falha da tarefa de aprovação.
• Transições de estágio: As transições de estágio correspondem a tarefas de trabalho. Defina uma notificação por e-mail para o sucesso ou falha da tarefa.
• Novos comentários: Os comentários não são suportados no Catálogo Unity.

Se tiver webhooks configurados para eventos, pode implementá-los no Unity Catalog como gatilhos de eventos de modelo de trabalho. Os gatilhos de modelo permitem-lhe automatizar Lakeflow Jobs com base na criação de novos modelos, versões de modelos ou pseudónimos de modelos no Unity Catalog. Os gatilhos dos modelos estão em Pré-visualização Privada. Contacte o seu representante Databricks para mais informações.

Mais informações

As páginas vinculadas abaixo descrevem como migrar fluxos de trabalho (treinamento de modelo e trabalhos de inferência em lote) do Registro de Modelo de Espaço de Trabalho para o Catálogo Unity.

• Atualizar fluxos de trabalho de ML para modelos de destino no Unity Catalog
• Migrar versões de modelo do Registro de modelo de espaço de trabalho para o catálogo Unity