Migrer des flux de travail et des modèles vers le catalogue Unity

Databricks recommande d’utiliser des modèles dans Unity Catalog pour une meilleure gouvernance, un partage facile entre les espaces de travail et les environnements, et des workflows MLOps plus flexibles. Cette page vous guide tout au long de la migration de modèles dans le Registre de modèles d’espace de travail vers le catalogue Unity.

Présentation des modèles dans le catalogue Unity

Les modèles du catalogue Unity étendent les avantages du catalogue Unity aux modèles ML, notamment le contrôle d’accès centralisé, l’audit, la traçabilité et le partage et la découverte de modèles entre les espaces de travail. Les modèles du catalogue Unity offrent également une plus grande flexibilité dans la gestion du cycle de vie du modèle.

Lorsque vous migrez des modèles vers le catalogue Unity, certaines étapes de cycle de vie des modèles sont effectuées différemment :

• Les autorisations du Registre de modèles d’espace de travail sont remplacées par des autorisations de catalogue Unity au niveau du compte. Consultez l’étape 2. Attribuez des autorisations de catalogue Unity au modèle.
• Les étapes sont remplacées par des alias et des balises personnalisés. Au lieu de quatre étapes fixes, vous pouvez créer jusqu’à 10 alias personnalisés et réaffectables. Vous pouvez également définir des balises pour étiqueter des modèles. Voir l’étape 4. Migrez les métadonnées du modèle.
• Les travaux de déploiement sont utilisés pour effectuer la transition des modèles par le biais de leur cycle de vie. Voir l’étape 6. (Facultatif) Créez un travail de déploiement.

Étape 1. Créer un modèle dans le catalogue Unity

Voir Entraîner et inscrire des modèles compatibles avec Unity Catalog.

Étape 2. Attribuer des autorisations de catalogue Unity au modèle

Unity Catalog a un modèle d’autorisation unifié. Pour savoir comment attribuer des autorisations aux modèles dans le catalogue Unity, consultez Contrôler l’accès aux modèles.

Le tableau suivant montre la relation entre les autorisations dans le registre du modèle d’espace de travail et les privilèges dans le catalogue Unity. En plus des privilèges indiqués dans le tableau, toutes les actions nécessitent également les privilèges USE CATALOG et USE SCHEMA.

Étape 3. Copier des versions de modèle

Pour copier des versions de modèle, utilisez copy_model_version() avec le client MLflow > = 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Si le modèle de destination n’existe pas dans le catalogue Unity, il est créé par cet appel d’API.

Les modèles du catalogue Unity nécessitent une signature. Si la version du modèle d’espace de travail n’a pas de signature, Databricks vous recommande de en créer une en suivant les instructions de la documentation MLflow. Une autre alternative consiste à utiliser la variable MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATIONd’environnement. Cette variable d’environnement est disponible uniquement lorsque vous utilisez copy_model_version() et que vous avez besoin de la version 3.4.0 MLflow ou ultérieure. Lorsque cette variable d’environnement est définie "true"sur , une signature n’est pas requise.

Pour obtenir un script que vous pouvez utiliser pour migrer toutes les versions de modèle d’un modèle dans votre registre de modèles d’espace de travail vers un modèle de catalogue Unity de destination, consultez Migrer les versions de modèle du Registre de modèles d’espace de travail vers le catalogue Unity.

Étape 4. Migrer des métadonnées de modèle

Cette section explique comment mapper les métadonnées au niveau du registre de l’espace de travail aux métadonnées du modèle catalogue Unity et aux métadonnées de version du modèle, telles que les étapes, les balises et les descriptions.

Étapes

Le Registre de modèles d’espace de travail utilise le concept de « phases », telles que Staging et Production, pour suivre le cycle de vie du modèle. Vous pouvez rechercher ou appeler des modèles par étape. Dans le catalogue Unity, les étapes ont été remplacées par des alias pour appeler un modèle et par des balises pour l’étiquetage des modèles.

Pour une migration simple des étapes du Registre de modèles d’espace de travail, vous pouvez utiliser directement « Production » et « Préproduction » ou tout autre nom d’alias que vous préférez. Dans le Registre de modèles d’espace de travail, plusieurs versions de modèle peuvent se trouver à la même étape et la dernière version a été appelée lorsque vous avez référencé une version de modèle. Dans le catalogue Unity, un alias est affecté à une version de modèle unique.

Pour une migration simple d’étiquettes intermédiaires, utilisez des étiquettes pour étiqueter des versions de modèle comme « Production », « Préproduction » ou « Archivé ». Vous pouvez également utiliser n’importe quelle autre étiquette. Pour plus d’informations sur les balises, consultez Balises.

Dans le Registre de modèles d’espace de travail, le cycle de vie d’une version de modèle a été suivi par étape et l’approbation humaine a été requise pour une demande de transition. Dans le catalogue Unity, le cycle de vie d’une version de modèle est géré par un travail de déploiement. Chaque tâche du travail de déploiement correspond à une « phase ». Les travaux de déploiement vous permettent de personnaliser le cycle de vie du modèle et de prendre en charge des flux de travail plus complexes que le Registre de modèles d’espace de travail. Les travaux de déploiement intègrent toujours les approbations humaines. Pour plus d’informations, consultez les travaux de déploiement MLflow 3.

Étiquettes

Dans le catalogue Unity, vous créez des étiquettes sur le modèle ou sa version.

Pour rechercher un modèle par balise dans l’Explorateur de catalogues, tapez la clé ou la valeur dans la zone de recherche :

Dans l’Explorateur de catalogues, vous pouvez utiliser des balises uniquement pour rechercher des modèles, et non des versions de modèle. Le client MLflow ne prend pas en charge la recherche de modèles par étiquettes de catalogue Unity. Unity Catalog autorise au maximum 50 balises par objet.

Description et commentaires

Vous pouvez ajouter des descriptions au modèle et à la version du modèle. Le catalogue Unity fournit également l’option d’une description générée par l’IA pour le modèle.

Les modèles du catalogue Unity ne disposent pas d’un emplacement correspondant pour les informations affichées dans la section Activités de la page de version du modèle dans le registre du modèle d’espace de travail. S’il existe des informations dans cette section que vous souhaitez transférer avec la version du modèle, copiez-la dans la section Description de la page de version du modèle dans le catalogue Unity.

Étape 5. Mettre à jour toutes les charges de travail et points de terminaison

Après avoir migré des modèles et des versions de modèle vers Unity Catalog, mettez à jour tous les travaux, notebooks et autres charges de travail, y compris les points de terminaison pour le service des modèles, afin d'utiliser les versions dans Unity Catalog.

Étape 6. (Facultatif) Créer un travail de déploiement

Un travail de déploiement se déclenche automatiquement chaque fois qu’une nouvelle version de modèle est créée et automatise l’évaluation, l’approbation et le flux de travail de déploiement. Pour plus d’informations, consultez les travaux de déploiement MLflow 3.

Vous pouvez définir des notifications à déclencher sur des événements tels que la création ou l’approbation d’une version de modèle. Voir Ajouter des notifications dans une tâche.

Si vous aviez configuré des notifications par e-mail pour les événements dans le Registre du modèle d’espace de travail, migrez-les comme suit :

• Nouvelle version du modèle a été créée : configurez un travail de déploiement déclenché lorsqu’une nouvelle version de modèle est créée et une notification par e-mail lorsque le travail est déclenché.
• Demande de transition intermédiaire : les demandes de transition intermédiaire correspondent aux tâches d’approbation. Définissez une notification par e-mail pour la réussite ou l’échec de la tâche d’approbation.
• Transitions intermédiaires : les transitions intermédiaires correspondent aux tâches de travail. Définissez une notification par e-mail pour la réussite ou l’échec de la tâche.
• Nouveaux commentaires : les commentaires ne sont pas pris en charge dans le catalogue Unity.

Si vous aviez configuré des webhooks pour les événements, vous pouvez les implémenter dans Unity Catalog en tant que déclencheurs de travaux d'événements basés sur un modèle. Les déclencheurs de modèle vous permettent d’automatiser les travaux Lakeflow en fonction de la création de modèles, de versions de modèle ou d’alias de modèle dans le catalogue Unity. Les déclencheurs de modèle sont en préversion privée. Pour plus d’informations, contactez votre représentant Databricks.

Plus d’informations

Les pages liées ci-dessous décrivent comment migrer des flux de travail (travaux d’apprentissage de modèle et d’inférence par lots) du Registre de modèles d’espace de travail vers le catalogue Unity.

• Mettre à niveau des workflows ML en modèles cibles dans Unity Catalog
• Migrer des versions de modèle du Registre de modèles d’espace de travail vers le catalogue Unity