워크플로 및 모델을 Unity 카탈로그로 마이그레이션

Databricks는 향상된 거버넌스, 작업 영역 및 환경 간 간편한 공유, 보다 유연한 MLOps 워크플로를 위해 Unity 카탈로그의 모델을 사용하는 것이 좋습니다. 이 페이지에서는 작업 영역 모델 레지스트리의 모델을 Unity 카탈로그로 마이그레이션하는 단계를 안내합니다.

Unity 카탈로그의 모델 소개

Unity 카탈로그의 모델은 작업 영역에서 중앙 집중식 액세스 제어, 감사, 계보, 모델 공유 및 검색을 포함하여 Unity 카탈로그의 이점을 ML 모델로 확장합니다. 또한 Unity 카탈로그의 모델은 모델 수명 주기를 보다 유연하게 관리할 수 있습니다.

모델을 Unity 카탈로그로 마이그레이션하면 일부 모델 수명 주기 단계가 다르게 수행됩니다.

• 작업 영역 모델 레지스트리 권한은 계정 수준 Unity 카탈로그 권한으로 대체됩니다. 2단계를 참조하세요. 모델에 Unity 카탈로그 권한을 할당합니다.
• 스테이지는 사용자 지정 별칭 및 태그로 대체됩니다. 4개의 고정 단계 대신 최대 10개의 사용자 지정 및 재할당 가능한 별칭을 만들 수 있습니다. 태그를 레이블 모델로 설정할 수도 있습니다. 4단계를 참조하세요. 모델 메타데이터를 마이그레이션합니다.
• 배포 작업은 수명 주기를 통해 모델을 전환하는 데 사용됩니다. 6단계를 참조하세요 . (선택 사항) 배포 작업을 만듭니다.

1단계. Unity 카탈로그에서 모델 만들기

Unity 카탈로그 호환 모델 학습 및 등록을 참조하세요.

2단계. 모델에 Unity 카탈로그 권한 할당

Unity 카탈로그에는 통합 권한 모델이 있습니다. Unity 카탈로그에서 모델에 권한을 할당하는 방법을 알아보려면 모델에 대한 액세스 제어를 참조하세요.

다음 표에서는 작업 영역 모델 레지스트리의 사용 권한과 Unity 카탈로그의 권한 간의 관계를 보여 줍니다. 테이블에 표시된 권한 외에도 모든 작업에는 USE CATALOG 및 USE SCHEMA 권한이 필요합니다.

3단계. 모델 버전 복사

모델 버전을 복사하려면 MLflow 클라이언트 copy_model_version() += >를 사용하십시오.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

대상 모델이 Unity 카탈로그에 없는 경우 이 API 호출을 통해 생성됩니다.

Unity 카탈로그의 모델에는 서명이 필요합니다. 작업 영역 모델 버전에 서명이 없는 경우 Databricks는 MLflow 설명서의 지침에 따라 서명을 만드는 것이 좋습니다. 또 다른 대안은 환경 변수를 사용하는 것입니다 MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATION. 이 환경 변수는 MLflow copy_model_version() 버전 3.4.0 이상이 필요한 경우에만 사용할 수 있습니다. 이 환경 변수를 "true"설정하면 서명이 필요하지 않습니다.

작업 영역 모델 레지스트리에 있는 모델의 모든 모델 버전을 대상 Unity 카탈로그 모델로 마이그레이션하는 데 사용할 수 있는 스크립트는 작업 영역 모델 레지스트리 에서 Unity 카탈로그로 모델 버전 마이그레이션을 참조하세요.

4단계. 모델 메타데이터 마이그레이션

이 섹션에서는 작업 영역 레지스트리 수준 메타데이터를 Unity 카탈로그 모델 및 모델 버전 메타데이터(예: 단계, 태그 및 설명)에 매핑하는 방법을 설명합니다.

단계

작업 영역 모델 레지스트리는 모델 수명 주기를 추적하기 위해 "단계"와 같은 StagingProduction개념을 사용했습니다. 스테이지별로 모델을 검색하거나 호출할 수 있습니다. Unity 카탈로그에서 단계는 모델을 호출하기 위한 별칭 및 레이블 지정 모델에 대한 태그 로 대체되었습니다.

작업 영역 모델 레지스트리 단계의 간단한 마이그레이션을 위해 "프로덕션" 및 "스테이징" 또는 원하는 다른 별칭 이름을 직접 사용할 수 있습니다. 작업 영역 모델 레지스트리에서 여러 모델 버전이 동일한 단계에 있을 수 있으며 모델 버전을 참조할 때 최신 버전이 호출되었습니다. Unity 카탈로그에서 별칭은 고유한 모델 버전에 할당됩니다.

스테이지 레이블을 간단하게 마이그레이션하려면 태그를 사용하여 모델 버전에 "프로덕션", "스테이징" 또는 "보관됨"으로 레이블을 지정합니다. 다른 레이블도 사용할 수 있습니다. 태그에 대한 자세한 내용은 태그를 참조 하세요.

작업 영역 모델 레지스트리에서 모델 버전의 수명 주기는 단계별로 추적되었으며 전환 요청에 대한 사용자 승인이 필요했습니다. Unity 카탈로그에서 모델 버전의 수명 주기는 배포 작업에서 관리됩니다. 배포 작업의 각 작업은 "단계"에 해당합니다. 배포 작업을 사용하면 모델 수명 주기를 사용자 지정하고 작업 영역 모델 레지스트리보다 더 복잡한 워크플로를 수용할 수 있습니다. 배포 작업은 여전히 사용자 승인을 수용합니다. 자세한 내용은 MLflow 3 배포 작업을 참조하세요.

태그들

Unity 카탈로그에서는 모델 또는 모델 버전에 태그 를 만듭니다.

카탈로그 탐색기에서 태그로 모델을 검색하려면 검색 상자에 키 또는 값을 입력합니다.

카탈로그 탐색기에서 태그를 사용하여 모델 버전이 아닌 모델을 검색할 수 있습니다. MLflow 클라이언트는 Unity 카탈로그 태그로 모델 검색을 지원하지 않습니다. Unity 카탈로그는 개체당 최대 50개의 태그를 허용합니다.

설명 및 코멘트

모델 및 모델 버전에 설명을 추가할 수 있습니다. Unity 카탈로그는 모델에 대한 AI 생성 설명 옵션도 제공합니다.

Unity 카탈로그의 모델에는 작업 영역 모델 레지스트리의 모델 버전 페이지에 있는 활동 섹션에 표시된 정보에 해당하는 위치가 없습니다. 모델 버전으로 전송하려는 정보가 해당 섹션에 있는 경우 Unity 카탈로그의 모델 버전 페이지의 설명 섹션에 복사합니다.

5단계 모든 워크로드 및 엔드포인트 업데이트

모델 및 모델 버전을 Unity 카탈로그로 마이그레이션한 후 엔드포인트를 제공하는 모델을 포함하여 모든 작업, Notebook 및 기타 워크로드를 업데이트하여 Unity 카탈로그의 버전을 사용합니다.

6단계. (선택 사항) 배포 작업 만들기

배포 작업은 새 모델 버전을 만들 때마다 자동으로 트리거되고 평가, 승인 및 배포 워크플로를 자동화합니다. 자세한 내용은 MLflow 3 배포 작업을 참조하세요.

모델 버전의 생성 또는 승인과 같은 이벤트에서 트리거하도록 알림을 설정할 수 있습니다. 작업에 알림 추가하기 을 참조하세요.

작업 영역 모델 레지스트리에서 이벤트에 대해 전자 메일 알림을 설정한 경우 다음과 같이 마이그레이션합니다.

• 새 모델 버전이 생성되었습니다. 새 모델 버전을 만들 때 트리거되는 배포 작업 및 작업이 트리거될 때 이메일 알림을 설정합니다.
• 단계 전환 요청: 스테이지 전환 요청은 승인 작업에 해당합니다. 승인 작업의 성공 또는 실패에 대한 이메일 알림을 설정합니다.
• 스테이지 전환: 스테이지 전환은 작업 작업에 해당합니다. 작업의 성공 또는 실패에 대한 이메일 알림을 설정합니다.
• 새 주석: Unity 카탈로그에서는 주석이 지원되지 않습니다.

이벤트에 대해 웹후크를 설정한 경우 Unity 카탈로그에서 모델 이벤트 작업 트리거로 구현할 수 있습니다. 모델 트리거를 사용하면 Unity 카탈로그에서 새 모델, 모델 버전 또는 모델 별칭을 만들어 레이크플로 작업을 자동화 할 수 있습니다. 모델 트리거는 프라이빗 미리 보기로 제공됩니다. 자세한 내용은 Databricks 담당자에게 문의하세요.

추가 정보

아래 링크된 페이지에서는 워크플로(모델 학습 및 일괄 처리 유추 작업)를 작업 영역 모델 레지스트리에서 Unity 카탈로그로 마이그레이션하는 방법을 설명합니다.

• ML 워크플로를 Unity 카탈로그에서 대상 모델로 업그레이드
• 작업 영역 모델 레지스트리에서 Unity 카탈로그로 모델 버전 마이그레이션