이 참조 아키텍처는 대규모 및 복잡한 데이터 마이그레이션에서 스테이징 데이터베이스의 전략적 역할을 강조합니다. 원본 시스템에서 대상 환경으로 직접 데이터를 전송하는 대신 프로세스는 중간 스테이징 계층을 도입합니다. 데이터는 변환 및 유효성 검사를 거치는 임시 마이그레이션 준비 데이터베이스로 먼저 수집됩니다. 이러한 단계가 완료된 후에만 데이터가 Dataverse에 로드됩니다. 이 패턴은 데이터 품질을 향상시키고, 무결성을 보장하며, 마이그레이션 프로세스 중에 오류가 발생할 가능성을 줄입니다.
아키텍처 다이어그램
데이터 흐름
- 추출: 데이터는 원본 시스템에서 추출됩니다.
- 단계: 데이터가 원본 준비 데이터베이스에 로드됩니다.
- 변환: 마이그레이션 스크립트는 데이터를 처리하고 변환합니다.
- 로드: 변환된 데이터가 대상 준비 데이터베이스에 로드됩니다.
- 유효성 검사: Excel 템플릿은 마스터 데이터의 유효성을 검사하는 데 사용됩니다.
- 통합: 데이터 마이그레이션 도구는 데이터를 Dataverse 및 파일에 Azure Blob 또는 SharePoint로 로드합니다.
Components
- 원본 시스템: 레거시 데이터베이스, ERP 시스템 또는 비 Microsoft 애플리케이션을 포함할 수 있는 원래 데이터 원본입니다.
- 스테이징 데이터베이스: 최종 마이그레이션 전에 데이터를 수집, 변환 및 유효성 검사하는 데 사용되는 임시 중간 데이터 저장소입니다. 이 계층은 원본 및 대상 시스템을 분리하여 제어되고 감사 가능한 데이터 준비를 허용합니다.
- ETL/ELT 프로세스: 데이터를 원본에서 스테이징 데이터베이스로 추출하고, 변환 및 로드(또는 추출, 로드, 변환)하여 비즈니스 규칙을 적용하고 Dataverse를 위해 준비하는 파이프라인입니다.
- 참조 데이터: 마이그레이션 중에 마스터 데이터의 유효성을 검사하고 보강하는 데 사용되는 데이터입니다. 예를 들어 Excel 마스터 데이터 템플릿입니다.
- Dataverse: 정리되고 유효성이 검사된 데이터가 궁극적으로 Power Platform 애플리케이션에서 사용하기 위해 로드되는 대상 시스템입니다.
- 파일 스토리지: 첨부 파일 및 문서와 같은 구조화되지 않은 데이터에 대한 스토리지입니다. 예를 들어 Azure Blob Storage 또는 SharePoint입니다.
시나리오 세부 정보
이 아키텍처는 다음과 같은 시나리오에서 잘 작동합니다.
- 원본 시스템에는 Dataverse로 수집하기 전에 변환이 필요한 많은 양의 데이터 또는 복잡한 관계형 구조가 포함되어 있습니다.
- 데이터 품질 문제, 스키마 불일치 또는 비즈니스 규칙 적용의 필요성으로 인해 직접 마이그레이션이 불가능합니다.
- 마이그레이션 프로세스는 감사 가능하고 반복 가능하며 특정 데이터 세그먼트의 롤백 또는 재처리를 지원해야 합니다.
- 조직에서는 시스템 현대화 또는 클라우드 전환 프로젝트 중과 같은 단계적 또는 증분 마이그레이션 접근 방식이 필요합니다.
사용 사례 예
- Power Apps 및 Power Automate에서 사용하기 위해 온-프레미스 ERP 시스템에서 Dataverse로 고객 및 트랜잭션 데이터 마이그레이션
- 여러 레거시 시스템의 데이터를 통합된 Dataverse 환경으로 통합합니다.
- 지오코딩 주소 또는 새 분류에 레거시 코드 매핑과 같은 미리 로드 데이터 보강을 수행합니다.
비고
이 예제에서는 프로세스 분석 및 솔루션 평가가 이미 수행되었으며 Dataverse가 데이터에 적합한 대상으로 식별되었다고 가정합니다. 팀은 Dataverse에서 사용자 지정 구현을 진행하기 전에 Dynamics 365 Finance and Operations(F&O)와 같은 자사 애플리케이션이 비즈니스 요구 사항에 더 잘 부합하는지 항상 평가해야 합니다.
자세한 정보: Dynamics 365 구현 가이드
주요 이점
- 데이터 품질 보증: 준비 계층은 데이터가 프로덕션 환경에 도달하기 전에 철저한 유효성 검사 및 변환을 가능하게 합니다.
- 오류 격리: 소스 또는 대상 시스템에 영향을 주지 않고 스테이징 환경에서 문제를 식별하고 해결할 수 있습니다.
- 확장성: 대량의 데이터와 복잡한 변환 논리를 지원합니다.
- 추적 가능성: 데이터 계보 및 변환 기록을 추적할 수 있도록 합니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 개선하는 일련의 기본 원칙인 Power Platform Well-Architected의 핵심 요소를 구현합니다. Microsoft Power Platform Well-Architected에서 자세히 알아보세요.
Reliability
- 스테이징 및 마이그레이션 프로세스를 실패에 대한 탄력성 있게 설계합니다. 일시적인 오류를 처리하기 위해 ETL 파이프라인에서 재시도 논리 및 검사점을 구현합니다.
- 부분 또는 손상된 마이그레이션을 방지하기 위해 데이터를 Dataverse에 로드하기 전에 데이터 완전성 및 무결성의 유효성을 검사합니다.
Security
- RBAC(역할 기반 액세스 제어)를 적용하여 스테이징 데이터베이스 및 마이그레이션 도구에 대한 액세스를 제한합니다.
- 특히 중요한 데이터 또는 개인 데이터를 처리할 때 저장된 데이터 및 전송 중인 데이터를 암호화합니다.
- 스테이징 환경 및 Dataverse에 대한 액세스를 기록하고 모니터링하여 감사 및 규정 준수 요구 사항을 지원합니다.
성능 효율성
- 데이터 추출 및 변환 논리를 최적화하여 처리 시간 및 리소스 소비를 최소화합니다.
- 적절한 경우 일괄 처리 및 병렬 처리를 사용하여 대규모 데이터 볼륨을 효율적으로 처리합니다.
- 스테이징 환경의 성능 메트릭을 모니터링하고 필요에 따라 컴퓨팅 리소스를 조정합니다.
운영 효율성
- 데이터 매핑, 변환 규칙 및 유효성 검사 논리를 포함하여 마이그레이션 프로세스를 문서화합니다.
- 자동화된 테스트 및 유효성 검사 스크립트를 구현하여 반복성을 보장하고 사용자 오류를 줄입니다.
- Azure Data Factory와 같은 오케스트레이션 도구를 사용하여 엔드투엔드 마이그레이션 워크플로를 관리하고 모니터링합니다.
다음 단계
다음 문서에서는 대규모 마이그레이션을 관리하기 위한 검증된 접근 방식을 간략하게 설명합니다. 복잡한 마이그레이션의 가장 큰 과제 중 하나는 로드된 데이터를 추적하고, 오류를 처리하고, 실패한 레코드를 다시 시도하는 것입니다. 이러한 마이그레이션은 며칠 또는 몇 주에 걸쳐 진행될 수 있으므로 단계적 전략을 사용합니다. 이 전략은 중단을 최소화하기 위해 최종 프로덕션 중단 중에 델타 데이터만 마이그레이션합니다.