Teradata 마이그레이션에 대한 시각화 및 보고

이 문서는 Teradata에서 Azure Synapse Analytics로 마이그레이션하는 방법에 대한 지침을 제공하는 7부로 구성된 시리즈의 4부입니다. 이 문서의 핵심은 시각화 및 보고에 대한 모범 사례입니다.

Microsoft 및 타사 BI 도구를 사용하여 Azure Synapse Analytics에 액세스

조직은 다양한 BI(비즈니스 인텔리전스) 도구 및 애플리케이션을 사용하여 데이터 웨어하우스 및 데이터 마트에 액세스합니다. BI 제품의 몇 가지 예는 다음과 같습니다.

• Power BI와 같은 Microsoft BI 도구

• Office 응용 프로그램(예: Microsoft Excel 스프레드시트)

• 다른 공급업체의 타사 BI 도구.

• 포함된 BI 도구 기능이 있는 사용자 지정 분석 애플리케이션.

• 데이터 웨어하우스 또는 데이터 마트의 데이터를 쿼리하는 BI 플랫폼에서 쿼리 및 보고서를 실행하여 주문형 BI를 지원하는 운영 애플리케이션입니다.

• Azure Synapse Spark Notebooks, Azure Machine Learning, RStudio 및 Jupyter Notebook과 같은 대화형 데이터 과학 개발 도구

데이터 웨어하우스 마이그레이션의 일부로 시각화 및 보고를 마이그레이션하는 경우 BI 제품에서 생성된 모든 기존 쿼리, 보고서 및 대시보드가 새 환경에서 실행되어야 합니다. BI 제품은 레거시 데이터 웨어하우스 환경에서와 동일한 결과를 Azure Synapse에 생성해야 합니다.

마이그레이션 후 일관된 결과를 위해 데이터 웨어하우스 스키마 및 데이터를 Azure Synapse로 마이그레이션한 후 모든 BI 도구 및 애플리케이션 종속성이 작동해야 합니다. 종속성에는 액세스 및 보안과 같이 눈에 잘 띄지 않는 측면이 포함됩니다. 액세스 및 보안을 해결할 때, 반드시 마이그레이션해야 합니다.

• 사용자가 Azure Synapse의 데이터 웨어하우스 및 데이터 마트 데이터베이스에 로그인할 수 있도록 하는 인증입니다.

• Azure Synapse에 대한 모든 사용자.

• 모든 사용자 그룹을 Azure Synapse로 그룹화합니다.

• Azure Synapse에 대한 모든 역할.

• Azure Synapse에 대한 액세스 제어를 제어하는 모든 권한 부여 권한.

• 마이그레이션 전에 기존 데이터 웨어하우스에 있던 항목을 미러링하기 위한 사용자, 역할 및 권한 할당입니다. 다음은 그 예입니다.

  • 역할에 할당된 데이터베이스 개체 권한
  • 사용자 그룹에 할당된 역할
  • 사용자 그룹 및/또는 역할에 할당된 사용자

액세스 및 보안은 마이그레이션된 시스템의 데이터 액세스에 대한 중요한 고려 사항이며 Teradata 마이그레이션에 대한 보안, 액세스 및 작업에 대해 자세히 설명합니다.

레거시 환경에서 데이터를 쿼리하는 보고서 및 대시보드가 Azure Synapse에서 동일한 결과를 생성하도록 필요한 모든 데이터를 마이그레이션합니다.

비즈니스 사용자는 Azure Synapse에서 마이그레이션된 시스템에 대한 신뢰를 파괴하는 놀라운 일이 없는 원활한 마이그레이션을 기대합니다. 사용자가 좋은 의사 소통을 통해 가질 수 있는 두려움을 해소합니다. 사용자는 다음을 예상합니다.

• 쿼리에서 직접 참조되는 경우 테이블 구조는 동일하게 유지됩니다.

• 쿼리에서 직접 참조할 때 테이블 및 열 이름은 동일하게 유지됩니다. 예를 들어 BI 도구의 열에 정의된 계산 필드는 집계 보고서가 생성될 때 실패하면 안 됩니다.

• 기록 분석은 동일하게 유지됩니다.

• 가능하면 데이터 형식은 동일하게 유지합니다.

• 쿼리 동작은 동일하게 유지됩니다.

• ODBC/JDBC 드라이버는 쿼리 동작이 동일하게 유지되도록 테스트됩니다.

BI 도구가 기본 데이터 웨어하우스 또는 데이터 마트 데이터베이스의 뷰를 쿼리하는 경우 마이그레이션 후에도 해당 보기가 계속 작동합니까? Azure Synapse에 해당하는 항목이 없는 레거시 데이터 웨어하우스 DBMS와 관련된 독점 SQL 확장이 있는 경우 일부 보기가 작동하지 않을 수 있습니다. 그렇다면 이러한 비호환성을 알고 해결할 방법을 찾아야 합니다.

DBMS 플랫폼 간의 값 동작 NULL 또는 데이터 형식 변형과 같은 다른 문제는 계산 결과에 약간의 차이가 없도록 테스트해야 합니다. 이러한 문제를 최소화하고 비즈니스 사용자가 영향을 받지 않도록 보호하는 데 필요한 모든 단계를 수행합니다. 레거시 데이터 웨어하우스 환경에 따라 BI 도구와 애플리케이션이 변경되지 않고 실행되도록 레거시 환경과 새 환경 간의 차이를 숨기는 데 도움이 되는 타사 도구입니다.

테스트는 시각화 및 보고서 마이그레이션에 중요합니다. 두 환경에서 테스트를 실행하고 다시 실행하려면 테스트 도구 모음 및 합의된 테스트 데이터가 필요합니다. 테스트 하네스도 유용하며 이 가이드에는 몇 가지가 설명되어 있습니다. 또한 비즈니스 사용자를 마이그레이션의 테스트 측면에 참여시켜 신뢰도를 높게 유지하고 프로젝트의 참여도와 일부를 유지하는 것이 중요합니다.

예를 들어 Power BI로 마이그레이션하기 위해 BI 도구를 전환하는 것을 고려할 수 있습니다. 스키마, 데이터, ETL 처리 등을 마이그레이션하는 동시에 이러한 변경을 수행해야 합니다. 그러나 위험을 최소화하려면 먼저 Azure Synapse로 마이그레이션하고 추가 현대화를 시작하기 전에 모든 작업을 수행하는 것이 좋습니다.

기존 BI 도구가 온-프레미스에서 실행되는 경우 두 환경에 대한 비교를 실행할 수 있도록 방화벽을 통해 Azure Synapse에 연결할 수 있는지 확인합니다. 또는 기존 BI 도구의 공급업체가 Azure에서 제품을 제공하는 경우 해당 제품을 사용해 볼 수 있습니다. 예를 들어 XML 또는 JSON 데이터로 "헤드리스 보고서"를 요청하는 등 BI를 포함하거나 요청 시 BI 서버를 호출하는 온-프레미스를 실행하는 애플리케이션에도 동일하게 적용됩니다.

여기서는 고려해야 할 사항이 많으므로 좀 더 자세히 살펴보겠습니다.

데이터 가상화를 사용하여 BI 도구 및 보고서에 대한 마이그레이션의 영향을 최소화

마이그레이션하는 동안 비즈니스 요청 열기, 누락된 데이터 추가 또는 새 기능 구현과 같은 장기적인 요구 사항을 충족해야 할 수 있습니다. 그러나 이러한 변경은 데이터 웨어하우스에 대한 BI 도구 액세스에 영향을 줄 수 있으며, 특히 변경 내용에 데이터 모델의 구조적 변경이 포함되는 경우 그렇습니다. 민첩한 데이터 모델링 기술을 채택하거나 구조적 변경을 구현하려면 마이그레이션 후에 이를 수행합니다.

스키마 변경 또는 기타 구조적 변경이 BI 도구에 미치는 영향을 최소화하는 한 가지 방법은 BI 도구와 데이터 웨어하우스 및 데이터 마트 간에 데이터 가상화를 도입하는 것입니다. 다음 다이어그램에서는 데이터 가상화가 사용자로부터 마이그레이션을 숨기는 방법을 보여 있습니다.

데이터 가상화는 셀프 서비스 BI 도구를 사용하는 비즈니스 사용자와 마이그레이션 중인 기본 데이터 웨어하우스 및 데이터 마트의 물리적 스키마 간의 종속성을 깨뜨립니다.

데이터 가상화를 사용하면 성능을 최적화하기 위해 Azure Synapse로 마이그레이션하는 동안 수행된 모든 스키마 변경은 데이터 가상화 계층의 가상 테이블에만 액세스할 수 있으므로 비즈니스 사용자로부터 숨길 수 있습니다. 또한 구조적 변경을 수행할 경우 데이터 웨어하우스 또는 데이터 마트와 가상 테이블 간의 매핑만 업데이트하면 됩니다. 데이터 가상화를 사용하면 사용자는 구조적 변화를 인식하지 못합니다. Microsoft 파트너 는 데이터 가상화 소프트웨어를 제공합니다.

우선 순위가 높은 보고서를 식별하여 먼저 마이그레이션

기존 보고서 및 대시보드를 Azure Synapse로 마이그레이션할 때 가장 중요한 질문은 먼저 마이그레이션할 보고서입니다. 다음과 같은 몇 가지 요인으로 인해 해당 결정이 결정될 수 있습니다.

• 사용법

• 비즈니스 가치

• 간편한 마이그레이션

• 데이터 마이그레이션 전략

다음 섹션에서는 이러한 요인에 대해 설명합니다.

어떤 결정을 내리든 비즈니스 사용자는 보고서, 대시보드 및 기타 시각화를 생성하고 해당 항목의 인사이트를 기반으로 비즈니스 의사 결정을 내리기 때문에 비즈니스 사용자가 참여해야 합니다. 다음을 수행할 수 있는 경우 모든 사용자가 혜택을 누릴 수 있습니다.

• 보고서 및 대시보드를 원활하게 마이그레이션
• 최소한의 노력으로 보고서 및 대시보드 마이그레이션 및
• 레거시 데이터 웨어하우스 시스템 대신 Azure Synapse에서 BI 도구를 가리키고 유사 보고서, 대시보드 및 기타 시각화를 가져옵니다.

사용량에 따라 보고서 마이그레이션

사용량은 종종 비즈니스 가치를 나타내는 지표입니다. 사용하지 않는 보고서 및 대시보드는 비즈니스 의사 결정에 기여하거나 현재 가치를 제공하지 않습니다. 사용하지 않는 보고서 및 대시보드를 확인할 방법이 없는 경우 사용 통계를 제공하는 여러 BI 도구 중 하나를 사용할 수 있습니다.

레거시 데이터 웨어하우스가 수년 동안 가동되고 실행된 경우 수백 개의 보고서가 존재할 가능성이 있습니다. 보고서 및 대시보드의 인벤토리를 컴파일하고 비즈니스 목적 및 사용 통계를 식별하는 것이 좋습니다.

사용하지 않는 보고서의 경우 마이그레이션 노력을 줄이기 위해 해제할지 여부를 결정합니다. 사용하지 않는 보고서를 해제할지 여부를 결정할 때 중요한 질문은 보고서가 존재하는지 모르기 때문에 사용하지 않는지, 비즈니스 가치를 제공하지 않기 때문인지, 아니면 다른 보고서로 대체되었기 때문입니다.

비즈니스 값에 따라 보고서 마이그레이션

사용량만으로 비즈니스 가치를 나타내는 좋은 지표는 아닙니다. 보고서의 인사이트가 비즈니스 가치에 기여하는 정도를 고려할 수 있습니다. 이를 위한 한 가지 방법은 보고서에 의존하는 모든 비즈니스 결정의 수익성과 의존도의 정도를 평가하는 것입니다. 그러나 대부분의 조직에서는 해당 정보를 쉽게 사용할 수 없습니다.

비즈니스 가치를 평가하는 또 다른 방법은 보고서와 비즈니스 전략의 맞춤을 살펴보는 것입니다. 경영진이 설정한 비즈니스 전략은 일반적으로 전략적 비즈니스 목표(SBO), 핵심 성과 지표(KPI), 달성해야 하는 KPI 목표 및 이를 달성할 책임자를 제시합니다. 사기 행위 감소, 고객 참여 개선 및 최적화된 비즈니스 운영과 같이 보고서에서 기여하는 SKO를 기준으로 보고서를 분류할 수 있습니다. 그런 다음 우선 순위가 높은 목표와 연결된 보고서 및 대시보드를 마이그레이션하는 데 우선 순위를 지정할 수 있습니다. 이러한 방식으로 초기 마이그레이션은 전략적 영역에서 비즈니스 가치를 제공할 수 있습니다.

비즈니스 가치를 평가하는 또 다른 방법은 보고서와 대시보드를 운영, 전술 또는 전략적으로 분류하여 사용되는 비즈니스 수준을 식별하는 것입니다. SBO에는 이러한 모든 수준의 기여가 필요합니다. 어떤 보고서 및 대시보드가 사용되는지, 어떤 수준에서, 어떤 목표와 관련되어 있는지 알면 우선 순위가 높은 비즈니스 가치에 초기 마이그레이션에 집중할 수 있습니다. 다음 비즈니스 전략 목표 테이블을 사용하여 보고서 및 대시보드를 평가할 수 있습니다.

Azure Data Catalog와 같은 메타데이터 검색 도구를 사용하면 비즈니스 사용자가 데이터 원본에 태그를 지정하고 평가하여 해당 데이터 원본에 대한 메타데이터를 보강하여 검색 및 분류를 지원할 수 있습니다. 보고서 또는 대시보드에 대한 메타데이터를 사용하여 비즈니스 가치를 이해할 수 있습니다. 이러한 도구가 없으면 마이그레이션 여부에 관계없이 보고서와 대시보드가 비즈니스 가치에 기여하는 것을 이해하는 데 시간이 많이 걸릴 수 있습니다.

데이터 마이그레이션 전략에 따라 보고서 마이그레이션

마이그레이션 전략이 먼저 데이터 마트 마이그레이션을 기반으로 하는 경우 데이터 마트 마이그레이션 순서는 먼저 마이그레이션되는 보고서 및 대시보드에 영향을 줍니다. 전략이 비즈니스 가치를 기반으로 하는 경우 데이터 마트를 Azure Synapse로 마이그레이션하는 순서는 비즈니스 우선 순위를 반영합니다. 메타데이터 검색 도구는 어떤 데이터 마트 테이블이 어떤 보고서에 데이터를 제공하는지 보여줌으로써 전략을 구현하는 데 도움이 될 수 있습니다.

보고서 및 시각화에 영향을 줄 수 있는 마이그레이션 비호환성 문제

BI 도구는 데이터 웨어하우스 또는 데이터 마트의 실제 테이블 및/또는 뷰에 액세스하는 SQL 쿼리를 실행하여 보고서, 대시보드 및 기타 시각화를 생성합니다. 레거시 데이터 웨어하우스를 Azure Synapse로 마이그레이션하는 경우 보고서, 대시보드 및 기타 시각화를 쉽게 마이그레이션하는 데 몇 가지 요인이 영향을 줄 수 있습니다. 이러한 요인은 다음과 같습니다.

• 환경 간의 스키마 비호환성

• 환경 간의 SQL 비호환성.

스키마 비호환성

마이그레이션하는 동안 보고서, 대시보드 및 기타 시각화에 대한 데이터를 제공하는 데이터 웨어하우스 또는 데이터 마트 테이블의 스키마 비호환성은 다음과 같습니다.

• Azure Synapse에 해당하는 테이블이 없는 레거시 데이터 웨어하우스 DBMS의 비표준 테이블 형식입니다.

• Azure Synapse에 해당하는 데이터 형식이 없는 레거시 데이터 웨어하우스 DBMS의 데이터 형식입니다.

대부분의 경우 비호환성 해결 방법이 있습니다. 예를 들어 지원되지 않는 테이블 형식의 데이터를 적절한 데이터 형식이 있는 표준 테이블로 마이그레이션하고 날짜/시간 열에서 인덱싱하거나 분할할 수 있습니다. 마찬가지로 다른 유형의 열에서 지원되지 않는 데이터 형식을 나타내고 Azure Synapse에서 계산을 수행하여 동일한 결과를 얻을 수 있습니다.

스키마 비호환성의 영향을 받는 보고서를 식별하려면 레거시 데이터 웨어하우스의 시스템 카탈로그에 대한 쿼리를 실행하여 지원되지 않는 데이터 형식의 테이블을 식별합니다. 그런 다음 BI 도구의 메타데이터를 사용하여 해당 테이블의 데이터에 액세스하는 보고서를 식별할 수 있습니다. 개체 형식 비호환성을 식별하는 방법에 대한 자세한 내용은 지원되지 않는 Teradata 데이터베이스 개체 형식을 참조하세요.

많은 BI 도구가 덜 일반적인 데이터 형식을 지원하지 않기 때문에 보고서, 대시보드 및 기타 시각화에 대한 스키마 비호환성의 효과는 생각보다 적을 수 있습니다. 따라서 레거시 데이터 웨어하우스에는 지원되지 않는 데이터 형식을 보다 일반적인 형식으로 변환하는 보기가 CAST 이미 있을 수 있습니다.

SQL 비호환성

마이그레이션하는 동안 SQL 비호환성은 다음과 같은 애플리케이션 또는 도구의 보고서, 대시보드 또는 기타 시각화에 영향을 줄 수 있습니다.

• Azure Synapse에 해당되지 않는 독점 SQL 함수를 포함하는 레거시 데이터 웨어하우스 DBMS 뷰에 액세스합니다.

• Azure Synapse에 해당되지 않는 레거시 환경의 SQL 언어와 관련된 독점 SQL 함수를 포함하는 SQL 쿼리를 실행합니다.

SQL 비호환성이 보고 포트폴리오에 미치는 영향 측정

보고 포트폴리오에는 포함된 쿼리 서비스, 보고서, 대시보드 및 기타 시각화가 포함될 수 있습니다. 보고 포트폴리오를 Azure Synapse로 마이그레이션하는 데 SQL 비호환성이 미치는 영향을 측정하기 위해 해당 항목과 관련된 설명서를 사용하지 마세요. SQL 비호환성의 효과를 평가하려면 보다 정확한 방법을 사용해야 합니다.

EXPLAIN 문을 사용하여 SQL 비호환성 찾기

레거시 Teradata 데이터 웨어하우스에서 최근 SQL 활동의 로그를 검토하여 SQL 비호환성을 찾을 수 있습니다. 스크립트를 사용하여 대표적인 SQL 문 집합을 파일에 추출합니다. 그런 다음 각 SQL 문 앞에 문을 접두사로 EXPLAIN 지정하고 Azure Synapse에서 해당 EXPLAIN 문을 실행합니다. 독점적으로 Azure Synapse에서 지원되지 않는 SQL 확장을 포함하는 모든 SQL 문은 EXPLAIN 문이 실행될 때 거부됩니다. 이 방법을 사용하면 SQL 비호환성의 정도를 평가할 수 있습니다.

레거시 데이터 웨어하우스 DBMS의 메타데이터를 통해 호환되지 않는 보기를 식별할 수도 있습니다. 이전과 마찬가지로 해당 로그에서 대표적인 SQL 문 집합을 캡처하고, 각 SQL 문 앞에 문을 접두사로 EXPLAIN 지정하고, Azure Synapse에서 해당 EXPLAIN 문을 실행하여 호환되지 않는 SQL로 보기를 식별합니다.

Azure Synapse Analytics로 보고서 및 대시보드 마이그레이션 테스트

데이터 웨어하우스 마이그레이션의 핵심 요소는 Azure Synapse에서 보고서 및 대시보드를 테스트하여 마이그레이션이 작동했는지 확인하는 것입니다. 성공을 확인하기 위해 실행할 각 테스트에 대한 일련의 테스트 및 필수 결과 집합을 정의합니다. 기존 및 마이그레이션된 데이터 웨어하우스 시스템에서 보고서와 대시보드를 테스트하고 비교하여 다음을 수행합니다.

• 마이그레이션 중에 변경된 스키마가 보고서 실행, 보고서 결과 또는 해당 보고서 시각화 기능에 영향을 주었는지 여부를 식별합니다. 스키마 변경의 예는 호환되지 않는 데이터 형식을 Azure Synapse에서 지원되는 해당 데이터 형식에 매핑한 경우입니다.

• 모든 사용자가 마이그레이션되었는지 확인합니다.

• 모든 역할이 마이그레이션되고 사용자가 해당 역할에 할당되었는지 확인합니다.

• ACL(액세스 제어 목록) 마이그레이션을 보장하기 위해 모든 데이터 액세스 보안 권한이 마이그레이션되었는지 확인합니다.

• 알려진 모든 쿼리, 보고서 및 대시보드에 대해 일관된 결과를 보장합니다.

• 데이터 및 ETL 마이그레이션이 완료되고 오류가 없는지 확인합니다.

• 데이터 개인 정보가 유지되는지 확인합니다.

• 성능 및 확장성을 테스트합니다.

• 분석 기능을 테스트합니다.

사용자, 사용자 그룹, 역할 및 권한을 마이그레이션하는 방법에 대한 자세한 내용은 Teradata 마이그레이션에 대한 보안, 액세스 및 작업을 참조하세요.

각 테스트를 반복 가능하게 하고 테스트 결과를 평가하는 일관된 접근 방식을 지원하기 위해 가능한 한 테스트를 자동화합니다. Automation은 알려진 일반 보고서에 적합하며 Azure Synapse 파이프라인 또는 Azure Data Factory 오케스트레이션을 통해 관리할 수 있습니다. 회귀 테스트를 위한 테스트 쿼리 제품군이 이미 있는 경우 기존 테스트 도구를 사용하여 마이그레이션 후 테스트를 자동화할 수 있습니다.

임시 분석 및 보고는 더 어려운 작업이며 마이그레이션 전후의 동일한 보고서와 대시보드가 일관성이 있는지 확인하기 위해 테스트 집합을 컴파일해야 합니다. 불일치가 발견되면 마이그레이션 테스트 중에 원래 시스템 및 마이그레이션된 시스템에서 메타데이터 계보를 비교하는 기능이 중요합니다. 이러한 비교는 차이점을 강조 표시하고 다른 방법으로 감지하기 어려운 경우 불일치가 발생한 위치를 정확히 파악할 수 있습니다.

계보를 분석하여 보고서, 대시보드 및 데이터 간의 종속성을 이해합니다.

계보에 대한 이해는 보고서 및 대시보드를 성공적으로 마이그레이션하는 데 중요한 요소입니다. 계보는 마이그레이션된 데이터의 여정을 보여 주는 메타데이터이므로 보고서 또는 대시보드에서 데이터 원본으로의 경로를 추적할 수 있습니다. 계보는 데이터가 지점 간 이동 방법, 데이터 웨어하우스 및/또는 데이터 마트의 위치 및 이를 사용하는 보고서 및 대시보드를 보여 줍니다. 계보는 파일 및 데이터베이스, 다른 ETL 파이프라인 및 보고서와 같은 다양한 데이터 저장소를 통해 이동할 때 데이터가 어떻게 되는지 이해하는 데 도움이 될 수 있습니다. 비즈니스 사용자가 데이터 계보에 액세스할 수 있는 경우 신뢰를 향상시키고, 신뢰를 심어주고, 정보에 입각한 비즈니스 결정을 지원합니다.

다중 공급업체 데이터 웨어하우스 환경에서 BI 팀의 비즈니스 분석가는 데이터 계보를 매핑할 수 있습니다. 예를 들어 ETL, 데이터 웨어하우스 및 보고에 서로 다른 공급업체를 사용하고 각 공급업체에 자체 메타데이터 리포지토리가 있는 경우 보고서의 특정 데이터 요소가 어디에서 왔는지 파악하는 것은 어려울 수 있으며 시간이 많이 걸릴 수 있습니다.

레거시 데이터 웨어하우스에서 Azure Synapse로 원활하게 마이그레이션하려면 엔드 투 엔드 데이터 계보를 사용하여 각 환경에서 생성된 보고서와 대시보드를 비교할 때 유사 마이그레이션을 증명합니다. 엔드 투 엔드 데이터 경험을 표시하려면 여러 도구에서 메타데이터를 캡처하고 통합해야 합니다. 자동화된 메타데이터 검색 및 데이터 계보를 지원하는 도구에 액세스하면 중복된 보고서 또는 ETL 프로세스를 식별하고 사용되지 않거나 의심스러운 데이터 원본 또는 존재하지 않는 데이터 원본을 사용하는 보고서를 찾을 수 있습니다. 이 정보를 사용하여 마이그레이션하는 보고서 및 ETL 프로세스의 수를 줄일 수 있습니다.

Azure Synapse에서 보고서의 종단 간 계보를 레거시 환경에서 동일한 보고서의 종단 간 계보와 비교하여 마이그레이션 중에 실수로 발생할 수 있는 차이점을 확인할 수도 있습니다. 이러한 유형의 비교는 마이그레이션 성공을 테스트하고 확인해야 하는 경우에 매우 유용합니다.

데이터 계보 시각화는 마이그레이션 프로세스의 시간, 노력 및 오류를 줄일 뿐만 아니라 더 빠른 마이그레이션을 가능하게 합니다.

계보를 비교하는 자동화된 메타데이터 검색 및 데이터 계보 도구를 사용하여 마이그레이션된 데이터에서 생성된 Azure Synapse의 보고서가 레거시 환경에서 동일한 방식으로 생성되는지 확인할 수 있습니다. 이 기능은 다음을 확인하는 데도 도움이 됩니다.

• Azure Synapse에서 성공적인 보고서 및 대시보드 실행을 보장하기 위해 마이그레이션해야 하는 데이터입니다.

• Azure Synapse에서 성공적인 실행을 보장하기 위해 수행해야 하는 변환은 무엇인가요?

• 보고서 중복을 줄이는 방법입니다.

자동화된 메타데이터 검색 및 데이터 계보 도구는 기업이 데이터 자산을 더 잘 인식하고 견고한 보고 환경을 달성하기 위해 Azure Synapse로 마이그레이션해야 하는 사항을 파악하는 데 도움이 되므로 마이그레이션 프로세스를 크게 간소화합니다.

여러 ETL 도구는 엔드투엔드 계보 기능을 제공하므로 Azure Synapse와 함께 사용하려는 경우 기존 ETL 도구에 해당 기능이 있는지 확인합니다. Azure Synapse 파이프라인 또는 Data Factory는 모두 매핑 흐름에서 계보를 보는 기능을 지원합니다. Microsoft 파트너 는 자동화된 메타데이터 검색, 데이터 계보 및 계보 비교 도구도 제공합니다.

BI 도구 의미 체계 계층을 Azure Synapse Analytics로 마이그레이션

일부 BI 도구에는 의미 체계 메타데이터 계층이라고 하는 것이 있습니다. 이 계층은 데이터 웨어하우스 또는 데이터 마트 데이터베이스의 기본 물리적 데이터 구조에 대한 비즈니스 사용자 액세스를 간소화합니다. 의미 체계 메타데이터 계층은 차원, 측정값, 계층 구조, 계산된 메트릭 및 조인과 같은 개략적인 개체를 제공하여 액세스를 간소화합니다. 상위 수준 개체는 비즈니스 분석가에게 친숙한 비즈니스 용어를 사용하고 데이터 웨어하우스 또는 데이터 마트의 물리적 데이터 구조에 매핑합니다.

데이터 웨어하우스 마이그레이션에서 열 이름 또는 테이블 이름을 변경해야 할 수 있습니다. 예를 들어 Teradata에서 테이블 이름은 "#"을 가질 수 있습니다. Azure Synapse에서 "#"은 임시 테이블을 나타내는 테이블 이름의 접두사로만 허용됩니다. Teradata에서 임시 테이블에는 이름에 반드시 "#"이 있는 것은 아니지만 Synapse에서는 반드시 있어야 합니다. 이러한 경우 테이블 매핑을 변경하기 위해 몇 가지 재작업을 수행해야 할 수 있습니다.

여러 BI 도구에서 일관성을 달성하려면 BI 도구와 애플리케이션과 Azure Synapse 사이에 있는 데이터 가상화 서버를 사용하여 범용 의미 체계 계층을 만듭니다. 데이터 가상화 서버에서 차원, 측정값, 계층 구조 및 조인과 같은 상위 수준 개체에 공통 데이터 이름을 사용합니다. 이렇게 하면 계산 필드, 조인 및 매핑을 비롯한 모든 항목을 모든 도구 대신 한 번만 구성합니다. 그런 다음 데이터 가상화 서버에서 모든 BI 도구를 가리킵니다.

데이터 가상화를 사용하면 모든 BI 도구에서 일관성을 얻고 BI 도구와 애플리케이션 간의 종속성과 Azure Synapse의 기본 물리적 데이터 구조를 중단합니다. Microsoft 파트너는 Azure에서 일관성을 달성하는 데 도움이 될 수 있습니다. 다음 다이어그램에서는 데이터 가상화 서버의 일반적인 어휘를 통해 여러 BI 도구에서 공통 의미 체계 계층을 볼 수 있는 방법을 보여 줍니다.

결론

리프트 앤 시프트 데이터 웨어하우스 마이그레이션에서 대부분의 보고서, 대시보드 및 기타 시각화는 쉽게 마이그레이션되어야 합니다.

레거시 환경에서 마이그레이션하는 동안 레거시 데이터 웨어하우스 또는 데이터 마트 테이블의 데이터가 지원되지 않는 데이터 형식에 저장된다는 것을 알 수 있습니다. 또는 사용자가 Azure Synapse에서 동등한 기능이 없는 독점 SQL을 포함한 레거시 데이터 웨어하우스 뷰를 찾을 수 있습니다. 그렇다면 Azure Synapse로 성공적으로 마이그레이션하려면 이러한 문제를 해결해야 합니다.

사용자가 유지 관리하는 설명서를 사용하여 문제가 있는 위치를 식별하지 마세요. 대신 SQL 비호환성을 식별하는 빠르고 실용적인 방법이기 때문에 문을 사용합니다 EXPLAIN . 호환되지 않는 SQL 문을 다시 작업하여 Azure Synapse에서 동등한 기능을 달성합니다. 또한 자동화된 메타데이터 검색 및 계보 도구를 사용하여 종속성을 이해하고, 중복 보고서를 찾고, 사용되지 않거나, 의심스러우거나, 존재하지 않는 데이터 원본을 사용하는 잘못된 보고서를 식별합니다. 계보 도구를 사용하여 계보를 비교하여 레거시 데이터 웨어하우스 환경에서 실행되는 보고서가 Azure Synapse에서 동일하게 생성되는지 확인합니다.

더 이상 사용하지 않는 보고서를 마이그레이션하지 마세요. BI 도구 사용량 데이터는 사용하지 않는 보고서를 확인하는 데 도움이 될 수 있습니다. 마이그레이션하려는 보고서, 대시보드 및 기타 시각화의 경우 모든 사용자, 사용자 그룹, 역할 및 권한을 마이그레이션합니다. 비즈니스 가치를 사용하여 보고서 마이그레이션 전략을 추진하는 경우 보고서를 전략적 비즈니스 목표 및 우선 순위와 연결하여 특정 목표에 대한 보고서 인사이트의 기여도를 식별할 수 있습니다. 데이터 마트를 통해 데이터 마트를 마이그레이션하는 경우 메타데이터를 사용하여 어떤 보고서가 어떤 테이블과 뷰에 종속되는지 식별하므로 먼저 마이그레이션할 데이터 마트에 대한 정보에 입각한 결정을 내릴 수 있습니다.

마이그레이션 중에 데이터 웨어하우스 또는 데이터 마트의 데이터 모델에 대한 구조적 변경이 발생할 수 있습니다. 데이터 가상화를 사용하여 BI 도구 및 애플리케이션을 구조적 변경으로부터 보호하는 것이 좋습니다. 데이터 가상화를 사용하면 공통 어휘를 사용하여 공통 의미 체계 계층을 정의할 수 있습니다. 공통 의미 체계 계층은 새 Azure Synapse 환경의 모든 BI 도구 및 애플리케이션에서 일관된 공통 데이터 이름, 정의, 메트릭, 계층 구조 및 조인을 보장합니다.

다음 단계

SQL 문제를 최소화하는 방법에 대한 자세한 내용은 이 시리즈의 다음 문서인 Teradata 마이그레이션에 대한 SQL 문제 최소화를 참조하세요.