Azure SQL Database
Azure SQL Managed Instance
Azure Synapse Analytics
Azure Databricks
Azure Event Hubs
이 문서에서는 Precisely Connect를 사용하여 메인프레임 및 미드레인지 시스템을 Azure로 마이그레이션하는 방법을 설명합니다. Precisely Connect는 CDC(변경 데이터 캡처) 기술을 사용하여 레거시 시스템에서 Azure로 실시간 데이터 복제를 수행합니다.
이 솔루션은 원본 시스템 성능에 미치는 영향을 최소화하면서 온-프레미스 메인프레임 환경과 Azure 클라우드 서비스 간에 데이터 일관성을 제공합니다. 아키텍처는 다양한 메인프레임 및 미드레인지 데이터 원본을 지원하고 Azure SQL Database, Azure Event Hubs 및 Microsoft Fabric과 같은 Azure 대상에 데이터를 복제합니다.
Apache®, Spark 및 불꽃 로고는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
다음 워크플로는 이전 다이어그램에 해당합니다.
Connect 에이전트 구성 요소는 메인프레임 또는 미드레인지 네이티브 유틸리티를 사용하여 변경 로그를 캡처하고 임시 스토리지에 로그를 캐시합니다.
메인프레임 시스템의 경우 메인프레임의 게시자 구성 요소가 데이터 마이그레이션을 관리합니다.
미드레인지 시스템의 경우 수신기 구성 요소는 게시자 대신 데이터 마이그레이션을 관리합니다. 수신기는 Windows 또는 Linux 컴퓨터에 상주합니다.
게시자 또는 수신기는 향상된 보안 연결을 통해 온-프레미스에서 Azure로 데이터를 이동합니다. 게시자 또는 수신기는 데이터의 무결성을 유지하는 각 작업 단위에 대한 트랜잭션의 커밋 및 롤백을 처리합니다.
Connect Replicator 엔진은 게시자 또는 수신기에서 데이터를 캡처하여 대상에 적용합니다. 병렬 처리를 위해 데이터를 배포합니다.
Event Hubs는 즉시 처리를 위해 Precisely Connect의 실시간 데이터 변경 내용을 수집합니다.
Azure Databricks 또는 Fabric(Apache Spark)은 수집된 데이터를 처리한 다음, 다운스트림 분석 및 BI(비즈니스 인텔리전스)를 위해 Azure 대상 또는 패브릭 레이크하우스 또는 웨어하우스에 저장됩니다.
Connect Controller Daemon은 요청을 인증하고 게시자 또는 수신기와 Replicator 엔진 간의 소켓 연결을 설정합니다.
구성 요소
이 아키텍처는 다음 구성 요소를 사용합니다.
네트워킹 및 ID
Azure ExpressRoute 는 연결 공급자의 프라이빗 연결을 통해 온-프레미스 네트워크를 Azure 클라우드 플랫폼으로 확장하는 연결 서비스입니다. 이 아키텍처에서 ExpressRoute는 메인프레임 데이터를 Azure에 복제하기 위한 안전하고 높은 대역폭 연결을 제공합니다.
Azure VPN Gateway 는 공용 인터넷을 통해 Azure 가상 네트워크와 온-프레미스 위치 간에 암호화된 트래픽을 보내는 가상 네트워크 게이트웨이를 만들 수 있는 가상 네트워크 게이트웨이 서비스입니다. 이 아키텍처에서는 프라이빗 연결을 사용할 수 없는 경우 ExpressRoute 대신 VPN Gateway를 사용하여 메인프레임 시스템을 Azure에 연결할 수 있습니다.
Microsoft Entra ID 는 온-프레미스 Active Directory와 동기화할 수 있는 ID 및 액세스 관리 서비스입니다. 이 아키텍처에서 Microsoft Entra ID는 Azure 리소스에 액세스하는 Precisely Connect 구성 요소에 대한 인증 및 액세스 제어를 관리합니다.
스토리지
Azure Database for MySQL은 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 관리형 관계형 데이터베이스 서비스입니다. 이 아키텍처에서 Azure Database for MySQL은 복제된 메인프레임 데이터에 대한 대상 옵션을 제공합니다.
Azure Database for PostgreSQL은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 관리형 관계형 데이터베이스 서비스입니다. 이 아키텍처에서 Azure Database for PostgreSQL은 메인프레임 데이터 복제를 위한 대체 대상 데이터베이스 역할을 할 수 있습니다.
Azure SQL Database는 Azure SQL 제품군의 일부인 PaaS(Platform as a Service) 데이터베이스 엔진입니다. 클라우드용으로 설계되었으며 관리형 및 항상 최신 상태인 PaaS의 모든 이점을 제공합니다. SQL Database는 성능과 내구성을 최적화하는 AI 기반의 자동화된 기능도 제공합니다. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다. 이 아키텍처에서 SQL Database는 ODBC(Open Database Connectivity) 또는 네이티브 데이터베이스 연결을 통해 복제된 메인프레임 데이터를 수신하기 위한 대상 데이터베이스 역할을 합니다.
Azure SQL Managed Instance 는 관리형 및 상록 PaaS의 모든 이점을 제공하는 클라우드 데이터베이스 서비스입니다. SQL Managed Instance는 최신 SQL Server Enterprise Edition 데이터베이스 엔진과 거의 완전한 호환성을 줍니다. 또한 일반적인 보안 문제를 해결하는 네이티브 가상 네트워크 구현을 제공합니다. 이 아키텍처에서 SQL Managed Instance는 SQL Server 호환성이 필요한 메인프레임 데이터의 대상으로 사용될 수 있습니다.
Azure Storage는 개체, 파일, 디스크, 큐 및 테이블 스토리지를 포함하는 클라우드 스토리지 솔루션입니다. 서비스에는 데이터를 전송, 공유 및 백업하기 위한 하이브리드 스토리지 솔루션 및 도구가 포함됩니다. 이 아키텍처에서 Storage는 복제된 메인프레임 데이터 및 임시 캐싱을 위한 확장 가능한 스토리지를 제공합니다.
OneLake 는 패브릭에 대한 통합된 단일 데이터 레이크입니다. 이 아키텍처에서 OneLake는 Event Hubs에서 데이터를 수집하기 위한 스토리지 역할을 합니다.
패브릭 은 데이터 이동, 데이터 처리, 수집, 변환, 실시간 이벤트 라우팅 및 보고서 빌드를 통합하는 분석 플랫폼입니다. 이 아키텍처에서 Fabric(Lakehouses, Warehouse 또는 Fabric 내의 SQL Database)은 분석 및 BI 계층의 관계형 스토리지 대상으로 사용됩니다.
분석 및 보고
- Power BI 는 조직 전체에서 인사이트를 제공할 수 있는 비즈니스 분석 도구 그룹입니다. Power BI는 수백 개의 데이터 원본에 연결하고, 데이터 준비를 간소화하고, 계획되지 않은 분석을 추진할 수 있습니다. 이 아키텍처에서 Power BI는 복제된 메인프레임 데이터를 분석하기 위한 BI 기능을 제공합니다. Power BI는 기본적으로 통합 분석을 위해 패브릭과 통합됩니다.
모니터링
- Azure Monitor 는 클라우드 및 온-프레미스 환경에서 원격 분석을 수집, 분석 및 작동하기 위한 솔루션을 제공하는 모니터링 서비스입니다. 기능에는 Application Insights, Azure Monitor 로그 및 Log Analytics가 포함됩니다. 이 아키텍처에서 Azure Monitor는 데이터 복제 프로세스 및 Azure 리소스에 대한 모니터링 및 관찰 가능성을 제공합니다.
데이터 통합자
Azure Databricks 는 오픈 소스 라이브러리와 통합되는 Spark를 기반으로 하는 통합 분석 플랫폼입니다. 분석 워크로드를 실행하기 위한 공동 작업 영역을 제공합니다. Python, Scala, R 및 SQL 언어를 사용하여 ETL(추출, 변환, 로드) 파이프라인을 빌드하고 작업을 오케스트레이션할 수 있습니다. 이 아키텍처에서 Azure Databricks는 Azure 데이터 플랫폼 서비스에서 사용할 복제된 메인프레임 데이터를 처리하고 변환합니다.
패브릭 은 관리형 Spark 컴퓨팅 플랫폼에서 작동하는 엔드 투 엔드 AI 기반 분석 플랫폼입니다. 이 아키텍처에서 Fabric Spark는 복제된 메인프레임 데이터를 수집 및 변환하여 다운스트림 Azure 데이터 플랫폼 및 패브릭 서비스를 통해 분석이 준비되도록 합니다.
Event Hubs 는 초당 수백만 개의 이벤트를 처리할 수 있는 실시간 데이터 수집 서비스입니다. 여러 원본에서 데이터를 수집하고 실시간 분석에 사용할 수 있습니다. 데이터 볼륨에 따라 Event Hubs의 크기를 조정할 수 있습니다. 이 아키텍처에서 Event Hubs는 즉시 처리 및 분석을 위해 Precisely Connect의 실시간 데이터 변경 내용을 수집합니다.
Precisely Connect 는 여러 원본의 데이터를 통합하고 Azure에 실시간 복제를 제공할 수 있는 데이터 통합 플랫폼입니다. 애플리케이션을 변경하지 않고 데이터를 복제하는 데 사용할 수 있습니다. 정확하게 연결하면 ETL 작업의 성능도 향상될 수 있습니다. 이 아키텍처에서 Precisely Connect는 메인프레임 데이터를 실시간으로 캡처하고 Azure로 마이그레이션하는 기본 데이터 복제 엔진 역할을 합니다.
시나리오 정보
다양한 전략을 사용하여 메인프레임 및 미드레인지 시스템을 Azure로 마이그레이션할 수 있습니다. 데이터 마이그레이션은 이 프로세스에서 중요한 역할을 합니다. 하이브리드 클라우드 아키텍처에서는 메인프레임 또는 미드레인지 시스템과 Azure 데이터 플랫폼 간에 데이터를 복제해야 합니다. 데이터의 무결성을 유지하려면 중요 비즈니스용 애플리케이션에 대한 실시간 복제가 필요합니다. 정확하게 연결하면 CDC를 사용하거나 일괄 수집을 사용하여 메인프레임 및 미드레인지 데이터 원본에서 Azure 데이터 플랫폼으로 데이터를 실시간으로 복제할 수 있습니다.
정밀 연결은 다음 원본을 포함하여 다양한 메인프레임 및 미드레인지 데이터 원본을 지원합니다.
- Db2 z/OS
- Linux, UNIX 및 Windows용 Db2(LUW)
- I용 Db2
- IBM IMS(정보 관리 시스템)
- IBM VSAM(Virtual Storage Access Method)
- 파일 및 복사 문서
Precisely Connect는 데이터를 Event Hubs에서 즉시 처리할 수 있도록 수집하는 소비 가능한 형식으로 변환합니다. Azure Databricks 또는 Fabric은 다운스트림 사용 및 스토리지를 위해 수집된 데이터를 Azure 대상으로 처리합니다. 이러한 대상에는 SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage 및 패브릭 레이크하우스 또는 웨어하우스가 포함됩니다. 정밀 연결은 데이터 볼륨 및 고객 요구 사항에 따라 확장성도 지원합니다. 성능에 영향을 주거나 네트워크에 부담을 주지 않고 데이터를 복제합니다.
잠재적인 사용 사례
메인프레임 및 미드레인지 데이터 원본에서 Azure 데이터 플랫폼으로 데이터 복제
하이브리드 클라우드 아키텍처에서 메인프레임 또는 미드레인지 시스템과 Azure 데이터 플랫폼 간의 데이터 동기화
메인프레임 또는 미드레인지 시스템의 운영 데이터를 기반으로 Azure에서 근 실시간 분석
애플리케이션에 영향을 주지 않고 메인프레임 또는 미드레인지 시스템에서 Azure로 데이터 마이그레이션
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일련의 기본 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Well-Architected Framework를 참조하세요.
안정성
안정성은 애플리케이션이 고객에 대한 약정을 충족할 수 있도록 하는 데 도움이 됩니다. 자세한 내용은 안정성대한
Azure Monitor 및 Application Insights를 사용하여 데이터 마이그레이션을 모니터링합니다. 사전 관리를 위한 경고를 설정합니다.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 개선하는 방법에 중점을 둡니다. 자세한 내용은 비용 최적화대한
Azure에 대한 데이터 복제 및 Azure 서비스의 처리는 메인프레임 시스템에서 데이터를 유지 관리하는 것에 비해 비용을 절감할 수 있습니다.
Azure Portal의 비용 관리 도구는 지출을 분석하는 데 도움이 되는 비용 분석 보기를 제공합니다.
Azure Databricks를 사용하여 자동 크기 조정을 통해 클러스터 크기를 조정하여 비용을 최적화할 수 있습니다. 이 방법은 고정 구성에 비해 비용을 절감할 수 있습니다.
Azure Advisor는 성능 및 비용 관리를 최적화하기 위한 권장 사항을 제공합니다.
Azure 가격 계산기를 사용하여 이 솔루션 구현 비용을 예상합니다.
성능 효율성
성능 효율성은 사용자 요구를 효율적으로 충족하기 위해 워크로드의 크기를 조정하는 기능을 의미합니다. 자세한 내용은 성능 효율성대한
정확하게 연결하면 데이터 볼륨에 따라 크기를 조정하고 데이터 복제를 최적화할 수 있습니다.
Connect Replicator 엔진은 병렬 처리를 위해 데이터를 배포할 수 있습니다. 워크로드 수집에 따라 배포의 균형을 맞출 수 있습니다.
SQL Database 서버리스는 워크로드 볼륨에 따라 자동으로 확장할 수 있습니다.
Event Hubs는 처리량 단위 및 파티션 수에 따라 크기를 조정할 수 있습니다.
자세한 내용은 Azure의 자동 스케일링 모범 사례를 참조하세요.
참가자
Microsoft는 이 문서를 유지 관리합니다. 다음 기여자는 이 문서를 작성했습니다.
보안 주체 작성자:
- Seetharaman Sankaran | 선임 엔지니어링 설계자
기타 기여자:
- Gyani Sinha | 수석 솔루션 엔지니어
LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.
다음 단계
- Precisely Connect을 사용하는 CDC
- Azure ExpressRoute란?
- VPN Gateway란?
- SQL Database란?
- Microsoft의 메인프레임 데이터 현대화 엔지니어링 팀에 문의하세요.