Azure에서 메인프레임 파일 복제 및 동기화
솔루션 아이디어
이 문서는 솔루션 아이디어 설명입니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.
온-프레미스 메인프레임 또는 미드레인지 애플리케이션을 Azure로 마이그레이션하는 경우 데이터 전송이 주요 고려 사항입니다. 여러 현대화 시나리오에서는 파일을 Azure에 신속하게 복제하거나 온-프레미스 파일과 Azure 파일 간의 동기화를 유지 관리해야 합니다.
이 문서에서는 Azure로 파일을 전송하고, 파일 데이터를 변환 및 변환하고, 온-프레미스 및 Azure에 데이터를 저장하는 여러 가지 방법을 설명합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
다음 데이터 흐름은 아키텍처 다이어그램에 해당합니다.
Azure로 파일 전송:
온-프레미스에서 Azure로 파일을 전송하는 가장 쉬운 방법은 FTP(파일 전송 프로토콜)를 사용하는 것입니다. Azure VM(가상 머신)에서 FTP 서버를 호스트할 수 있습니다. 간단한 FTP JCL(작업 제어 언어)이 메인프레임과 미드레인지 계산 및 이진 데이터 형식을 유지하는 데 필수적인 이진 형식으로 Azure에 파일을 보냅니다. 전송된 파일을 온-프레미스 디스크, Azure VM 파일 스토리지 또는 Azure Blob Storage에 저장할 수 있습니다.
AzCopy와 같은 도구를 사용하여 온-프레미스 파일을 Blob Storage에 업로드할 수도 있습니다.
Azure Data Factory FTP 또는 SFTP(보안 파일 전송 프로토콜) 커넥터를 사용하여 메인프레임 시스템에서 Blob Storage로 데이터를 전송할 수 있습니다. 이 메서드를 사용하려면 자체 호스팅 통합 런타임이 설치된 중간 VM이 필요합니다.
또한 Azure Marketplace에서 Microsoft 이외의 도구를 찾아 메인프레임에서 Azure로 파일을 전송할 수도 있습니다.
데이터 오케스트레이션, 변환 및 변형:
Azure는 Azure VM 디스크 또는 Blob Storage에서 IBM EBCDIC(Extended Binary Coded Decimal Interchange Code) 코드 페이지 파일을 읽을 수 없습니다. 이러한 파일을 Azure와 호환되도록 HIS(Host Integration Server)는 EBCDIC에서 ASCII(American Standard Code for Information Interchange) 형식으로 변환합니다.
복사 문서는 COBOL, PL/I 및 어셈블리 언어 파일의 데이터 구조를 정의합니다. HIS는 복사 문서 레이아웃에 따라 이러한 파일을 ASCII로 변환합니다.
메인프레임 파일 데이터 변환은 IBM 호스트 파일용 Azure Logic Apps 커넥터를 사용하여 수행할 수 있습니다.
Azure 데이터 저장소로 데이터를 전송하기 전에 데이터를 변환하거나 분석에 사용해야 할 수 있습니다. Azure Data Factory는 이러한 ETL(추출-변환-로드) 및 ELT(추출-로드-변환) 작업을 관리하고 Azure Data Lake Storage에 직접 데이터를 저장할 수 있습니다. 또는 Fabric Data Factory 및 OneLake 저장소를 사용할 수 있습니다.
빅 데이터 통합의 경우 Azure Databricks와 Microsoft Fabric은 메모리 내 계산에 Apache Spark 엔진을 사용하여 모든 변환 작업을 빠르고 효과적으로 수행할 수 있습니다.
데이터 저장:
요구 사항에 따라 전송된 데이터를 사용 가능한 여러 영구 Azure 스토리지 모드 중 하나로 저장할 수 있습니다.
분석이 필요하지 않은 경우 Azure Data Factory는 Data Lake Storage, Blob Storage 및 Microsoft Fabric OneLake와 같은 광범위한 스토리지 옵션에 데이터를 직접 저장할 수 있습니다.
Azure는 다양한 요구 사항을 해결하는 다양한 데이터베이스를 호스팅합니다 .
관계형 데이터베이스에는 SQL Server 제품군 및 PostgreSQL 및 MySQL과 같은 오픈 소스 데이터베이스가 포함됩니다.
비관계형 데이터베이스에는 빠른 다중 모델, 전역적으로 분산된 NoSQL 데이터베이스인 Azure Cosmos DB가 포함됩니다.
분석 및 비즈니스 인텔리전스를 검토합니다. Microsoft Fabric 은 데이터 이동에서 데이터 과학, 실시간 분석 및 비즈니스 인텔리전스에 이르기까지 모든 것을 포괄하는 올인원 분석 솔루션입니다. 데이터 레이크, 데이터 엔지니어링 및 데이터 통합을 비롯한 서비스 제품군을 모두 한 곳에서 제공합니다.
구성 요소
이 아키텍처는 다음 구성 요소를 사용합니다.
네트워킹
온-프레미스 데이터 게이트웨이는 온-프레미스 데이터 원본을 클라우드 서비스에 연결하는 브리지 소프트웨어입니다. 이 아키텍처에서는 파일 전송 및 통합을 위해 메인프레임 시스템과 Azure 서비스 간의 통신을 가능하게 합니다. 전용 온-프레미스 VM에 게이트웨이를 설치할 수 있습니다.
데이터 통합 및 변환
이 아키텍처는 메인프레임 원본 데이터 및 대상 데이터베이스에 따라 사용할 수 있는 다양한 Azure 네이티브 마이그레이션 도구를 간략하게 설명합니다.
호스트 파일용 데이터 공급자는 EBCDIC 코드 페이지 파일을 ASCII로 변환하는 HIS의 구성 요소입니다. 공급자는 로컬 이진 파일에서 오프라인으로 레코드를 읽고 쓸 수 있습니다. 또는 SNA(시스템 네트워크 아키텍처) 또는 TCP/IP(Transmission Control Protocol/Internet Protocol)를 사용하여 원격 IBM z/OS 메인프레임 데이터 세트 또는 i5/OS 물리적 파일에서 레코드를 읽고 쓸 수 있습니다. HIS 커넥터는 BizTalk 및 Logic Apps에 사용할 수 있습니다. 이 아키텍처에서 호스트 파일용 데이터 공급자를 사용하면 Azure로 마이그레이션하기 위해 IBM z/OS 및 i5/OS 데이터 세트를 파일 수준 액세스 및 변환할 수 있습니다.
Azure Data Factory 는 ETL 및 ELT 워크플로를 만들고 예약하고 오케스트레이션하는 데 사용할 수 있는 하이브리드 데이터 통합 서비스입니다. 이 아키텍처에서 Azure Data Factory는 FTP를 통해 메인프레임 파일을 Blob Storage로 전송하고 변환 파이프라인을 관리합니다.
Azure Databricks는 Azure에 최적화된 Apache Spark 기반 분석 플랫폼입니다. 이 아키텍처에서는 고급 분석 및 변환을 위해 들어오는 메인프레임 데이터를 다른 데이터 세트와 보강하고 상호 연결합니다.
Microsoft Fabric 은 수집, 준비, 스토리지, 분석 및 시각화를 포함하여 모든 데이터 수명 주기 단계에 대한 클라우드 서비스 및 도구 제품군을 갖춘 지능형 데이터 플랫폼입니다. 이 아키텍처에서 Fabric을 사용하면 조직에서 데이터 이동을 연구하고, 데이터 과학을 실험하고, 변환된 메인프레임 데이터에 대한 실시간 분석 및 비즈니스 인텔리전스를 수행할 수 있습니다.
Logic Apps 는 워크플로를 자동화하고 다양한 환경에서 애플리케이션, 데이터 및 서비스를 통합하는 데 사용할 수 있는 클라우드 기반 서비스입니다. 이 아키텍처에서는 IBM 호스트 파일 커넥터를 사용하여 메인프레임 시스템과 상호 작용하고 파일 구문 분석 및 변환을 자동화합니다.
데이터베이스
이 아키텍처는 메인프레임 파일 데이터를 Azure의 클라우드 스토리지 및 관리되는 데이터베이스로 마이그레이션하는 프로세스를 간략하게 설명합니다. 여기에는 Azure의 대상 스키마와 일치하도록 메인프레임 파일 메타데이터 변환이 포함됩니다.
Azure SQL Database는 확장 가능한 관계형 클라우드 데이터베이스 서비스입니다. SQL Database는 성능과 내구성을 최적화하는 AI 기반 및 자동화된 기능을 사용하여 항상 up-to. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 필요에 따라 리소스 크기를 자동으로 조정합니다. 이 아키텍처에서 SQL Database는 변환된 메인프레임 데이터를 저장하고 고가용성을 지원합니다. 또한 추가 비용 없이 클라우드에서 기존 온-프레미스 SQL Server 라이선스를 사용할 수 있으므로 Azure 하이브리드 혜택을 통해 비용 효율성을 지원합니다.
Azure SQL Managed Instance 는 관리형 인프라와 전체 SQL Server 호환성을 제공하는 PaaS(Platform as a Service) 제품입니다. 이 아키텍처에서는 최소한의 코드 변경으로 마이그레이션된 메인프레임 데이터를 호스팅하여 레거시 애플리케이션을 현대화합니다.
Azure Virtual Machines의 SQL Server 는 SQL Server 워크로드를 Azure로 리프트 앤 시프트하는 IaaS(Infrastructure as a Service) 솔루션으로, Azure의 유연성 및 하이브리드 연결과 SQL Server 성능, 보안 및 분석을 결합합니다. 이 아키텍처에서는 메인프레임 파생 데이터를 호스팅하기 위한 SQL Server 구성을 제어합니다.
Azure Database for PostgreSQL 은 관리형 오픈 소스 관계형 데이터베이스 서비스입니다. 이 아키텍처에서는 PostgreSQL 호환성이 필요한 마이그레이션된 메인프레임 데이터의 대상으로 사용됩니다.
Azure Database for MySQL 은 관리되는 MySQL 데이터베이스 서비스입니다. 이 아키텍처에서는 변환된 메인프레임 데이터에 MySQL 기반 스토리지가 필요한 워크로드를 지원합니다.
Azure Cosmos DB 는 다중 모델 지원을 포함하는 전역적으로 분산된 NoSQL 데이터베이스 서비스입니다. 이 아키텍처에서는 변환된 메인프레임 데이터를 기반으로 하는 확장 가능한 고성능 애플리케이션을 저장합니다.
다른 데이터 저장소
Blob Storage 는 텍스트 또는 이진 데이터와 같은 많은 양의 구조화되지 않은 데이터를 저장하는 클라우드 기반 개체 스토리지 솔루션입니다. HTTP 또는 HTTPS를 통해 어디서나 이 데이터에 액세스할 수 있습니다. Blob Storage를 사용하여 데이터를 공개적으로 노출하거나 애플리케이션 데이터를 비공개로 저장할 수 있습니다. 이 아키텍처에서는 메인프레임 시스템에서 전송된 이진 파일과 텍스트 파일을 저장하고 변환을 위한 준비 영역 역할을 합니다.
Data Lake Storage는 대량의 데이터를 네이티브, 원시 형식으로 보관하는 스토리지 리포지토리입니다. Data Lake Storage는 테라바이트 및 페타바이트 데이터로 빅 데이터 분석 워크로드의 크기를 조정합니다. 데이터는 일반적으로 여러 다른 유형의 원본에서 제공되며 구조화, 반구조화 또는 비구조화될 수 있습니다. 이 아키텍처에서는 분석 서비스에서 처리하기 위해 원시 및 변환된 메인프레임 데이터를 네이티브 형식으로 저장합니다.
Microsoft Fabric의 OneLake 는 단일 통합 논리 데이터 레이크입니다. 이 아키텍처에서는 Fabric Data Factory 파이프라인의 스토리지 대상으로 사용됩니다. 분석 및 비즈니스 인텔리전스 워크로드를 위해 변환된 메인프레임 데이터를 저장할 중앙 집중식 위치를 제공합니다.
시나리오 세부 정보
메인프레임 시스템에서 Azure 클라우드 스토리지 및 데이터베이스로 데이터를 마이그레이션하려면 메인프레임 파일을 EBCDIC로 인코딩된 형식에서 ASCII 형식으로 변환해야 합니다. 메인프레임 애플리케이션은 매일 많은 양의 데이터를 생성하고 처리합니다. 이 데이터는 다른 플랫폼에서 사용하기 위해 정확하게 변환되어야 합니다.
조직에서 메인프레임 파일 시스템 데이터를 전환할 때 파일 메타데이터를 클라우드 네이티브 도형으로 변환해야 합니다. 그리고 효과적인 파일 변환 기술을 포함하는 마이그레이션 전략을 개발합니다.
잠재적인 사용 사례
온-프레미스 파일 복제 및 동기화는 다양한 사용 사례에 필수적입니다.
메인프레임에서 실행되는 애플리케이션과 Azure에서 실행되는 애플리케이션이 파일을 통해 데이터를 교환해야 하는 경우와 같은 다운스트림 또는 업스트림 종속성
온-프레미스 애플리케이션을 사용하여 Azure에서 다시 호스팅되거나 다시 엔지니어링된 애플리케이션의 병렬 테스트
즉시 수정하거나 현대화할 수 없는 시스템의 긴밀하게 결합된 온-프레미스 애플리케이션
참가자
Microsoft는 이 문서를 유지 관리합니다. 다음 기여자는 이 문서를 작성했습니다.
주요 작성자:
- Nithish Aruldoss | 엔지니어링 설계자
- 아시쉬 칸델왈 | 수석 엔지니어링 아키텍처 관리자
기타 기여자:
- Gyani Sinha | 선임 클라우드 솔루션 설계자
LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.
다음 단계
- 자세한 내용은 Microsoft SQL Data Engineering 팀에 문의하세요.
- Azure 데이터베이스 마이그레이션 가이드