Qlik을 사용하여 메인프레임 및 미드레인지 데이터를 Azure에 복제

Azure Event Hubs

Azure 데이터 레이크

Azure Databricks

이 솔루션은 Qlik의 온-프레미스 인스턴스를 사용하여 온-프레미스 데이터 소스를 Azure에 실시간으로 복제합니다.

비고

"Qlik"을 "click"과 같이 발음합니다.

Apache® 및 Apache Kafka®는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.

건축학

이 아키텍처의 Visio 파일을 다운로드합니다.

워크플로

호스트 에이전트: 온-프레미스 시스템의 호스트 에이전트는 Db2, IMS(Information Management System) 및 VSAM(Virtual Storage Access Method) 데이터 저장소에서 변경 로그 정보를 캡처하여 Qlik 복제 서버에 전달합니다.
복제 서버: Qlik 복제 서버 소프트웨어는 변경 로그 정보를 eventstream에 수집합니다. 이 예제에서 Qlik은 온-프레미스이지만 Azure의 가상 머신에 배포할 수 있습니다.
스트림 수집: eventstream 및 eventhouse는 데이터 준비 및 준비를 처리합니다.
- Eventstream은 Qlik 복제 서버에서 실시간 변경 로그 데이터를 라우팅합니다. 이벤트 하우스에 대한 핫 경로를 통해 데이터를 전송하여 거의 실시간 분석을 사용하도록 설정합니다.
- 이벤트 하우스는 실시간 분석 저장소 역할을 하며 쿼리 및 분석을 위해 패브릭에 변경 로그 데이터를 저장합니다.
- OneLake 는 콜드 경로를 통한 고급 분석을 위한 기록 분석 및 대규모 데이터 준비를 위한 통합 데이터 레이크입니다. Eventhouse에서 큐레이팅되거나 복제된 변경 로그 데이터를 저장하거나(OneLake 가용성을 통해) eventstream에서 직접 수집합니다.
Azure 데이터 서비스: Azure는 다음과 같은 효율적인 데이터 스토리지 서비스 및 데이터 처리 서비스를 제공합니다.
- 관계형 데이터베이스 서비스:
  - Azure SQL 데이터베이스
  - PostgreSQL용 Azure 데이터베이스
  - Azure Database for MySQL (MySQL을 위한 Azure 데이터베이스)
  데이터 스토리지 서비스를 선택할 때 고려해야 할 많은 요소가 있습니다. 워크로드 유형, 데이터베이스 간 쿼리, 2단계 커밋 요구 사항, 파일 시스템에 액세스할 수 있는 기능, 데이터 양, 필요한 처리량 및 대기 시간을 고려합니다.
- Azure Cosmos DB: Azure Cosmos DB는 모든 규모에서 빠른 응답, 자동 확장성 및 보장된 속도를 제공하는 NoSQL 데이터베이스입니다.
- Azure Databricks : Azure Databricks는 변경 로그 데이터를 처리하고 Azure에서 해당 파일을 업데이트합니다.
- Microsoft Fabric: 패브릭은 엔터프라이즈를 위한 올인원 분석 솔루션입니다. 데이터 이동에서 데이터 과학, 실시간 분석 및 비즈니스 인텔리전스에 이르기까지 모든 것을 다룹니다. 데이터 레이크, 데이터 엔지니어링 및 데이터 통합을 포함한 포괄적인 서비스 제품군을 제공합니다.

구성 요소

이 아키텍처는 여러 Azure 클라우드 서비스로 구성되며 네트워킹 및 ID, 응용 프로그램, 저장소 및 모니터링의 네 가지 리소스 범주로 나뉩니다. 다음 섹션에서는 각 리소스와 해당 역할에 대한 서비스에 대해 설명합니다.

Networking

애플리케이션 아키텍처를 설계할 때는 공용 인터넷 또는 개인 연결을 통한 상호 작용 중에 보안, 성능 및 관리 용이성을 보장하는 데 도움이 되는 네트워킹 및 ID 구성 요소의 우선 순위를 지정하는 것이 중요합니다.

Azure ExpressRoute 는 온-프레미스 인프라와 Microsoft 클라우드 서비스 간의 전용 프라이빗 연결입니다. 이 아키텍처에서는 Azure 및 Microsoft 365에 대한 안전하고 높은 처리량 연결을 보장하고 공용 인터넷을 우회하여 안정성과 성능을 향상합니다.

스토리지 및 데이터베이스

Azure 및 Fabric은 유연하고 지능적인 데이터 관리를 위해 확장 가능한 클라우드 스토리지 및 관리형 데이터베이스를 지원하는 관리형 서비스를 제공합니다.

Azure Databricks 는 Apache Spark를 기반으로 하는 클라우드 기반 데이터 엔지니어링 및 분석 플랫폼입니다. 방대한 양의 데이터를 처리하고 변환할 수 있습니다. 기계 학습 모델을 사용하여 데이터를 탐색할 수 있습니다. 작업은 R, Python, Java, Scala 및 Spark SQL로 작성할 수 있습니다. 이 아키텍처에서 Azure Databricks는 기계 학습 모델을 사용하여 대량의 수집된 데이터를 변환하고 분석합니다. 또한 R, Python, Java, Scala 및 Spark SQL에서 개발을 지원합니다.
OneLake 는 전체 조직에 서비스를 제공할 수 있는 통합된 논리 데이터 레이크입니다. OneDrive와 마찬가지로 OneLake는 모든 패브릭 테넌트를 포함하며 모든 분석 데이터에 대한 단일 위치를 제공합니다. 이 아키텍처에서 OneLake는 온-프레미스 시스템의 처리된 변경 로그 데이터에 대한 영구 스토리지 계층 역할을 합니다.
Azure Cosmos DB 는 전역적으로 분산된 NoSQL 데이터베이스 서비스입니다. 이 아키텍처에서는 메인프레임 시스템에서 마이그레이션된 비타블라 데이터를 저장하고 여러 지역에서 짧은 대기 시간 액세스를 지원합니다.
Azure Database for MySQL 은 확장성 및 고가용성을 위해 설계된 완전히 관리되는 MySQL 데이터베이스 서비스입니다. 이 아키텍처에서는 오픈 소스 관계형 워크로드를 지원합니다.
Azure Database for PostgreSQL 은 Azure 서비스와 기본적으로 연결되는 완전 관리형, 지능형 및 확장 가능한 PostgreSQL입니다. 이 아키텍처에서는 고급 인덱싱, 분석 및 오픈 소스 도구와의 호환성을 활용할 수 있는 관계형 데이터를 호스팅합니다.
Azure SQL 은 마이그레이션, 현대화 및 개발을 지원하는 클라우드 기반 SQL 데이터베이스 서비스의 제품군입니다. 이 제품군에는 다음과 같은 제품이 포함됩니다.
- Azure SQL Edge 는 IoT 및 에지 배포에 최적화된 경량 SQL 엔진입니다. 이 아키텍처에서는 연결이 끊어지거나 대기 시간이 중요한 환경에서 디바이스와 가까운 데이터를 처리하고 저장합니다.
- Azure SQL Managed Instance 는 온-프레미스 SQL Server와 거의 100개의% 호환성이 있는 완전 관리형 SQL Server 인스턴스입니다. 이 아키텍처에서는 간소화된 관리 및 기본 제공 고가용성을 활용하는 마이그레이션된 데이터베이스를 호스트합니다.
- SQL Database 는 확장성 및 성능에 최적화된 완전 관리형 관계형 데이터베이스입니다. 이 아키텍처에서는 탄력적 컴퓨팅 및 기본 제공 인텔리전스를 사용하여 현대화된 워크로드를 지원합니다.
- Azure Virtual Machines의 SQL Server는 Azure 인프라에서 실행되는 완전한 기능을 갖춘 SQL Server 인스턴스입니다. 이 아키텍처에서는 운영 체제 및 데이터베이스 엔진을 완전히 제어해야 하는 레거시 워크로드를 지원합니다.

모니터링

모니터링 도구는 포괄적인 데이터 분석과 애플리케이션 성능에 대한 귀중한 통찰력을 제공합니다.

Application Insights 는 애플리케이션 성능, 가용성 및 사용에 대한 심층 원격 분석을 제공하는 Azure Monitor의 기능입니다. 이 아키텍처에서는 애플리케이션 동작을 모니터링하고, 변칙을 검색하고, 분산 추적을 지원하여 서비스 전반에서 안정성을 보장합니다.
Azure Monitor는 Azure 및 온-프레미스 환경에서 원격 분석을 수집, 분석 및 작동하기 위한 포괄적인 플랫폼입니다. 이 아키텍처에서는 인프라 및 애플리케이션 전반에서 사전 모니터링 및 진단을 가능하게 하는 중앙 관찰 계층 역할을 합니다.
- Log Analytics 는 강력한 쿼리 언어를 사용하여 로그 데이터를 심층 분석할 수 있는 Azure Monitor 내의 쿼리 도구입니다. 이 아키텍처에서는 여러 원본에서 데이터를 조인하고 집계하여 진단, 사용자 지정 대시보드 및 운영 인사이트를 지원합니다.

대안

앞의 다이어그램은 온프레미스에 설치된 Qlik을 보여줍니다. 이 접근 방식은 Qlik을 온-프레미스 데이터 소스에 가깝게 유지하기 위해 권장되는 모범 사례입니다. 대안은 Azure 가상 머신의 클라우드에 Qlik을 설치하는 것입니다.
Qlik Data Integration은 Kafka 또는 이벤트 허브를 거치지 않고 Azure Databricks에 직접 데이터를 전달할 수 있습니다.
Qlik Data Integration은 데이터를 Azure Cosmos DB에 직접 복제할 수 없지만 이벤트 소싱 아키텍처를 사용하여 Azure Cosmos DB를 이벤트 허브와 통합할 수 있습니다.

시나리오 세부 정보

많은 조직에서 메인프레임 및 미드레인지 시스템을 사용하여 까다롭고 중요한 워크로드를 실행합니다. 대부분의 응용 프로그램은 종종 여러 시스템에서 공유 데이터베이스를 사용합니다. 이 환경에서 클라우드로 현대화한다는 것은 온-프레미스 데이터를 클라우드 기반 애플리케이션에 제공해야 한다는 것을 의미합니다. 따라서 데이터 복제는 중요한 현대화 전략이 됩니다.

Qlik Data Integration 플랫폼에는 데이터 복제를 수행하는 Qlik Replicate가 포함되어 있습니다. 변경 데이터 캡처를 사용하여 온-프레미스 데이터 저장소를 Azure에 실시간으로 복제합니다. 변경 데이터는 Db2, IMS 및 VSAM 변경 로그에서 가져올 수 있습니다. 이 복제 기술은 불편한 일괄 처리 대량 로드를 제거합니다. 이 솔루션은 Qlik의 온-프레미스 인스턴스를 사용하여 온-프레미스 데이터 소스를 Azure에 실시간으로 복제합니다.

잠재적인 사용 사례

이 솔루션은 다음과 같은 경우에 적합할 수 있습니다.

메인프레임 또는 미드레인지 시스템에서 Azure 데이터베이스로 데이터 변경 내용을 복제해야 하는 하이브리드 환경입니다.
다운타임이 거의 없이 Db2에서 Azure SQL 데이터베이스로 온라인 데이터베이스 마이그레이션.
통합 및 분석을 위해 다양한 온-프레미스 데이터 저장소에서 Azure로 데이터 복제.

고려 사항

이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일련의 기본 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Well-Architected Framework를 참조하세요.

신뢰도

안정성은 애플리케이션이 고객에 대한 약정을 충족할 수 있도록 하는 데 도움이 됩니다. 자세한 내용은 안정성에 대한 디자인 검토 검사 목록을 참조하세요.

Qlik Data Integration은 고가용성 클러스터에서 구성할 수 있습니다.
Azure 데이터베이스 서비스는 영역 중복성을 지원합니다. 유지 관리 기간 또는 중단 중에 보조 노드로 장애 조치(failover)하도록 디자인할 수 있습니다.
Fabric은 가용성 영역을 통해 지역 복원력을 제공하고 지역 간 복구를 지원합니다.

안전

보안은 의도적인 공격 및 중요한 데이터 및 시스템의 오용에 대한 보증을 제공합니다. 자세한 내용은 보안성에 대한 디자인 검토 검사 목록을 참조하세요.

ExpressRoute는 온-프레미스에서 Azure에 대한 프라이빗하고 효율적인 연결을 제공하지만 대신 사이트 간 VPN 을 사용할 수 있습니다.
Azure 리소스는 Microsoft Entra ID를 사용하여 인증할 수 있으며 권한은 역할 기반 액세스 제어를 통해 관리됩니다.
Azure 데이터베이스 서비스 및 패브릭은 다음 기능을 포함하여 다양한 보안 옵션을 지원합니다.
- 휴지 상태의 암호화
- 동적 데이터 마스킹
- 항상 암호화된 데이터베이스
자세한 내용은 Azure 보안 설명서 및 패브릭 보안 설명서를 참조하세요.

비용 최적화

비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 개선하는 방법에 중점을 둡니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.

구현 비용을 예측하려면 Azure 가격 계산기 및 패브릭 가격 책정 예측기를 사용합니다.

운영 효율성

운영 우수성은 애플리케이션을 배포하고 프로덕션에서 계속 실행하는 운영 프로세스를 다룹니다. 자세한 내용은 Operational Excellence에 대한 디자인 검토 검사 목록을 참조하세요.

Application Insights 및 Log Analytics 기능을 결합하여 Azure 리소스의 상태를 모니터링할 수 있습니다. 문제를 사전에 관리할 수 있도록 경고를 설정할 수 있습니다.

패브릭을 사용하면 거버넌스, 관찰 가능성 및 복원력 있는 엔지니어링 패턴을 통합하여 운영 우수성을 구현할 수 있습니다. 이러한 통합은 OneLake, 패브릭 데이터 웨어하우스, 패브릭 데이터 엔지니어, 패브릭 Real-Time 인텔리전스 및 기타 워크로드에서 발생합니다.

성능 효율성

성능 효율성은 사용자 요구를 효율적으로 충족하기 위해 워크로드의 크기를 조정하는 기능을 의미합니다. 자세한 내용은 성능 효율성에 대한 디자인 검토 검사 목록을 참조하세요.

패브릭, Azure Databricks, Data Lake Storage 및 기타 Azure 데이터베이스 서비스에는 자동 크기 조정 기능이 있습니다. 자세한 내용은 자동 크기 조정을 참조하세요.

기여자

Microsoft는 이 문서를 유지 관리합니다. 다음 기여자는 이 문서를 작성했습니다.

주요 작성자:

Nithish Aruldoss | 엔지니어링 설계자
아시쉬 칸델왈 | 수석 엔지니어링 아키텍처 관리자

기타 기여자:

다르멘드라 케샤리 | 클라우드 솔루션 설계자

LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.

다음 단계

피드백

이 페이지가 도움이 되었나요?