다음을 통해 공유

Microsoft Fabric 및 Azure Databricks를 사용하여 SMB에 대한 최신 데이터 플랫폼 아키텍처 빌드

Azure 데이터 레이크
Azure Databricks
Microsoft Fabric
Dynamics 365
Azure Data Factory

솔루션 아이디어

이 문서에서는 솔루션 아이디어를 설명합니다. 클라우드 설계자는 이 지침을 사용하여 이 아키텍처의 일반적인 구현을 위한 주요 구성 요소를 시각화할 수 있습니다. 이 문서를 시작점으로 사용하여 워크로드의 특정 요구 사항에 맞는 잘 설계된 솔루션을 디자인할 수 있습니다.

이 문서에서는 중소기업(SMB)이 Azure Databricks에 대한 기존 투자를 Microsoft Fabric과 같은 완전 관리형 SaaS(Software as a Service) 데이터 플랫폼과 결합하여 최신 데이터 플랫폼 아키텍처를 빌드하는 방법을 설명합니다. SaaS 데이터 플랫폼은 Azure Machine Learning, Azure AI Services, Power Platform, Microsoft Dynamics 365 및 기타 Microsoft 기술과 같은 도구와 쉽게 통합되는 엔드 투 엔드 데이터 분석 솔루션입니다.

간소화된 아키텍처

중소기업을 위한 간소화된 최신 데이터 플랫폼 아키텍처를 보여 주는 다이어그램

이 아키텍처의 Visio 파일 다운로드합니다.

Azure Databricks와 Fabric 간의 상호 운용성은 분석 기능을 향상하면서 데이터 조각화를 최소화하는 강력한 솔루션을 제공합니다.

Fabric은 OneLake라는 개방형 및 관리형 데이터 레이크를 기본 SaaS 스토리지로 제공합니다. OneLake는 Azure Databricks에서 사용하는 것과 동일한 형식인 Delta Parquet 형식을 사용합니다. OneLake에서 Azure Databricks 데이터에 액세스하려면 패브릭에서 OneLake 바로 가기를 사용하거나 패브릭의 Azure Databricks Unity 카탈로그 미러링할 있습니다. 이 통합을 통해 OneLake 위에 생성된 AI를 사용하여 Azure Databricks 분석 시스템을 보강할 수 있습니다.

OneLake의 Azure Databricks 데이터에서 Power BI의 직접 레이크 모드를 사용할 수도 있습니다. 직접 레이크 모드는 서비스 계층을 간소화하고 보고서 성능을 향상시킵니다. OneLake는 Azure Data Lake Storage에 대한 API를 지원하고 모든 테이블 형식 데이터를 Delta Parquet 형식으로 저장합니다.

따라서 Azure Databricks Notebook은 OneLake 엔드포인트를 사용하여 저장된 데이터에 액세스할 수 있습니다. 환경은 패브릭 웨어하우스를 통해 데이터에 액세스하는 것과 동일합니다. 이 통합을 사용하면 데이터를 재구성하지 않고도 Fabric 또는 Azure Databricks를 사용할 수 있습니다.

건축학

중소기업을 위한 완전한 최신 데이터 플랫폼 아키텍처를 보여 주는 다이어그램

이 아키텍처의 Visio 파일 다운로드합니다.

데이터 흐름

  1. azure Data Factory : 기존 Azure Data Factory 파이프라인을 사용하여 원본 시스템에서 구조화되고 구조화되지 않은 데이터를 수집하고 기존 데이터 레이크에 배치합니다.

  2. Microsoft Dynamics 365: Microsoft Dynamics 365 데이터 원본을 사용하여 Azure Synapse Link 또는 Microsoft Fabric Link를 사용하여 보강된 데이터 세트에 중앙 집중식 BI 대시보드를 빌드할 수 있습니다. 추가 분석을 위해 융합된 처리된 데이터를 Microsoft Dynamics 365 및 Power BI로 다시 가져옵니다.

  3. 스트리밍 데이터 수집 : 스트리밍 데이터는 이러한 메시지를 보내는 데 사용되는 프로토콜에 따라 Azure Event Hubs 또는 Azure IoT Hubs를 통해 수집할 수 있습니다.

  4. 콜드 경로: Azure Databricks를 사용하여 추가 분석, 스토리지 및 보고를 위해 스트리밍 데이터를 중앙 집중식 데이터 레이크로 가져올 수 있습니다. 그런 다음 일괄 처리를 위해 이 데이터를 다른 데이터 원본과 통합할 수 있습니다.

  5. 핫 경로: 스트리밍 데이터를 실시간으로 분석할 수 있으며 Microsoft Fabric Real-Time Intelligence를 통해 실시간 대시보드를 만들 수 있습니다.

  6. Azure Databricks: 기존 Azure Databricks Notebooks를 사용하여 평소와 같이 데이터 정리, 통합 및 분석을 수행할 수 있습니다. 다음과 같은 medallion 아키텍처를 사용하는 것이 좋습니다.

    • 원시 데이터를 보유하는 Bronze입니다.

    • 정리되고 필터링된 데이터를 포함하는 Silver입니다.

    • Gold는 비즈니스 분석에 유용한 집계된 데이터를 저장합니다.

  7. 골든 데이터 또는 데이터 웨어하우스: 골든 데이터 또는 데이터 웨어하우스의 경우 Azure Databricks SQL을 계속 사용하거나 Fabric에서 Azure Databricks Unity 카탈로그를 미러링합니다. 모든 Fabric Lakehouse에 대해 자동으로 생성되는 Power BI 의미 체계 모델을 사용하여 설정하지 않고도 Fabric Lakehouse의 데이터에 대한 서버리스 분석을 기반으로 대시보드를 쉽게 만들 수 있습니다. 분석 요구 사항에 더 빠른 컴퓨팅이 필요한 경우 패브릭 데이터 웨어하우스를 골든 계층으로 사용할 수도 있습니다.

거버넌스, 협업, 보안, 성능 및 비용 모니터링에 사용되는 도구는 다음과 같습니다.

  • 검색 및 관리

    • Microsoft Purview는 데이터 자산 전체에서 데이터 검색 서비스, 중요한 데이터 분류 및 거버넌스 인사이트를 제공합니다.

    • Unity 카탈로그는 Azure Databricks 작업 영역에서 중앙 집중식 액세스 제어, 감사, 계보 및 데이터 검색 기능을 제공합니다.

  • Azure DevOps는 연속 통합 및 지속적인 배포 및 기타 통합 버전 제어 기능을 제공합니다.

  • Azure Key Vault는 비밀, 키 및 인증서를 관리합니다.

  • Microsoft Entra ID는 Azure Databricks 사용자를 위한 Single Sign-On을 제공합니다. Azure Databricks는 다음을 위해 Microsoft Entra ID를 사용하여 자동화된 사용자 프로비저닝을 지원합니다.

    • 새 사용자를 만듭니다.

    • 각 사용자에게 액세스 수준을 할당합니다.

    • 사용자를 제거하고 액세스를 거부합니다.

  • Azure Monitor는 Azure 리소스 원격 분석을 수집하고 분석합니다. 이 서비스는 문제를 사전에 식별하여 성능과 안정성을 최대화합니다.

  • Microsoft Cost Management는 Azure 워크로드에 대한 재무 거버넌스 서비스를 제공합니다.

구성 요소

  • Data Lake Storage 구조화되고 구조화되지 않은 데이터를 위해 설계된 확장 가능한 데이터 스토리지 서비스입니다. 이 아키텍처에서 Data Lake Storage는 Delta Lake의 기본 인프라 역할을 합니다. 원시 및 처리된 데이터에 대한 기본 스토리지 계층으로, 분석 및 기계 학습 워크로드에 효율적인 데이터 수집, 스토리지 및 검색을 가능하게 합니다.

  • Azure Data Factory 데이터 이동 및 변환을 오케스트레이션하고 자동화하는 클라우드 기반 데이터 통합 서비스입니다. 이 아키텍처에서 Azure Data Factory는 다양한 데이터 저장소 및 서비스에서 데이터를 이동하고 변환하는 데이터 파이프라인을 만들고, 예약하고, 오케스트레이션합니다.

  • Azure Event Hubs 는 모든 원본에서 초당 수백만 개의 이벤트를 처리할 수 있는 실시간 데이터 수집 서비스입니다. 이 아키텍처에서 Event Hubs는 다양한 원본에서 대량의 데이터를 캡처하고 스트리밍하여 실시간 분석 및 이벤트 기반 처리를 가능하게 합니다.

  • Azure IoT Hub는 IoT (사물 인터넷) 디바이스와 클라우드 간의 보안 및 안정적인 통신을 향상시키는 관리형 서비스입니다. 이 아키텍처에서 IoT Hub는 IoT 디바이스에서 원격 분석 데이터의 수집, 처리 및 분석을 용이하게 하여 실시간 인사이트를 제공하고 원격 모니터링을 사용하도록 설정합니다.

  • Dataverse 는 조직에서 비즈니스 애플리케이션에서 사용하는 데이터를 안전하게 저장하고 관리하는 데 사용할 수 있는 확장 가능한 데이터 플랫폼입니다. 이 아키텍처에서는 Azure Synapse Link 또는 Microsoft Fabric Link를 통해 분석 파이프라인에 피드하는 데이터 원본 역할을 합니다.

    • Azure Synapse Link 는 Dynamics 애플리케이션을 Azure Synapse Analytics 또는 Data Lake Storage와 연결하는 데이터 통합 기능입니다. 이 아키텍처에서는 Dataverse에서 Data Lake Storage로 거의 실시간으로 데이터를 복사합니다.

    • Microsoft Fabric Link 는 Dynamics 애플리케이션을 Fabric에 연결하는 데이터 통합 기능입니다. 이 아키텍처에서는 거의 실시간으로 Dataverse에서 Fabric으로 데이터를 복제합니다.

  • Azure Databricks 는 빅 데이터 처리, 기계 학습 및 데이터 엔지니어링을 위한 Apache Spark 기반 분석 플랫폼입니다. 이 아키텍처에서는 medallion 아키텍처 계층을 사용하여 데이터 정리, 변환 및 분석을 수행합니다.

    • Delta Lake 는 Apache Spark 및 빅 데이터 워크로드에 원자성, 일관성, 격리 및 ACID(내구성) 트랜잭션을 제공하는 오픈 소스 스토리지 계층입니다. 이 아키텍처에서 Delta Lake는 데이터 레이크 내에서 데이터 안정성 및 성능을 향상시킵니다.

    • Azure Databricks SQL은 사용자가 Azure Databricks 에 저장된 데이터에 대해 SQL 쿼리를 실행할 수 있도록 하는 SQL 기반 분석 서비스입니다. 이 아키텍처에서 Azure Databricks SQL은 데이터를 쿼리하고 분석하는 강력한 SQL 인터페이스를 제공하여 대화형 분석을 가능하게 합니다.

    • AI 및 기계 학습 은 기계 학습 모델의 개발, 배포 및 관리를 가능하게 하는 다양한 기술 및 서비스를 포함합니다. 이 아키텍처에서 AI 및 Machine Learning Services는 예측 모델을 빌드, 학습 및 배포합니다. 이 기능을 사용하면 데이터 기반 의사 결정을 수행할 수 있습니다.

    • Unity 카탈로그 Databricks 작업 영역에서 중앙 집중식 액세스 제어, 감사, 계보 및 데이터 검색 기능을 제공하는 데이터 거버넌스 솔루션입니다. 이 아키텍처에서 Unity 카탈로그는 세분화된 액세스 제어, 감사 및 데이터 계보 추적을 제공하여 데이터 거버넌스 및 보안을 보장합니다.

  • Medallion lakehouse 아키텍처 효율적인 데이터 처리 및 분석을 위해 데이터를 브론즈, 실버 및 골드 계층으로 구성하는 데이터 아키텍처 패턴입니다. 이 아키텍처에서는 Data Lake Storage, Delta Lake 및 Azure Databricks를 사용하여 확장 가능한 분석을 지원하여 데이터 처리 워크플로를 구성합니다.

  • 패브릭 은 원활한 데이터 관리 및 분석 환경을 제공하기 위해 다양한 데이터 서비스 및 도구를 통합하는 포괄적인 데이터 플랫폼입니다. 이 아키텍처에서 Fabric은 여러 원본의 데이터를 연결하고 통합하여 조직 전체에서 포괄적인 데이터 분석 및 인사이트를 가능하게 합니다.

    • Real-Time Intelligence 조직에서 실시간으로 데이터를 수집, 처리 및 분석할 수 있는 데이터 처리 기능입니다. Real-Time Intelligence는 다양한 원본에서 스트리밍 데이터를 처리합니다. 이 아키텍처에서는 실시간 인사이트를 제공하고 데이터 패턴에 따라 자동화된 작업을 사용하도록 설정합니다.

    • OneLake 바로 가기는 OneLake와 다른 데이터 원본 간에 현재 위치 링크를 만듭니다. 이 아키텍처에서는 데이터 액세스 및 관리를 간소화하고 조직 전체의 데이터에 대한 통합 보기를 제공합니다.

  • Power BI 대화형 시각화 및 비즈니스 인텔리전스 기능을 제공하는 비즈니스 분석 서비스입니다. 이 아키텍처에서 Power BI는 성능 향상을 위해 Direct Lake 모드를 사용하여 Fabric 및 Databricks의 데이터를 시각화합니다.

  • Microsoft Purview 조직이 다양한 원본에서 데이터를 관리하고 관리하는 데 도움이 되는 통합 데이터 거버넌스 서비스입니다. 이 아키텍처에서는 데이터를 카탈로그화하고 계보를 추적하며 데이터 자산 전체에서 규정 준수를 적용합니다. Purview에 Unity 카탈로그를 통합하여 Purview에서 Unity 카탈로그 메타데이터에 액세스할 수 있습니다.

  • microsoft Entra ID Microsoft 365, Azure 및 기타 SaaS 애플리케이션과 같은 리소스에 대한 보안 로그인 및 액세스를 보장하는 데 도움이 되는 클라우드 기반 ID 및 액세스 관리 솔루션입니다. 이 아키텍처에서 Microsoft Entra ID는 Azure 리소스에 대한 보안 ID 및 액세스 관리를 제공합니다. 이 기능은 보안 로그인을 사용하도록 설정하고, 사용자 ID를 관리하며, 데이터 및 리소스에 대한 권한 있는 액세스를 보장합니다.

  • Microsoft Cost Management 조직에서 Microsoft 클라우드 비용을 분석, 모니터링 및 최적화하는 데 사용할 수 있는 FinOps 도구 모음입니다. 이 아키텍처에서 이러한 도구는 Azure 리소스에 대한 재무 거버넌스를 제공합니다.

  • Key Vault API 키, 암호, 인증서 및 암호화 키와 같은 비밀을 저장하고 관리하는 클라우드 서비스입니다. 이 아키텍처에서 Azure Databricks는 Key Vault에서 비밀을 검색하여 Data Lake Storage를 인증하고 액세스하여 보안 통합을 보장합니다.

  • Azure Monitor 는 애플리케이션, 인프라 및 네트워크에 대한 전체 스택 관찰 가능성을 제공하는 모니터링 서비스입니다. Azure Monitor를 사용하면 사용자가 Azure 및 온-프레미스 환경에서 원격 분석 데이터를 수집, 분석 및 수행할 수 있습니다. 이 아키텍처에서 Azure Monitor는 문제를 사전에 식별하여 성능과 안정성을 보장합니다.

  • Azure DevOps 공동 작업 문화와 간소화된 프로세스를 지원하는 개발 도구 집합입니다. 이러한 도구를 사용하면 개발자, 프로젝트 관리자 및 기여자가 소프트웨어를 보다 효율적으로 개발할 수 있습니다. Azure DevOps는 Azure Boards, Azure Repos, Azure Pipelines, Azure Test Plans 및 Azure Artifacts와 같은 통합 기능을 제공합니다. 웹 브라우저 또는 통합 개발 환경 클라이언트를 통해 이러한 기능에 액세스할 수 있습니다. 이 아키텍처에서 Azure DevOps는 데이터 파이프라인 및 Notebook에 대한 자동화된 배포 및 버전 제어를 지원합니다.

  • GitHub 개발자를 위한 버전 제어 및 협업을 간소화하는 클라우드 기반 Git 리포지토리 호스팅 서비스입니다. 개인과 팀은 코드를 저장 및 관리하고, 변경 내용을 추적하고, 프로젝트에 대해 공동 작업할 수 있습니다. 이 아키텍처에서 GitHub는 Azure DevOps와 통합되어 Azure Data Factory, Azure Databricks 및 Fabric에 대한 개발 워크플로 및 배포 파이프라인에서 자동화 및 규정 준수를 적용합니다.

대안

이 아키텍처 내의 서비스 대안

  • Batch 수집

    • 필요에 따라 Data Factory 파이프라인 대신 데이터 통합에 Fabric Data Pipeline 사용합니다. 선택은 여러 가지 요인에 따라 달라집니다. 자세한 내용은 Microsoft FabricAzure Data Factory에서 Data Factory로 가져오기를 참조하세요.

  • microsoft Dynamics 365 수집

    • 데이터 레이크 스토리지로 Azure Data Lake를 사용하고 Dataverse 데이터를 수집하려는 경우 Azure Data LakeAzure Synapse Link for Dataverse를 사용합니다. Dynamics Finance and Operations의 경우 FnO Azure Synapse Link for Dataverse참조하세요.

    • Microsoft Fabric Lakehouse를 데이터 레이크 스토리지로 사용하는 경우 Fabric Link참조하세요.

  • 스트리밍 데이터 수집

    • Azure IoT와 Event Hubs 간의 결정은 스트리밍 데이터의 원본, 보고 디바이스와의 복제 및 양방향 통신이 필요한지 여부 및 필요한 프로토콜에 따라 달라집니다. 자세한 내용은 IoT Hub 및 Event Hubs비교를 참조하세요.

  • 레이크하우스

    • Microsoft Fabric Lakehouse는 구조화되고 구조화되지 않은 데이터를 주로 Delta Parquet 파일을 사용하는 개방형 형식으로 관리하고 분석하기 위한 통합 데이터 아키텍처 플랫폼입니다. 두 가지 스토리지 유형을 지원합니다. 이러한 스토리지 유형은 CSV, Parquet 또는 Delta와 같은 관리되는 테이블 및 관리되지 않는 파일입니다. 관리되는 테이블은 자동으로 인식됩니다. 관리되지 않는 파일에는 명시적 테이블 생성이 필요합니다. 이 플랫폼은 Spark 또는 SQL 엔드포인트를 통해 데이터 변환을 가능하게 하고 다른 패브릭 구성 요소와 원활하게 통합됩니다. 이 원활한 통합을 통해 중복 없이 데이터를 공유할 수 있습니다. 이 개념은 분석 워크로드에 사용되는 일반적인 medallion 아키텍처와 일치합니다. 자세한 내용은 패브릭의 레이크하우스를 참조하세요.

  • 실시간 분석

    • Azure Databricks

      • 기존 Azure Databricks 솔루션이 있는 경우 실시간 분석을 위해 구조적 스트리밍을 계속 사용할 수 있습니다. 자세한 내용은 Databricks스트리밍을 참조하세요.

    • 패브릭

      • 과거에 실시간 분석에 다른 Azure 서비스를 사용했거나 기존 실시간 분석 솔루션이 없는 경우 Fabric 실시간 인텔리전스와 Azure Streaming Solutions참조하세요.

      • 패브릭 구조적 스트리밍은 Spark 구조적 스트리밍을 사용하여 라이브 데이터 스트림을 지속적으로 추가된 테이블로 처리하고 수집합니다. 구조적 스트리밍은 CSV, JSON, ORC, Parquet 및 Kafka 및 Event Hubs와 같은 메시징 서비스와 같은 다양한 파일 원본을 지원합니다. 이 방법은 확장 가능하고 내결함성이 뛰어난 스트림 처리를 보장하여 처리량이 높은 프로덕션 환경을 최적화합니다. 자세한 내용은 패브릭 Spark 구조적 스트리밍을 참조하세요.

  • 데이터 엔지니어링

    • Fabric 또는 Azure Databricks를 사용하여 Spark Notebook을 작성합니다. 자세한 내용은 Fabric Notebook을 사용하는 방법을 참조하세요. 패브릭 Notebook을 Azure Synapse Spark가 제공하는 것과 비교하는 방법을 알아보려면 패브릭 데이터 엔지니어링 및 Azure Synapse Spark비교 참조하세요. Azure Databricks Notebook에 대한 자세한 내용은 Databricks Notebook 소개를 참조하세요.

  • 데이터 웨어하우스 또는 골드 계층

    • Fabric 또는 Azure Databricks를 사용하여 SQL 기반 웨어하우스 또는 골드 계층을 만들 수 있습니다. 패브릭 내에서 데이터 웨어하우스 또는 골드 계층 스토리지 솔루션을 선택하는 방법에 대한 의사 결정 가이드는 패브릭 의사 결정 가이드: 데이터 저장소를 선택합니다. Azure Databricks의 SQL 웨어하우스 유형에 대한 자세한 내용은SQL 웨어하우스 유형을 참조하세요.

  • 데이터 과학

    • 데이터 과학 기능에 패브릭 또는 Azure Databricks를 사용합니다. 패브릭 데이터 과학 제품에 대한 자세한 내용은 패브릭의 데이터 과학이란?을 참조하세요. Azure Databricks 제품에 대한 자세한 내용은 DatabricksAI 및 기계 학습을 참조하세요.

    • 패브릭 데이터 과학은 Machine Learning과 다릅니다. Machine Learning은 워크플로를 관리하고 기계 학습 모델을 배포하기 위한 포괄적인 솔루션을 제공합니다. 패브릭 데이터 과학은 분석 및 보고 시나리오에 맞게 조정됩니다.

  • Power BI

    • Power BI와 통합된 Azure Databricks를 사용하면 원활한 데이터 처리 및 시각화가 가능합니다. 자세한 내용은 Azure DatabricksPower BI 연결 참조하세요.

    • 패브릭에서 Azure Databricks Unity 카탈로그를 미러링하면 패브릭 워크로드에서 직접 Azure Databricks Unity 카탈로그에서 관리하는 데이터에 액세스할 수 있습니다. 자세한 내용은 Azure Databricks Unity 카탈로그미러링을 참조하세요.

    • Delta Lake를 사용하여 Data Lake Storage에서 Fabric One Lake로 바로 가기를 만듭니다. 자세한 내용은 OneLakeDatabricks Unity 카탈로그 통합을 참조하세요. Power BI 서비스에 데이터를 복사하지 않고 Direct Lake 모드를 사용하여 Power BI에서 이 데이터를 쿼리할 수 있습니다. 자세한 내용은 Direct Lake 모드참조하세요.

시나리오 세부 정보

기존 Azure Databricks 환경과 필요에 따라 레이크하우스 아키텍처를 사용하는 중소기업은 이 패턴을 활용할 수 있습니다. 현재 Azure Data Factory와 같은 Azure 추출, 변환, 로드 도구를 사용하고 Power BI에서 보고서를 제공합니다. 그러나 동일한 데이터 레이크에서 서로 다른 소유 데이터 형식을 사용하는 여러 데이터 원본이 있을 수 있으며 이로 인해 데이터 중복 및 공급업체 잠금에 대한 우려가 발생할 수 있습니다. 이러한 상황은 데이터 관리를 복잡하게 만들고 특정 공급업체에 대한 종속성을 높일 수 있습니다. 또한 의사 결정을 위해 up-to-날짜 및 거의 실시간 보고가 필요할 수 있으며 환경 전반에서 AI 도구를 채택하는 데 관심이 있을 수 있습니다.

패브릭은 다음과 같은 용도로 사용할 수 있는 개방형, 통합 및 관리되는 SaaS 기반입니다.

  • OneLake를 사용하여 공급업체 잠금에 대한 우려 없이 단일 위치에 데이터를 저장, 관리 및 분석할 수 있습니다.

  • Microsoft 365 앱에 통합하여 더 빠르게 혁신할 수 있습니다.

  • Power BI 직접 레이크 모드의 이점을 통해 신속한 인사이트를 얻습니다.

  • 모든 패브릭 환경에서 코필로트의 이점을 누릴 수 있습니다.

  • 단일 기반에서 AI 모델을 개발하여 분석을 가속화합니다.

  • 데이터 과학자가 가치를 제공해야 하는 시간을 줄여 데이터를 이동 없이 제자리에 유지합니다.

참여자

이 문서는 Microsoft에서 유지 관리합니다. 그것은 원래 다음 기여자에 의해 작성되었습니다.

주요 작성자:

공용이 아닌 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.

다음 단계

  • 데이터 레이크