데이터 흐름 Gen2를 사용하면 데이터를 쉽게 셰이프하고 변환할 수 있습니다. 낮은 코드 인터페이스와 300개가 넘는 기본 제공 데이터 및 AI 변환을 제공하며, 모두 Excel, Power BI, Power Platform 및 Dynamics 365에서 찾을 수 있는 친숙한 파워 쿼리 환경을 통해 제공됩니다.
데이터 흐름을 게시하면 새로 고침 중에 실행되는 정의가 만들어집니다. Dataflow Gen2 엔진은 이 정의를 사용하여 데이터 원본, 게이트웨이 및 컴퓨팅 엔진에서 쿼리 실행 방법을 계획하고 관리합니다. 스테이징 스토리지에서 테이블을 빌드하거나 선택한 대상으로 보내므로 무거운 작업을 수행하지 않고도 안정적인 결과를 얻을 수 있습니다.
이 다이어그램은 읽혀지는 데이터를 임시 저장하는 데 사용되는 레이크하우스와 결과를 더 빠르게 스테이징 또는 출력하기 위한 컴퓨팅 엔진으로 사용되는 저장소 항목을 포함하여 Data Factory Dataflow Gen2 아키텍처의 구성 요소를 캡처합니다. 웨어하우스 컴퓨팅을 사용할 수 없거나 쿼리에 대해 스테이징을 사용하지 않도록 설정한 경우 매시업 엔진은 데이터를 추출, 변환 또는 스테이징 또는 데이터 대상으로 로드합니다. Dataflow Gen2의 작동 방식에 대한 자세한 내용은 이 블로그: Data Factory Spotlight: Dataflow Gen2에서 확인할 수 있습니다.
Dataflow Gen2 항목을 새로 고치거나 게시하면 패브릭 용량 단위가 다음 엔진에 사용됩니다.
- 표준 컴퓨팅: 매시업 엔진을 통해 실행되는 모든 데이터 흐름 쿼리의 쿼리 평가 시간에 따라 요금이 청구됩니다.
- 대규모 데이터 흐름 컴퓨팅: Lakehouse(스테이징 스토리지) 및 웨어하우스(스토리지 컴퓨팅) SQL 엔진 사용 기간에 따라 스테이징을 사용하도록 설정하면 요금이 청구됩니다.
- 빠른 복사: 빠른 복사 커넥터를 사용하도록 설정하고 복사 작업 기간에 따라 데이터 흐름에서 사용할 수 있는 경우 요금이 청구됩니다.
Dataflow Gen2 가격 책정 모델
가격 책정 비율 결정 방법
데이터 흐름 Gen2 가격 책정은 각 쿼리에서 컴퓨팅을 사용하는 방법에 따라 달라집니다. 표준 컴퓨팅의 경우 쿼리는 매시업 엔진에서 실행됩니다. 데이터 흐름이 CI/CD(Dataflow Gen2)인지 여부에 따라 등급이 달라집니다.
CI/CD(Dataflow Gen2)에는 쿼리 기간에 적용되는 2계층 속도가 있습니다.
- 쿼리가 10분 미만으로 실행되는 경우 12 CU로 평가됩니다.
- 더 오래 실행되는 경우 각 추가 초는 1.5 CU로 평가됩니다.
Dataflow Gen2가 CI/CD가 아닌 경우 전체 쿼리 기간에 16 CU가 적용됩니다.
스테이징이 켜져 있는 대규모 시나리오의 경우 쿼리는 Lakehouse 또는 Warehouse SQL 엔진에서 실행됩니다. 컴퓨팅 시간의 각 초는 6 CU 초를 사용하므로 쿼리가 더 오래 소비됩니다.
빠른 복사를 켜면 작업 실행 기간에 따라 데이터 이동에 대한 별도의 속도인 1.5 CU가 있습니다.
각 실행이 끝나면 Dataflow Gen2는 각 엔진의 CU 사용량을 추가하고 해당 지역의 패브릭 용량 가격을 기준으로 요금을 청구합니다.
CU 요율 테이블
| Dataflow Gen2 엔진 유형 | 소비 미터기 | 패브릭 CU 사용률 | 사용량 보고 세분성 |
|---|---|---|---|
| 표준 컴퓨팅(데이터 흐름 Gen2(CI/CD)) | 각 매시업 엔진 쿼리 실행 기간(초)을 기준으로 합니다. 표준 컴퓨팅에는 쿼리 기간에 따라 두 개의 계층 가격 책정이 있습니다. | - 최대 10분 동안 매초마다 12 CU - 10분을 초과한 후 매 초마다 1.5 CU |
Dataflow Gen2 항목당 |
| 표준 컴퓨팅(비 CI/CD) | 각 매시업 엔진 쿼리 실행 기간(초)을 기준으로 합니다. | 16 CU | Dataflow Gen2 항목당 |
| 대규모 데이터 흐름 컴퓨팅 | 레이크하우스/웨어하우스 SQL 엔진 실행(스테이징을 사용하도록 설정) 기간(초)을 기준으로 합니다. | 6 CU | 작업 영역당 |
| 데이터 이동 | 빠른 복사 실행 기간(초)과 사용된 지능형 최적화 처리량 리소스를 기반으로 합니다. | 1.5 CU | Dataflow Gen2 항목당 |
Dataflow Gen2를 사용하여 Virtual Network 데이터 게이트웨이 가격 책정
VNET(Virtual Network) 데이터 게이트웨이는 패브릭 용량과 연결된 추가 인프라 요금으로 청구됩니다. 즉, 자체 미터가 있으며 모든 패브릭 항목 실행에 대해 일관되게 추가적인 비용이 발생합니다.
VNET 데이터 게이트웨이를 통해 Dataflow Gen2를 실행하는 데 대한 총 요금은 Dataflow Gen2 요금 + VNET 데이터 게이트웨이 요금으로 계산됩니다.
VNET 데이터 게이트웨이 요금은 사용량이 가동 시간으로 정의되거나 VNET 데이터 게이트웨이가 켜질 때마다 VNET 데이터 게이트웨이의 사용량에 비례합니다.
VNET Data Gateway CU 사용률: 4 CU
Virtual Network 데이터 게이트웨이 가격 책정 및 청구에서 자세히 알아보세요.
Microsoft Fabric 워크로드 사용률 변경
사용률은 언제든지 변경될 수 있습니다. Microsoft는 이메일 및 제품 내 알림을 통해 통지를 제공하기 위해 합리적인 노력을 기울입니다. 변경 내용은 릴리스 정보 및 Microsoft Fabric 블로그에 명시된 날짜에 적용됩니다. Microsoft Fabric 워크로드 사용률이 변경되어 특정 워크로드를 사용하는 데 필요한 CU(용량 단위)가 크게 증가하는 경우 고객은 선택한 결제 방법에 사용 가능한 취소 옵션을 사용할 수 있습니다.
패브릭 메트릭 앱 및 데이터 흐름 새로 고침 기록을 사용하여 예상 비용 계산
Microsoft Fabric 용량 메트릭 앱은 용량에 연결된 모든 패브릭 작업 영역의 용량 사용량을 확인할 수 있습니다. 용량 관리자가 구매한 용량과 비교하여 워크로드의 성능과 사용량을 모니터링하는 데 사용됩니다. 메트릭 앱을 사용하는 것이 Dataflow Gen2 새로 고침 실행 비용을 예측하는 가장 정확한 방법입니다. 계층화된 가격 책정이 표준 컴퓨팅 비용에 미치는 영향을 이해하려면 데이터 흐름 새로 고침 기록도 사용해야 합니다.
이러한 연습에서는 CI/CD 및 비 CI/CD 데이터 흐름에 대한 비용의 유효성을 검사하는 방법을 보여 줍니다. 표준 컴퓨팅을 사용하는 CI/CD 데이터 흐름의 경우 예제를 사용하고 다른 모든 시나리오에 대한 지침을 제공합니다.
연습 1: CI/CD 데이터 흐름에 대한 표준 컴퓨팅
다음 데이터 흐름에는 변환과 관련된 두 개의 쿼리가 있으며 스테이징을 사용할 수 없습니다.
데이터 흐름 Gen2는 표준 컴퓨팅만 사용합니다.
각 쿼리에 대해 새로 고침 기록에서 쿼리 기간에 액세스하고 다음 수식을 적용하여 쿼리당 CU 사용량을 계산합니다.
첫 번째 쿼리의 기간은 2,131초입니다.
마찬가지로 두 번째 쿼리의 경우 기간은 913초입니다.
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
쿼리 1의 경우 계산 사용량은 9497 CU 초이고 쿼리 2의 경우 계산된 소비량은 7670 CU 초입니다.
CU 초 단위로 용량 소비를 집계하고 패브릭 용량 메트릭 앱에서 사용량의 유효성을 검사합니다. 이 시나리오에서 메트릭 앱은 17,180 CU 초를 17,167 CU 초의 계산 사용량과 잘 비교하는 표준 컴퓨팅 사용량으로 표시합니다. 주기적인 사용 보고서에서 반올림으로 인해 불일치가 발생할 수 있습니다.
연습 2: 비 CI/CD 데이터 흐름에 대한 표준 컴퓨팅
데이터 흐름에 변환이 포함되고 스테이징이 비활성화되면 Dataflow Gen2는 표준 컴퓨팅만 사용합니다.
각 쿼리에 대해 새로 고침 기록에서 쿼리 기간에 액세스하고 다음 수식을 적용하여 쿼리당 CU 사용량을 계산합니다.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
CU 초 단위로 용량 소비를 집계하고 패브릭 용량 메트릭 앱에서 사용량의 유효성을 검사합니다.
연습 3: 대규모 컴퓨팅 사용량 이해(CI/CD 및 비 CI/CD 데이터 흐름 모두)
데이터 흐름이 스테이징을 사용하는 경우 사용한 고성능 컴퓨팅의 양을 알아보려면 패브릭 용량 메트릭 앱을 열고 데이터 흐름의 이름으로 필터링합니다. 이름을 마우스 오른쪽 버튼으로 클릭하고 작업 목록에서 고성능 컴퓨트를 찾아서 기간을 확인합니다.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
연습 4: 빠른 복사 컴퓨팅 사용량 이해(CI/CD 및 비 CI/CD 데이터 흐름 모두)
데이터 흐름에서 빠른 복사를 사용하는 경우 사용한 데이터 이동 컴퓨팅의 양을 알아보려면 패브릭 용량 메트릭 앱을 열고 데이터 흐름의 이름으로 필터링합니다. 이름을 마우스 오른쪽 단추로 클릭하고 작업 목록에서 데이터 이동을 찾은 다음 기간을 확인합니다.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5