다음을 통해 공유


파이프라인을 사용하여 웨어하우스로 데이터 수집

적용 대상: Microsoft Fabric의✅ Warehouse

이 문서에서는 Data Factory 파이프라인에서 복사 작업 작업을 사용하는 방법을 알아봅니다.

  • 파이프라인은 그래픽 사용자 인터페이스를 통해 COPY 명령을 사용하는 대신 사용할 수 있습니다.
  • 파이프라인은 데이터 수집 작업을 함께 수행하는 작업의 논리적 그룹화입니다.
  • 파이프라인을 사용하면 각 작업을 개별적으로 관리하는 대신 모든 ETL(추출, 변환 및 로드) 작업을 한 곳에서 관리할 수 있습니다.

Note

Azure Data Factory의 일부 기능은 Microsoft Fabric에서 사용할 수 없습니다. 그러나 개념은 서로 교환할 수 있습니다. Azure Data Factory 및 Azure Synapse Analytics의 파이프라인 및 활동에 대해 자세히 알아볼 수 있습니다. 빠른 시작은 빠른 시작: 데이터를 복사하는 첫 번째 파이프라인 만들기를 참조하세요.

복사 작업 만들기

새 복사 작업을 만들려면 다음 단계를 수행합니다.

  1. 작업 영역 홈 화면에서 + 새 항목 단추를 선택합니다. 데이터 가져오기 섹션에서 복사 작업을 선택합니다.

  2. 새 복사 작업 대화 상자에서 새 파이프라인의 이름을 입력하고 만들기를 선택합니다. 새 복사 작업 창이 열립니다.

  3. OneLake 카탈로그에서 데이터 원본을 선택합니다.

  4. 데이터 선택 페이지에서 선택한 데이터 세트를 미리 봅니다. 데이터를 검토한 후 다음을 선택합니다.

  5. 데이터 대상 선택 페이지의 OneLake 카탈로그에서 원하는 웨어하우스를 선택합니다.

  6. 복사 작업 모드 선택 페이지에서는 원본 데이터가 변경될 때 후속 복사본만 수행하는 전체 복사본 또는 증분 복사본 등 데이터를 복사하는 방법을 구성할 수 있습니다.

    지금은 전체 복사본을 선택합니다. 다른 데이터 원본 및 시나리오의 경우 데이터 원본이 업데이트되면 데이터를 증분 방식으로 로드할 수 있습니다.

  7. 원하는 대상 스키마의 이름과 테이블 이름을 사용하여 대상 테이블을 조정할 수 있습니다. 원하는 명명 규칙과 일치하는 스키마 및 테이블 이름을 제공합니다. 변경이 완료되면 다음을 선택합니다.

    복사 작업 창의 목적지 페이지 스크린샷. 목적지는 dbo.NYC_taxi입니다.

  8. 필요에 따라 열 매핑을 수정하려면 열 매핑 편집을 선택합니다. 원본 열 이름을 새 이름, 데이터 형식에 매핑하거나 원본 열 열을 건너뛸 수 있습니다.

    기존 테이블에 데이터를 로드하거나 새 테이블을 만드는 옵션을 보여 주는 스크린샷

    열 매핑 검토를 마쳤으면 다음을 선택합니다.

  9. 검토 + 저장 페이지는 새 복사 작업의 요약입니다.

    요약 및 옵션을 검토한 다음 저장 + 실행을 선택합니다.

  10. 파이프라인 캔버스 영역으로 이동합니다. 여기서 원본대상 을 사용하는 새 복사 작업 작업이 이미 구성되어 있습니다. 이전 페이지에서 즉시 데이터 전송 시작을 선택한 경우 복사 작업이 실행 준비가 되면 즉시 시작됩니다.

  11. 결과 창에서 파이프라인의 상태를 모니터링할 수 있습니다.

  12. 몇 초 후에 파이프라인이 성공적으로 완료됩니다. 웨어하우스로 다시 이동하면 테이블을 선택하여 데이터를 미리 확인하고 복사 작업이 완료되었음을 확인할 수 있습니다.

다음 단계

데이터 수집 옵션

웨어하우스에 데이터를 수집하는 다른 방법은 다음과 같습니다.