Azure Data Lake Analytics는 2024년 2월 29일 사용 중지됩니다. 에 대해 더 알고 싶다면 이 공지을 확인하세요.
Azure Data Lake Analytics를 이미 사용하고 있는 경우 조직의 Azure Synapse Analytics로 마이그레이션 계획을 만들 수 있습니다.
Microsoft는 고유한 빅 데이터 분석 환경을 위해 데이터 레이크와 데이터 웨어하우스를 함께 가져오는 것을 목표로 하는 Azure Synapse Analytics를 출시했습니다. 데이터를 수집 및 분석하여 데이터 비효율성을 해결하고 팀이 함께 작업하는 데 도움이 됩니다. 또한 Synapse가 Azure Machine Learning 및 Power BI와 통합되면 조직에서 데이터에서 인사이트를 얻고 기계 학습을 모든 스마트 앱으로 실행할 수 있는 향상된 기능이 제공됩니다.
이 문서에서는 Azure Data Lake Analytics에서 Azure Synapse Analytics로 마이그레이션하는 방법을 보여 줍니다.
권장되는 접근 방식
- 1단계: 준비 상태 평가
- 2단계: 마이그레이션 준비
- 3단계: 데이터 및 애플리케이션 워크로드 마이그레이션
- 4단계: Azure Data Lake Analytics에서 Azure Synapse Analytics로 전환
1단계: 준비 상태 평가
Azure Synapse Analytics Apache Spark를 살펴보고 Azure Synapse Analytics에서 Azure Data Lake Analytics 및 Spark의 주요 차이점을 이해합니다.
항목 Azure 데이터 레이크 분석 Synapse의 Spark 가격 책정 분석 단위 시간당 vCore 시간당 요금 엔진 Azure 데이터 레이크 애널리틱스 Apache Spark 기본 프로그래밍 언어 U-SQL T-SQL, Python, Scala, Spark SQL 및 .NET 데이터 소스 Azure Data Lake Storage Azure Blob Storage, Azure Data Lake Storage 마이그레이션 평가 대한 설문지를 검토하고 고려할 수 있는 위험을 나열합니다.
2단계: 마이그레이션 준비
마이그레이션할 작업 및 데이터를 식별합니다.
- 이 기회를 통해 더 이상 사용하지 않는 작업을 정리할 수 있습니다. 모든 작업을 한 번에 마이그레이션하지 않는 한 이 시간을 사용하여 단계별로 마이그레이션할 수 있는 작업의 논리적 그룹을 식별합니다.
- 데이터의 크기를 평가하고 Apache Spark 데이터 형식을 이해합니다. U-SQL 스크립트를 검토하고 스크립트 재작성 작업을 평가하고 Apache Spark 코드 개념을 이해합니다.
마이그레이션이 비즈니스에 미치는 영향을 확인합니다. 예를 들어 마이그레이션이 진행되는 동안 가동 중지 시간을 감당할 수 있는지 여부입니다.
마이그레이션 계획을 만듭니다.
3단계: 데이터 및 애플리케이션 워크로드 마이그레이션
Azure Data Lake Storage Gen1에서 Azure Data Lake Storage Gen2로 데이터를 마이그레이션합니다.
Azure Data Lake Storage Gen1 서비스 종료는 2024년 2월로 예정되어 있습니다. 자세한 내용은
공식 공지를참조하세요. 처음에 데이터를 Gen2로 마이그레이션하는 것이 좋습니다. Azure Data Lake Analytics U-SQL 개발자는 Apache Spark 데이터 형식을 이해하고, U-SQL 테이블에 저장된 데이터와 파일을 이동하여, Azure Synapse Analytics에서 액세스할 수 있도록 합니다. 마이그레이션 가이드에 대한 자세한 내용은 여기에서찾을 수 있습니다.U-SQL 스크립트를 Spark로 변환합니다. U-SQL 스크립트를 Spark로 변환하는 Azure Data Lake Analytics U-SQL 개발자를 위한 Apache Spark 코드 개념 이해 참조하세요.
작업 오케스트레이션 파이프라인을 새 Spark 프로그램으로 변환하거나 다시 만듭니다.
4단계: Azure Data Lake Analytics에서 Azure Synapse Analytics로 잘라내기
애플리케이션 및 워크로드가 안정적이라고 확신한 후에는 Azure Synapse Analytics를 사용하여 비즈니스 시나리오를 충족할 수 있습니다. Azure Data Lake Analytics에서 실행되는 나머지 파이프라인을 끄고 Azure Data Lake Analytics 계정을 사용 중지합니다.
마이그레이션 평가에 대한 설문지
| 카테고리 | 질문 | 참고 문헌 |
|---|---|---|
| 마이그레이션 크기 평가 | Azure Data Lake Analytics 계정은 몇 개입니까? 사용 중인 파이프라인은 몇 개입니까? 사용 중인 U-SQL 스크립트는 몇 개입니까? | 마이그레이션할 데이터와 스크립트가 많을수록 스크립트에 UDO/UDF가 더 많이 사용될수록 마이그레이션하기가 더 어려워집니다. 프로젝트의 규모에 따라 마이그레이션에 필요한 시간과 리소스를 잘 계획해야 합니다. |
| 데이터 원본 | 데이터 원본의 크기는 어떻게 됩니까? 처리할 데이터 형식의 종류는 무엇인가요? | Azure Data Lake Analytics U-SQL 개발자를 위한 Apache Spark 데이터 형식 이해 |
| 데이터 출력 | 나중에 사용할 수 있도록 출력 데이터를 유지하시겠습니까? 출력 데이터가 U-SQL 테이블에 저장되는 경우 어떻게 처리합니까? | 출력 데이터가 자주 사용되고 U-SQL 테이블에 저장되는 경우 스크립트를 변경하고 출력 데이터를 Spark 지원 데이터 형식으로 변경해야 합니다. |
| 데이터 마이그레이션 | 스토리지 마이그레이션 계획을 만들었나요? | Azure Data Lake Storage를 Gen1에서 Gen2로 마이그레이션 |
| U-SQL 스크립트를 변환하다 | UDO/UDF(.NET, python 등)를 사용합니까? 위의 대답이 '예'이면 UDO/UDF에서 어떤 언어를 사용하고 변환 중에 변환에 문제가 있나요? 페더레이션된 쿼리가 U-SQL에서 사용되고 있나요? | Azure Data Lake Analytics U-SQL 개발자를 위한 Apache Spark 코드 개념 이해 |