Azure Machine Learning을 사용하여 모델 학습(v1)

적용 대상:Python용 Azure Machine Learning SDK v1

Azure Machine Learning은 SDK를 사용하는 코드 우선 솔루션과 자동화된 기계 학습 및 비주얼 디자이너와 같은 하위 코드 옵션을 포함하여 모델을 학습하는 여러 가지 방법을 제공합니다. 다음 목록을 사용하여 요구 사항에 맞는 학습 방법을 결정합니다.

• Python용 Azure Machine Learning SDK: Python SDK는 각각 다른 기능을 갖춘 모델을 학습시키는 여러 가지 방법을 제공합니다.

  학습 방법	Description
  실행 구성	모델을 학습시키는 일반적인 방법은 학습 스크립트 및 작업 구성을 사용하는 것입니다. 작업 구성은 스크립트, 컴퓨팅 대상 및 Azure Machine Learning 환경을 포함한 학습 환경을 정의합니다. 이러한 세부 정보를 지정하여 학습 작업을 실행할 수 있습니다.
  자동화된 기계 학습	자동화된 기계 학습을 사용하면 심층 데이터 과학 또는 프로그래밍 전문 지식 없이 모델을 학습시킬 수 있습니다. 숙련된 사용자의 경우 알고리즘 선택 및 하이퍼 매개 변수 튜닝을 자동화하여 시간을 절약합니다. 자동화된 기계 학습을 사용하는 경우 작업 구성이 필요하지 않습니다.
  기계 학습 파이프라인	파이프라인은 별도의 학습 방법이 아니라 학습을 포함할 수 있는 재사용 가능한 모듈식 단계를 사용하여 워크플로를 정의하는 방법입니다 . 파이프라인은 자동화된 기계 학습 및 실행 구성을 모두 지원합니다. 다음을 수행하려는 경우 파이프라인을 사용합니다. * 장기 실행 학습 작업 또는 데이터 준비와 같은 무인 프로세스를 예약합니다. * 여러 컴퓨팅 리소스 및 스토리지 위치에서 여러 단계를 조정합니다. * 재학습 또는 일괄 처리 채점과 같은 시나리오에 재사용 가능한 템플릿 을 만듭니다. * 워크플로의 데이터 원본, 입력 및 출력을 추적하고 버전을 관리합니다. * 다른 팀이 특정 단계를 독립적으로 작업 하고 파이프라인에서 결합할 수 있도록 합니다.

• 디자이너: Azure Machine Learning 디자이너는 개념 증명을 작성하거나 코딩 환경이 제한된 사용자를 위한 쉬운 진입점입니다. 끌어서 놓기 웹 UI를 사용하여 모델을 학습합니다. 코드를 작성하지 않고 Python 코드를 포함하거나 모델을 학습시킬 수 있습니다.

• Azure CLI: 기계 학습 CLI는 일반적인 Azure Machine Learning 작업에 대한 명령을 제공하며 스크립팅 및 자동화에 자주 사용됩니다. 예를 들어 학습 스크립트 또는 파이프라인을 만든 후 CLI를 사용하여 일정에 따라 또는 학습 데이터가 업데이트되는 경우 학습 작업을 시작할 수 있습니다. CLI는 실행 구성 또는 파이프라인을 사용하여 작업을 제출할 수 있습니다.

각 학습 방법은 컴퓨팅 대상이라는 다양한 유형의 컴퓨팅 리소스를 사용할 수 있습니다. 컴퓨팅 대상은 로컬 머신 또는 클라우드 리소스(예: Azure Machine Learning 컴퓨팅, Azure HDInsight 또는 원격 가상 머신)일 수 있습니다.

Python SDK

Python용 Azure Machine Learning SDK를 사용하면 기계 학습 워크플로를 빌드하고 실행할 수 있습니다. 대화형 Python 세션, Jupyter Notebook, Visual Studio Code 또는 다른 IDE에서 서비스와 상호 작용할 수 있습니다.

• Python용 Azure Machine Learning SDK란?
• SDK 설치/업데이트
• Azure Machine Learning용 개발 환경 구성

구성 실행

Azure Machine Learning의 일반적인 학습 작업은 ScriptRunConfig를 사용하여 정의됩니다. 스크립트 실행 구성은 학습 스크립트와 함께 컴퓨팅 대상에서 모델을 학습하는 데 사용됩니다.

로컬 컴퓨터에 대한 실행 구성으로 시작하고 필요에 따라 클라우드 기반 컴퓨팅 대상으로 전환할 수 있습니다. 컴퓨팅 대상을 변경하려면 실행 구성을 업데이트합니다. 각 실행은 입력, 출력 및 로그를 포함하여 학습 작업에 대한 정보를 기록합니다.

• 실행 구성이란?
• 자습서: 첫 번째 ML 모델 학습
• 예제: 학습 모델의 Jupyter Notebook 및 Python 예제
• 방법: 학습 실행 구성

자동화된 Machine Learning

반복, 하이퍼 매개 변수 설정, 기능화 및 기타 옵션을 정의합니다. 학습 중에 Azure Machine Learning은 서로 다른 알고리즘 및 매개 변수를 병렬로 테스트합니다. 설정한 종료 조건을 충족하면 학습이 중지됩니다.

• 자동화된 Machine Learning이란?
• 자습서: 자동화된 Machine Learning을 사용하여 첫 번째 분류 모델 만들기
• 예: 자동화된 Machine Learning을 위한 Jupyter Notebook 예
• 방법: Python에서 자동화된 ML 실험 구성
• 방법: 시계열 예측 모델 자동 학습
• 방법: Azure Machine Learning 스튜디오를 사용하여 자동화된 Machine Learning 실험 만들기, 탐색 및 배포

기계 학습 파이프라인

기계 학습 파이프라인은 위에서 설명한 학습 방법을 사용할 수 있습니다. 파이프라인은 워크플로를 만드는 데 집중하므로 모델 학습 이상을 다룹니다. 파이프라인에서 자동화된 Machine Learning 또는 실행 구성을 사용하여 모델을 학습시킬 수 있습니다.

• Azure Machine Learning의 ML 파이프라인이란?
• Azure Machine Learning SDK를 사용하여 기계 학습 파이프라인 만들기 및 실행
• 자습서: 일괄 처리 채점을 위해 Azure Machine Learning 파이프라인 사용
• 예: 기계 학습 파이프라인을 위한 Jupyter Notebook 예
• 예: 자동화된 Machine Learning을 갖춘 파이프라인

학습 작업을 제출할 때 발생하는 작업 이해

Azure 학습 수명 주기에는 다음이 포함됩니다.

1. .amlignore 또는 .gitignore에 지정된 파일을 무시하고 프로젝트 폴더의 파일 압축
2. 컴퓨팅 클러스터 스케일 업
3. 컴퓨팅 노드에 Docker 이미지 빌드 또는 다운로드
   1. 시스템에서 다음 해시가 계산됩니다.
      • 기본 이미지
      • conda 정의 YAML (Azure Machine Learning에서 소프트웨어 환경 만들기 및 사용 참조)
   2. 시스템은 이 해시를 사용하여 ACR(작업 영역 Azure Container Registry)을 조회합니다.
   3. 찾을 수 없는 경우 전역 ACR을 확인합니다.
   4. 아직 찾을 수 없는 경우 시스템은 새 이미지(작업 영역 ACR에 캐시 및 등록됨)를 빌드합니다.
4. 압축된 프로젝트 파일을 컴퓨팅 노드의 임시 스토리지에 다운로드
5. 프로젝트 파일 압축 풀기
6. 컴퓨팅 노드가 실행됩니다. python <entry script> <arguments>
7. ./outputs에 기록된 로그, 모델 파일 및 기타 파일을 작업 영역과 연결된 스토리지 계정에 저장
8. 컴퓨팅 스케일 다운(임시 스토리지 제거 포함)

로컬 컴퓨터에서 학습하는 경우("로컬 실행으로 구성") Docker가 필요하지 않습니다. 원하는 경우 Docker를 로컬로 사용할 수 있습니다(예제에 대한 ML 파이프라인 구성 참조 ).

Azure Machine Learning 디자이너

디자이너를 사용하면 웹 브라우저에서 끌어서 놓기 인터페이스를 사용하여 모델을 학습시킬 수 있습니다.

• 디자이너란?
• 자습서: 자동차 가격 예측

Azure CLI

기계 학습 CLI는 Azure CLI용 확장이며 Azure Machine Learning을 사용하기 위한 플랫폼 간 명령을 제공합니다. 일반적으로 CLI를 사용하여 기계 학습 모델 학습 등의 작업을 자동화할 수 있습니다.

• Azure Machine Learning용 CLI 확장 사용
• Azure의 MLOps

다음 단계

학습 실행을 구성하는 방법을 알아봅니다.