다음을 통해 공유

SynapseML을 통해 모델 빌드

이 문서에서는 SynapseML을 사용하여 기계 학습 모델을 빌드하는 방법과 복잡한 기계 학습 작업을 간소화하는 방법을 보여 줍니다. SynapseML을 사용하여 기능화 단계 및 LightGBM 회귀 단계를 사용하여 학습 파이프라인을 빌드합니다. 파이프라인은 책 리뷰 텍스트에서 등급을 예측합니다. SynapseML과 함께 미리 빌드된 모델을 사용하여 기계 학습 문제를 해결하는 방법은 다음과 같습니다.

필수 조건

  • Microsoft Fabric 구독을 구매합니다. 또는 무료 Microsoft Fabric 평가판에 등록합니다.

  • Microsoft Fabric에 로그인합니다.

  • 홈 페이지의 왼쪽 아래에 있는 환경 전환기를 사용하여 패브릭으로 전환합니다.

    환경 전환기 메뉴에서 패브릭을 선택하는 방법을 보여 주는 스크린샷.

리소스 준비

모델 및 파이프라인을 빌드하는 데 필요한 도구와 리소스를 설정합니다.

  1. 새 전자 필기장 만들기
  2. 레이크하우스에 Notebook을 연결합니다. 탐색기에서 Lakehouses를 확장한 다음 추가를 선택합니다.
  3. 빠른 시작: Azure AI 서비스에 대한 다중 서비스 리소스 만들기의 지침에 따라 Azure AI 서비스 키를 가져옵니다.
  4. Azure Key Vault 인스턴스를 만들고 Azure AI 서비스 키를 키 자격 증명 모음에 비밀로 추가합니다.
  5. 키 볼트 이름과 비밀 이름을 메모해 두세요. 이 문서의 뒷부분에서 한 단계 변환을 실행하려면 이 정보가 필요합니다.

환경 설정

Notebook에서 SynapseML 라이브러리를 가져오고 Spark 세션을 초기화합니다.

from pyspark.sql import SparkSession
from synapse.ml.core.platform import *

spark = SparkSession.builder.getOrCreate()

데이터 세트 로드

데이터 세트를 로드하고 학습 세트와 테스트 세트로 분할합니다.

train, test = (
    spark.read.parquet(
        "wasbs://publicwasb@mmlspark.blob.core.windows.net/BookReviewsFromAmazon10K.parquet"
    )
    .limit(1000)
    .cache()
    .randomSplit([0.8, 0.2])
)

display(train)

학습 파이프라인 만들기

TextFeaturizer 라이브러리의 synapse.ml.featurize.text를 사용하여 데이터를 기능화하고 LightGBMRegressor 함수를 사용하여 등급을 도출하는 파이프라인을 만듭니다.

from pyspark.ml import Pipeline
from synapse.ml.featurize.text import TextFeaturizer
from synapse.ml.lightgbm import LightGBMRegressor

model = Pipeline(
    stages=[
        TextFeaturizer(inputCol="text", outputCol="features"),
        LightGBMRegressor(featuresCol="features", labelCol="rating", dataTransferMode="bulk")
    ]
).fit(train)

테스트 데이터의 출력 예측

모델에서 transform 함수를 호출하여 테스트 데이터의 출력을 예측하고 데이터 프레임으로 표시합니다.

display(model.transform(test))

Azure AI 서비스를 사용하여 원스텝으로 데이터 변환

또는 미리 빌드된 솔루션이 있는 이러한 종류의 작업의 경우 SynapseML과 Azure AI 서비스와의 통합을 사용하여 원스템으로 데이터를 변환할 수 있습니다. 다음 코드를 다음과 같이 교체하여 실행합니다.

  • <secret-name>을 Azure AI 서비스 키 비밀의 이름으로 바꿉니다.
  • <key-vault-name>을 키 자격 증명 모음의 이름으로 바꿉니다.
from synapse.ml.services import TextSentiment
from synapse.ml.core.platform import find_secret

model = TextSentiment(
    textCol="text",
    outputCol="sentiment",
    subscriptionKey=find_secret("<secret-name>", "<key-vault-name>")
).setLocation("eastus")

display(model.transform(test))

관련 콘텐츠

  • Last updated on