Obsługa wysokiej wydajności za pomocą serwera wnioskowania Triton

• Interfejs wiersza polecenia platformy Azure i ml rozszerzenie interfejsu wiersza polecenia platformy Azure, zainstalowane i skonfigurowane. Aby uzyskać więcej informacji, zobacz Instalowanie i konfigurowanie interfejsu wiersza polecenia (wersja 2).

• Powłoka Bash lub zgodna powłoka, taka jak powłoka w systemie Linux lub Podsystem Windows dla systemu Linux. Przykłady Azure CLI w tym artykule przyjmują, że używasz tego typu powłoki.

• Obszar roboczy usługi Azure Machine Learning. Aby uzyskać instrukcje dotyczące tworzenia obszaru roboczego, zobacz Konfigurowanie.

• Działające środowisko języka Python w wersji 3.8 lub nowszej.

• Aby oceniać, musisz mieć zainstalowane dodatkowe pakiety języka Python. Można je zainstalować przy użyciu następującego kodu. To na przykład:

  • Numpy. Biblioteka do obliczeń numerycznych i tablic.
  • Klient serwera wnioskowania Triton. Ułatwia żądania do serwera wnioskowania Triton.
  • Poduszka. Biblioteka operacji na obrazach.
  • Gevent. Biblioteka sieci używana do nawiązywania połączenia z serwerem Triton.

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• Dostęp do maszyn wirtualnych serii NCv3 dla subskrypcji platformy Azure.

  Ważne

  Może być konieczne zażądanie zwiększenia limitu przydziału dla subskrypcji, zanim będzie można użyć tej serii maszyn wirtualnych. Aby uzyskać więcej informacji, zobacz seria NCv3.

• Serwer wnioskowania NVIDIA Triton wymaga określonej struktury repozytorium modeli, w której istnieje katalog dla każdego modelu i podkatalogów dla wersji modelu. Zawartość każdego podkatalogu wersji modelu jest określana przez typ modelu i wymagania zaplecza obsługującego model. Aby uzyskać informacje o strukturze wszystkich modeli, zobacz Pliki modelu.

  Informacje przedstawione w tym dokumencie są oparte na użyciu modelu przechowywanego w formacie ONNX, więc struktura katalogów repozytorium modeli to <model-repository>/<model-name>/1/model.onnx. W szczególności ten model wykonuje identyfikację obrazu.

Informacje przedstawione w tym artykule są oparte na przykładach kodu zawartych w repozytorium azureml-examples . Aby uruchomić polecenia lokalnie bez konieczności kopiowania/wklejania kodu YAML i innych plików, sklonuj repozytorium, a następnie zmień katalogi na cli katalog w repozytorium:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd cli

Jeśli nie ustawiono jeszcze ustawień domyślnych dla interfejsu wiersza polecenia platformy Azure, zapisz ustawienia domyślne. Aby uniknąć wielokrotnego przekazywania wartości dla subskrypcji, obszaru roboczego i grupy zasobów, użyj następujących poleceń. Zastąp następujące parametry wartościami dla określonej konfiguracji:

• Zamień wartość <subscription> na identyfikator swojej subskrypcji platformy Azure.
• Zastąp <workspace> ciąg nazwą obszaru roboczego usługi Azure Machine Learning.
• Zastąp element <resource-group> grupą zasobów platformy Azure zawierającą obszar roboczy.
• Zastąp element <location> regionem platformy Azure zawierającym obszar roboczy.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

• Obszar roboczy usługi Azure Machine Learning. Aby uzyskać instrukcje dotyczące tworzenia obszaru roboczego, zobacz Tworzenie obszaru roboczego.

• Zestaw SDK usługi Azure Machine Learning dla języka Python w wersji 2. Aby zainstalować zestaw SDK, użyj następującego polecenia:

  pip install azure-ai-ml azure-identity
  

  Aby zaktualizować istniejącą instalację zestawu SDK do najnowszej wersji, użyj następującego polecenia:

  pip install --upgrade azure-ai-ml azure-identity
  

  Aby uzyskać więcej informacji, zobacz Azure Machine Learning Package client library for Python.

• Działające środowisko języka Python w wersji 3.8 lub nowszej.

• Aby oceniać, musisz mieć zainstalowane dodatkowe pakiety języka Python. Można je zainstalować przy użyciu następującego kodu. To na przykład:

  • Numpy. Tablica i biblioteka obliczeniowa liczbowa.
  • Klient serwera wnioskowania Triton. Ułatwia żądania do serwera wnioskowania Triton.
  • Poduszka. Biblioteka operacji na obrazach.
  • Gevent. Biblioteka sieci używana do nawiązywania połączenia z serwerem Triton.

  pip install numpy
  pip install tritonclient[http]
  pip install pillow
  pip install gevent
  

• Dostęp do maszyn wirtualnych serii NCv3 dla subskrypcji platformy Azure.

  Ważne

  Może być konieczne zażądanie zwiększenia limitu przydziału dla subskrypcji, zanim będzie można użyć tej serii maszyn wirtualnych. Aby uzyskać więcej informacji, zobacz seria NCv3.

Informacje zawarte w tym artykule są oparte na notesie online-endpoints-triton.ipynb znajdującym się w repozytorium azureml-examples . Aby uruchomić polecenia lokalnie bez konieczności kopiowania i wklejania plików, sklonuj repozytorium, a następnie zmień katalogi na sdk/endpoints/online/triton/single-model/ katalog w repozytorium:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python/endpoints/online/triton/single-model/

• Subskrypcja platformy Azure. Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto. Wypróbuj bezpłatną lub płatną wersję platformy Azure.

• Obszar roboczy usługi Azure Machine Learning. Jeśli go nie masz, wykonaj kroki opisane w temacie Zarządzanie obszarami roboczymi usługi Azure Machine Learning w portalu lub za pomocą zestawu SDK języka Python, aby go utworzyć.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

W tej sekcji opisano sposób wdrażania w zarządzanym punkcie końcowym online przy użyciu Azure CLI z rozszerzeniem Machine Learning (wersja 2).

1. Aby uniknąć wpisywania w ścieżce dla wielu poleceń, użyj następującego polecenia, aby ustawić zmienną środowiskową BASE_PATH . Ta zmienna wskazuje katalog, w którym znajduje się model i skojarzone pliki konfiguracji YAML:

   BASE_PATH=endpoints/online/triton/single-model
   

2. Użyj następującego polecenia, aby ustawić nazwę punktu końcowego, który zostanie utworzony. W tym przykładzie dla punktu końcowego jest tworzona losowa nazwa:

   export ENDPOINT_NAME=triton-single-endpt-`echo $RANDOM`
   

3. Utwórz plik konfiguracji YAML dla punktu końcowego. W poniższym przykładzie skonfigurowana jest nazwa i tryb uwierzytelniania punktu końcowego. Plik używany w następujących poleceniach znajduje się w sklonowanym wcześniej repozytorium azureml-examples: /cli/endpoints/online/triton/single-model/create-managed-endpoint.yml

   create-managed-endpoint.yaml

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
   name: my-endpoint
   auth_mode: aml_token
   

4. Utwórz plik konfiguracji YAML dla wdrożenia. W poniższym przykładzie skonfigurowano wdrożenie o nazwie blue do punktu końcowego zdefiniowanego w poprzednim kroku. Plik używany w poniższych poleceniach znajduje się pod /cli/endpoints/online/triton/single-model/create-managed-deployment.yml w repozytorium azureml-examples, które sklonowałeś wcześniej.

   Ważne

   Aby wdrożenie Triton no-code-deployment działało, należy ustawić type na triton_model​: type: triton_model​. Aby uzyskać więcej informacji, zobacz Schemat YAML modelu interfejsu wiersza polecenia (wersja 2).

   To wdrożenie używa maszyny wirtualnej Standard_NC6s_v3. Aby można było użyć tej maszyny wirtualnej, może być konieczne zażądanie zwiększenia limitu przydziału dla subskrypcji. Aby uzyskać więcej informacji, zobacz seria NCv3.

   $schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
   name: blue
   endpoint_name: my-endpoint
   model:
     name: sample-densenet-onnx-model
     version: 1
     path: ./models
     type: triton_model
   instance_count: 1
   instance_type: STANDARD_NC4AS_T4_V3
   

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

W tej sekcji opisano sposób definiowania wdrożenia Triton w celu wdrożenia w zarządzanym punkcie końcowym online przy użyciu zestawu SDK języka Python usługi Azure Machine Learning (wersja 2).

1. Aby nawiązać połączenie z obszarem roboczym, potrzebne są parametry identyfikatora: subskrypcja, grupa zasobów i nazwa obszaru roboczego.

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace_name = "<WORKSPACE_NAME>"
   

2. Użyj następującego polecenia, aby ustawić nazwę punktu końcowego, który zostanie utworzony. W tym przykładzie dla punktu końcowego jest tworzona losowa nazwa:

   import random
   
   endpoint_name = f"endpoint-{random.randint(0, 10000)}"
   

3. Użyj parametrów identyfikatora skonfigurowanych wcześniej w programie azure.ai.mlMLClient , aby uzyskać dojście do wymaganego obszaru roboczego usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat konfigurowania poświadczeń i łączenia się z obszarem roboczym, zobacz notatnik konfiguracji.

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   
   ml_client = MLClient(
       DefaultAzureCredential(),
       subscription_id,
       resource_group,
       workspace_name,
   )
   

4. ManagedOnlineEndpoint Utwórz obiekt w celu skonfigurowania punktu końcowego. W poniższym przykładzie skonfigurowana jest nazwa i tryb uwierzytelniania punktu końcowego.

   from azure.ai.ml.entities import ManagedOnlineEndpoint
   
   endpoint = ManagedOnlineEndpoint(name=endpoint_name, auth_mode="key")
   

5. ManagedOnlineDeployment Utwórz obiekt w celu skonfigurowania wdrożenia. Poniższy przykład umożliwia skonfigurowanie wdrożenia o nazwie blue do punktu końcowego zdefiniowanego w poprzednim kroku i zdefiniowanie wbudowanego modelu lokalnego.

   from azure.ai.ml.entities import ManagedOnlineDeployment, Model
   
   model_name = "densenet-onnx-model"
   model_version = "1"
   
   deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=endpoint_name,
       model=Model(
           name=model_name, 
           version=model_version,
           path="./models",
           type="triton_model"
       ),
       instance_type="Standard_NC6s_v3",
       instance_count=1,
   )
   

W tej sekcji opisano sposób definiowania wdrożenia Triton w zarządzanym punkcie końcowym online przy użyciu usługi Azure Machine Learning Studio.

1. Zarejestruj model w formacie Triton, używając następującego polecenia YAML i polecenia CLI. YAML używa modelu densenet-onnx z azureml-examples/cli/endpoints/online/triton/single-model.

   create-triton-model.yaml

   name: densenet-onnx-model
   version: 1
   path: ./models
   type: triton_model​
   description: Registering my Triton format model.
   

   az ml model create -f create-triton-model.yaml
   

   Poniższy zrzut ekranu przedstawia wygląd zarejestrowanego modelu na stronie Modele w usłudze Azure Machine Learning Studio.

   

2. W programie Studio wybierz swój obszar roboczy, a następnie użyj strony Punkty końcowe lub modele , aby utworzyć wdrożenie punktu końcowego:

   • Strona Punktów końcowych
   • Strona modeli

   1. Na stronie Punkty końcowe wybierz pozycję Utwórz.

      

   2. Wybierz zarejestrowany wcześniej model Triton, a następnie kliknij pozycję Wybierz.

   3. Po wybraniu modelu zarejestrowanego w formacie Triton nie potrzebujesz skryptu oceniania ani środowiska.

      

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

1. Aby utworzyć punkt końcowy przy użyciu konfiguracji YAML, użyj następującego polecenia:

   az ml online-endpoint create -n $ENDPOINT_NAME -f $BASE_PATH/create-managed-endpoint.yaml
   

2. Aby utworzyć wdrożenie przy użyciu konfiguracji YAML, użyj następującego polecenia:

   az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f $BASE_PATH/create-managed-deployment.yaml --all-traffic
   

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Aby utworzyć punkt końcowy przy użyciu ManagedOnlineEndpoint obiektu , użyj następującego polecenia:

   endpoint = ml_client.online_endpoints.begin_create_or_update(endpoint)
   

2. Aby utworzyć wdrożenie przy użyciu ManagedOnlineDeployment obiektu , użyj następującego polecenia:

   ml_client.online_deployments.begin_create_or_update(deployment)
   

3. Po zakończeniu wdrażania jego traffic wartość zostanie ustawiona na 0%. traffic Zaktualizuj wartość na 100%:

   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint)
   

1. W okienku Wdrażanie wybierz pozycję Wdróż.

   

2. Po zakończeniu wdrażania jego wartość ruchu zostanie ustawiona na 0%. Zaktualizuj wartość ruchu do 100%, wybierając pozycję Aktualizuj ruch na stronie punktu końcowego.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

Po zakończeniu wdrażania użyj następującego polecenia, aby wysłać żądanie oceniania do wdrożonego punktu końcowego.

1. Aby uzyskać identyfikator URI oceniania punktu końcowego, użyj następującego polecenia:

   scoring_uri=$(az ml online-endpoint show -n $ENDPOINT_NAME --query scoring_uri -o tsv)
   scoring_uri=${scoring_uri%/*}
   

2. Aby uzyskać klucz uwierzytelniania, użyj następującego polecenia:

   auth_token=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME --query accessToken -o tsv)
   

3. Aby ocenić dane za pomocą punktu końcowego, użyj następującego polecenia. Przesyła obraz pawia do punktu końcowego:

   python $BASE_PATH/triton_densenet_scoring.py --base_url=$scoring_uri --token=$auth_token --image_path $BASE_PATH/data/peacock.jpg
   

   Odpowiedź skryptu jest podobna do następującej odpowiedzi:

   Is server ready - True
   Is model ready - True
   /azureml-examples/cli/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Aby uzyskać adres URI dla punktu końcowego oceny, użyj następującego polecenia.

   endpoint = ml_client.online_endpoints.get(endpoint_name)
   scoring_uri = endpoint.scoring_uri
   

2. Aby uzyskać klucz uwierzytelniania, użyj następującego polecenia:

   keys = ml_client.online_endpoints.get_keys(endpoint_name)
   auth_key = keys.primary_key
   

3. Poniższy kod oceniania używa klienta serwera Triton Inference Server do przesłania obrazu pawia do punktu końcowego. Ten skrypt jest dostępny w notesie towarzyszącym do tego przykładu: Wdrażanie modelu w punktach końcowych online przy użyciu narzędzia Triton.

   # Test the blue deployment with some sample data
   import requests
   import gevent.ssl
   import numpy as np
   import tritonclient.http as tritonhttpclient
   from pathlib import Path
   import prepost
   
   img_uri = "http://aka.ms/peacock-pic"
   
   # Remove the scheme from the URL
   url = scoring_uri[8:]
   
   # Initialize the client handler
   triton_client = tritonhttpclient.InferenceServerClient(
       url=url,
       ssl=True,
       ssl_context_factory=gevent.ssl._create_default_https_context,
   )
   
   # Create headers
   headers = {}
   headers["Authorization"] = f"Bearer {auth_key}"
   
   # Check the status of the Triton server
   health_ctx = triton_client.is_server_ready(headers=headers)
   print("Is server ready - {}".format(health_ctx))
   
   # Check the status of the model
   model_name = "model_1"
   status_ctx = triton_client.is_model_ready(model_name, "1", headers)
   print("Is model ready - {}".format(status_ctx))
   
   if Path(img_uri).exists():
       img_content = open(img_uri, "rb").read()
   else:
       agent = f"Python Requests/{requests.__version__} (https://github.com/Azure/azureml-examples)"
       img_content = requests.get(img_uri, headers={"User-Agent": agent}).content
   
   img_data = prepost.preprocess(img_content)
   
   # Populate inputs and outputs
   input = tritonhttpclient.InferInput("data_0", img_data.shape, "FP32")
   input.set_data_from_numpy(img_data)
   inputs = [input]
   output = tritonhttpclient.InferRequestedOutput("fc6_1")
   outputs = [output]
   
   result = triton_client.infer(model_name, inputs, outputs=outputs, headers=headers)
   max_label = np.argmax(result.as_numpy("fc6_1"))
   label_name = prepost.postprocess(max_label)
   print(label_name)
   

4. Odpowiedź skryptu jest podobna do następującej odpowiedzi:

   Is server ready - True
   Is model ready - True
   /azureml-examples/sdk/endpoints/online/triton/single-model/densenet_labels.txt
   84 : PEACOCK
   

Serwer wnioskowania Triton wymaga użycia klienta Triton do wnioskowania i obsługuje dane wejściowe typu tensor. Usługa Azure Machine Learning Studio nie obsługuje obecnie tej funkcji. Zamiast tego użyj interfejsu wiersza polecenia lub zestawu SDK, aby wywołać punkty końcowe za pomocą narzędzia Triton.

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

1. Gdy skończysz z punktem końcowym, użyj następującego polecenia, aby go usunąć:

   az ml online-endpoint delete -n $ENDPOINT_NAME --yes
   

2. Użyj następującego polecenia, aby zarchiwizować model:

   az ml model archive --name sample-densenet-onnx-model --version 1
   

DOTYCZY: Zestaw PYTHON SDK azure-ai-ml w wersji 2 (bieżąca)

1. Usuń punkt końcowy. Usunięcie punktu końcowego powoduje również usunięcie wszystkich wdrożeń podrzędnych, ale nie spowoduje archiwizacji skojarzonych środowisk ani modeli.

   ml_client.online_endpoints.begin_delete(name=endpoint_name)
   

2. Zarchiwizuj model przy użyciu następującego kodu.

   ml_client.models.archive(name=model_name, version=model_version)
   

1. Na stronie punktu końcowego wybierz pozycję Usuń.

2. Na stronie modelu wybierz pozycję Archiwum.