Jak wdrażać i wnioskować przy użyciu zarządzanego wdrożenia obliczeniowego

Wdrażanie modelu

1. Na stronie modelu wybierz pozycję Użyj tego modelu , aby otworzyć okno wdrażania.

2. Okno wdrażania jest wstępnie wypełnione niektórymi opcjami i wartościami parametrów. Można je zachować lub zmienić zgodnie z potrzebami. Możesz również wybrać istniejący punkt końcowy dla wdrożenia lub utworzyć nowy. W tym przykładzie określ liczbę 1 wystąpień i utwórz nowy punkt końcowy dla wdrożenia.

   

3. Wybierz pozycję Wdróż , aby utworzyć wdrożenie. Proces tworzenia może potrwać kilka minut. Po zakończeniu portal otworzy stronę wdrażania modelu.

   Wskazówka

   Aby wyświetlić punkty końcowe wdrożone w projekcie, przejdź do sekcji Moje zasoby w okienku po lewej stronie i wybierz pozycję Modele i punkty końcowe.

4. Utworzony punkt końcowy używa uwierzytelniania klucza do autoryzacji. Aby uzyskać klucze skojarzone z danym punktem końcowym, wykonaj następujące kroki:

   1. Wybierz wdrożenie i zanotuj identyfikator URI i klucz punktu końcowego.
   2. Użyj tych poświadczeń, aby wywołać wdrożenie i wygenerować przewidywania.

Korzystanie z wdrożeń

Po utworzeniu wdrożenia wykonaj następujące kroki, aby z niego skorzystać:

1. Wybierz pozycję Modele i punkty końcowe w sekcji Moje zasoby w projekcie Foundry.
2. Wybierz wdrożenie na karcie Wdrożenia modelu .
3. Przejdź do karty Test , aby uzyskać przykładowe wnioskowanie do punktu końcowego.
4. Wróć do karty Szczegóły , aby skopiować identyfikator URI wdrożenia, którego można użyć do uruchamiania wnioskowania z kodem.
5. Przejdź do karty Użycie wdrożenia, aby znaleźć przykłady kodu do użycia.

6. Skopiuj identyfikator modelu ze strony szczegółów wybranego modelu. Wygląda na to dla wybranego modelu: azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/17.

Wdrażanie modelu

1. Zainstaluj zestaw SDK usługi Azure Machine Learning.

   pip install azure-ai-ml
   pip install azure-identity
   

2. Uwierzytelnianie za pomocą usługi Azure Machine Learning i tworzenie obiektu klienta. Zastąp symbole zastępcze identyfikatorem subskrypcji, nazwą grupy zasobów i nazwą projektu Foundry.

   from azure.ai.ml import MLClient
   from azure.identity import InteractiveBrowserCredential
   
   workspace_ml_client = MLClient(
       credential=InteractiveBrowserCredential,
       subscription_id="your subscription ID goes here",
       resource_group_name="your resource group name goes here",
       workspace_name="your project name goes here",
   )
   

3. Utwórz punkt końcowy. W przypadku opcji wdrażania zarządzanego środowiska obliczeniowego należy utworzyć punkt końcowy przed wdrożeniem modelu. Punkt końcowy można traktować jako kontener, który może pomieścić wiele wdrożeń modelu. Nazwy punktów końcowych muszą być unikatowe w regionie, więc w tym przykładzie użyj znacznika czasu, aby utworzyć unikatową nazwę punktu końcowego.

   import time, sys
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       ProbeSettings,
   )
   
   # Make the endpoint name unique
   timestamp = int(time.time())
   online_endpoint_name = "customize your endpoint name here" + str(timestamp)
   
   # Create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       auth_mode="key",
   )
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).wait()
   

4. Utwórz wdrożenie. Zastąp identyfikator modelu w następnym kodzie identyfikatorem modelu skopiowaną ze strony szczegółów modelu wybranego w sekcji Znajdź model w katalogu modeli .

   model_name = "azureml://registries/azureml/models/deepset-roberta-base-squad2/versions/17" 
   
   demo_deployment = ManagedOnlineDeployment(
       name="demo",
       endpoint_name=online_endpoint_name,
       model=model_name,
       instance_type="Standard_DS3_v2",
       instance_count=2,
       liveness_probe=ProbeSettings(
           failure_threshold=30,
           success_threshold=1,
           timeout=2,
           period=10,
           initial_delay=1000,
       ),
       readiness_probe=ProbeSettings(
           failure_threshold=10,
           success_threshold=1,
           timeout=10,
           period=10,
           initial_delay=1000,
       ),
   )
   workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
   endpoint.traffic = {"demo": 100}
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).result()
   

Wnioskowanie wdrożenia

1. Do testowania wnioskowania potrzebne są przykładowe dane JSON. Utwórz sample_score.json przy użyciu poniższego przykładu.

   {
     "inputs": {
       "question": [
         "Where do I live?",
         "Where do I live?",
         "What's my name?",
         "Which name is also used to describe the Amazon rainforest in English?"
       ],
       "context": [
         "My name is Wolfgang and I live in Berlin",
         "My name is Sarah and I live in London",
         "My name is Clara and I live in Berkeley.",
         "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
       ]
     }
   }
   

2. Wnioskowanie z sample_score.json. Zmień lokalizację pliku oceniania w następnym kodzie na podstawie miejsca zapisania przykładowego pliku JSON.

   scoring_file = "./sample_score.json" 
   response = workspace_ml_client.online_endpoints.invoke(
       endpoint_name=online_endpoint_name,
       deployment_name="demo",
       request_file=scoring_file,
   )
   response_json = json.loads(response)
   print(json.dumps(response_json, indent=2))