Dostrajanie modeli przy użyciu bezserwerowych wdrożeń API w rozwiązaniu Microsoft Foundry

Znajdowanie modeli z obsługą dostrajania

Katalog modeli Foundry oferuje obsługę dostrajania wielu typów modeli, w tym uzupełniania czatów i generowania tekstu. Aby uzyskać listę modeli i regionów, które obsługują dostrajanie, zobacz dostępność regionów dla modeli w bezserwerowych interfejsach API.

Zadania dostrajania szczegółowego są dostępne tylko dla użytkowników, których subskrypcja platformy Azure należy do konta rozliczeniowego w regionie, w którym dostawca modelu udostępnia ofertę. Jeśli oferta jest dostępna w odpowiednim regionie, użytkownik musi mieć zasób projektu w regionie świadczenia usługi Azure, w którym model jest dostępny do wdrożenia lub dostrajania, zgodnie z obowiązującymi przepisami.

Możesz również przejść do portalu Foundry, aby wyświetlić wszystkie modele, które zawierają obsługę dostrajania:

1. Zaloguj się do usługi Microsoft Foundry. Upewnij się, że przełącznik New Foundry jest wyłączony. Te kroki odnoszą się do rozwiązania Foundry (wersja klasyczna).

   

2. Jeśli nie jesteś jeszcze w projekcie, wybierz go.

3. Przejdź do katalogu modeli.

4. Wybierz filtr Zadania dostrajania.

   

5. Wybierz pozycję Wszystkie lub wybierz określone zadanie.

Przygotowywanie danych do dostrajania

Przygotuj dane szkoleniowe i weryfikacyjne, aby dostroić model. Dane szkoleniowe i weryfikacyjne składają się z przykładów danych wejściowych i wyjściowych dotyczących sposobu, w jaki model ma działać.

Upewnij się, że wszystkie przykłady szkoleniowe są zgodne z oczekiwanym formatem wnioskowania. Aby efektywnie dostosowywać modele, zapewnij zróżnicowany zestaw danych, utrzymując równowagę danych, w tym różne scenariusze i okresowo uściśliając dane szkoleniowe w celu dopasowania ich do rzeczywistych oczekiwań. Te działania ostatecznie prowadzą do bardziej dokładnych i zrównoważonych odpowiedzi modelu.

    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Użyj kreatora dostrajania modelu

Portal Foundry udostępnia kreatora modelu niestandardowego, dzięki czemu można interaktywnie utworzyć i wytrenować dostosowany model dla zasobu platformy Azure.

Wybieranie modelu podstawowego

1. Wybierz pozycję Dostrajanie z menu paska bocznego, a następnie wybierz pozycję + Dostrajanienie modelu.
2. Wybierz model, który chcesz dostosować z listy w obszarze Modele podstawowe, a następnie wybierz pozycję Dalej.

Wybieranie danych treningowych

Następnym krokiem jest wybranie istniejących przygotowanych danych treningowych lub przekazanie nowych przygotowanych danych treningowych do użycia podczas dostosowywania modelu. W panelu Dane treningowe są wyświetlane wszystkie istniejące, wcześniej przekazane zestawy danych, a także opcje przekazywania nowych danych szkoleniowych.

Wybierz + Dodaj dane szkoleniowe.

• Jeśli dane szkoleniowe zostały już przekazane do usługi, wybierz pozycję Istniejące pliki w tym zasobie.
  • Wybierz plik z wyświetlonej listy rozwijanej.
• Aby przekazać nowe dane szkoleniowe, użyj jednej z następujących opcji:
  • Wybierz pozycję Przekaż pliki , aby przekazać dane szkoleniowe z pliku lokalnego.
  • Wybierz pozycję Azure Blob lub inne udostępnione lokalizacje internetowe , aby zaimportować dane szkoleniowe z usługi Azure Blob lub innej udostępnionej lokalizacji internetowej.
• Aby użyć gotowego zestawu danych do szybkiego dostrajania, wybierz z listy w obszarze Wybierz dane.

W przypadku dużych plików danych zalecamy importowanie z magazynu obiektów blob platformy Azure. Aby uzyskać więcej informacji na temat usługi Azure Blob Storage, zobacz Co to jest usługa Azure Blob Storage?

Wybieranie danych walidacji

W następnym kroku przedstawiono opcje konfigurowania modelu w celu używania danych walidacji w procesie trenowania. Jeśli nie chcesz używać danych walidacji, możesz wybrać pozycję Prześlij , aby kontynuować zaawansowane opcje modelu. W przeciwnym razie, jeśli masz zestaw danych weryfikacji, możesz wybrać istniejące przygotowane dane weryfikacji lub przekazać nowe przygotowane dane weryfikacji do użycia podczas dostosowywania modelu.

Wybierz pozycję + Dodaj dane weryfikacji. W okienku Dane weryfikacji są wyświetlane wszystkie istniejące, wcześniej przekazane zestawy danych trenowania i walidacji oraz opcje, za pomocą których można przekazać nowe dane weryfikacji.

• Jeśli dane weryfikacji zostały już przekazane do usługi, wybierz pozycję Istniejące pliki w tym zasobie.
  • Wybierz plik z listy pokazanej w okienku Dane weryfikacji.
• Aby przekazać nowe dane weryfikacji, użyj jednej z następujących opcji:
  • Wybierz pozycję Przekaż pliki , aby przekazać dane weryfikacji z pliku lokalnego.
  • Wybierz pozycję Azure Blob lub inne udostępnione lokalizacje internetowe , aby zaimportować dane walidacji z obiektu blob platformy Azure lub innej udostępnionej lokalizacji internetowej.

W przypadku dużych plików danych zalecamy importowanie z magazynu obiektów blob platformy Azure. Duże pliki mogą stać się niestabilne podczas przekazywania za pośrednictwem formularzy wieloczęściowych, ponieważ żądania są atomowe i nie można ich ponowić ani wznowić.

Konfigurowanie parametrów zadania

Kreator dopasowywania modelu pokazuje parametry treningowe modelu dopasowanego w panelu Parametry zadania. Dostępne są następujące parametry:

Wybierz Opcję Domyślne, aby użyć domyślnych wartości dla zadania dostrajania lub wybierz Opcję Niestandardowy, aby wyświetlić i edytować wartości hiperparametrów. Po wybraniu wartości domyślnych określamy poprawną wartość algorytmicznie na podstawie danych treningowych.

Po skonfigurowaniu opcji zaawansowanych wybierz pozycję Prześlij.

Sprawdzanie stanu modelu niestandardowego

Zakładka dostrajania wyświetla informacje o modelu niestandardowym. Karta zawiera informacje o stanie i identyfikatorze procesu dostosowanego dla spersonalizowanego modelu. Po zakończeniu zadania na karcie zostanie wyświetlony identyfikator pliku wynikowego. Może być konieczne wybranie pozycji Odśwież , aby wyświetlić zaktualizowany stan zadania trenowania modelu.

Po uruchomieniu zadania dostrajania może upłynąć trochę czasu do jego zakończenia. Zadanie może być w kolejce za innymi zadaniami w systemie. Trenowanie modelu może potrwać kilka minut lub godzin w zależności od rozmiaru modelu i zestawu danych. Poniżej przedstawiono niektóre zadania, które można wykonać na karcie Modele :

• Sprawdź stan zadań dostrajania niestandardowych modeli w kolumnie Stan na karcie Dostosowane modele.
• W kolumnie nazwa modelu wybierz nazwę modelu, aby wyświetlić więcej informacji na temat modelu niestandardowego. Możesz zobaczyć stan zadania dostrajania, wyników trenowania, zdarzeń szkoleniowych i hiperparametrów używanych w zadaniu.
• Wybierz Odśwież, aby zaktualizować informacje na stronie.

Obsługiwane scenariusze biznesowe dla dopasowania

Dla wdrażania bezserwerowego interfejsu API obsługiwane są różne scenariusze dla przedsiębiorstw. W poniższej tabeli przedstawiono obsługiwane konfiguracje dla zarządzania siecią magazynowania użytkowników oraz uwierzytelniania, aby zapewnić bezproblemowe działanie w środowisku korporacyjnym.

Powyższe scenariusze powinny również działać w zarządzanym obszarze roboczym sieci wirtualnej. Aby dowiedzieć się, jak skonfigurować zarządzaną sieć wirtualną Foundry Hub, zobacz Jak skonfigurować sieć zarządzaną dla koncentratorów Foundry.

Korzystanie z kluczy zarządzanych przez klienta (CMKs) nie jest obsługiwanym scenariuszem korporacyjnym z doprecyzowaniem wdrożenia bezserwerowego interfejsu API.

Problemy z dostrajaniem unikatowych konfiguracji sieci w przestrzeni roboczej i magazynowej zwykle wskazują na problem przy konfiguracji sieci.

Wdrażanie dostosowanego modelu

Po pomyślnym zakończeniu zadania dostrajania można wdrożyć model niestandardowy na karcie Dostrajanie. Konieczne jest wdrożenie modelu niestandardowego, aby był dostępny do użycia z wywołaniami uzupełniania.

Zostanie otwarte okno dialogowe Wdrażanie modelu . W oknie dialogowym wprowadź nazwę wdrożenia , a następnie wybierz pozycję Wdróż , aby rozpocząć wdrażanie modelu niestandardowego.

Możesz również wdrożyć dostosowany model za pomocą karty Modele i punkty końcowe , wybierając przycisk Wdróż model , a następnie wybierając pozycję Wdróż dostosowany model z listy rozwijanej

Następnie wybierz dostosowany model, który chcesz wdrożyć, i wybierz pozycję Wdróż.

Wdrażanie w różnych regionach

Dostrajanie wspiera wdrażanie dostosowanego modelu w innym regionie niż tam, gdzie został pierwotnie dostosowany. Można również wdrożyć w innej subskrypcji lub regionie.

Jedynymi ograniczeniami jest to, że nowy region musi również obsługiwać dostrajanie, a podczas wdrażania subskrypcji krzyżowej konto generujące token autoryzacji dla wdrożenia musi mieć dostęp zarówno do subskrypcji źródłowych, jak i docelowych.

Wdrożenie między subskrypcjami lub regionami można wykonać za pośrednictwem języka Python.

Użyj wdrożonego modelu niestandardowego

Po wdrożeniu modelu niestandardowego można go użyć jak każdy inny wdrożony model. Możesz użyć Playgrounds w portalu Foundry, aby eksperymentować z nowym wdrożeniem. Możesz nadal używać tych samych parametrów w modelu niestandardowym, takich jak temperatura i max_tokens, tak jak w przypadku innych wdrożonych modeli.

Wyczyść swoje dopracowane modele

Możesz usunąć dostosowany model z listy modeli dostrajania w narzędziu Foundry lub na stronie szczegółów modelu. Aby usunąć dostosowany model ze strony Dostrajanie precyzyjne,

1. Wybierz z menu paska bocznego w projekcie Foundry pozycję Dostrajanie.
2. Wybierz przycisk Usuń, aby usunąć dostosowany model.

Tworzenie klienta do korzystania z modelu

W poniższych sekcjach opisano sposób dostosowywania modelu w języku Python. Aby znaleźć przykładowy notes tego kodu, zobacz Dostosowywanie funkcji LLM z modelem jako usługą.

1. Zainstaluj zależności, aby rozpocząć dostosowywanie modelu.

%pip install azure-ai-ml
%pip install azure-identity

%pip install mlflow
%pip install azureml-mlflow

1. Utwórz klienta do wykorzystywania modelu. Następujący kod używa adresu URL punktu końcowego i klucza, które są przechowywane w zmiennych środowiskowych. Zastąp <SUBSCRIPTION_ID>, <RESOURCE_GROUP_NAME> i <WORKSPACE_NAME> własnymi wartościami.

from azure.ai.ml import MLClient
from azure.identity import (
    DefaultAzureCredential,
    InteractiveBrowserCredential,
)

try:
    credential = DefaultAzureCredential()
    credential.get_token("https://management.azure.com/.default")
except Exception as ex:
    credential = InteractiveBrowserCredential()

try:
    workspace_ml_client = MLClient.from_config(credential=credential)
except:
    workspace_ml_client = MLClient(
        credential,
        subscription_id="<SUBSCRIPTION_ID>",
        resource_group_name="<RESOURCE_GROUP_NAME>",
        workspace_name="<PROJECT_NAME OR WORKSPACE_NAME>",
    )

# The models, fine tuning pipelines and environments are available in various AzureML system registries,
# Example: Phi family of models are in "azureml", Llama family of models are in "azureml-meta" registry.
registry_ml_client = MLClient(credential, registry_name="azureml")

# Get AzureML workspace object.
workspace = workspace_ml_client._workspaces.get(workspace_ml_client.workspace_name)
workspace.id

Znajdowanie modeli z obsługą dostrajania

Katalog modeli Foundry oferuje obsługę dostrajania wielu typów modeli, w tym uzupełniania czatów i generowania tekstu. Aby uzyskać listę modeli i regionów, które obsługują dostrajanie, zobacz Dostępność regionów dla modeli w bezserwerowych interfejsach API.

Zadania dostrajania szczegółowego są dostępne tylko dla użytkowników, których subskrypcja platformy Azure należy do konta rozliczeniowego w regionie, w którym dostawca modelu udostępnia ofertę. Jeśli oferta jest dostępna w odpowiednim regionie, użytkownik musi mieć zasób projektu w regionie świadczenia usługi Azure, w którym model jest dostępny do wdrożenia lub dostrajania, zgodnie z obowiązującymi przepisami.

W tym przykładzie użyto modelu Phi-4-mini-instruct . W tym fragmencie kodu właściwość identyfikatora modelu jest przekazywana jako dane wejściowe do zadania dostrajania. Jest to również dostępne jako pole Asset ID na stronie szczegółów modelu w katalogu modeli Foundry.

model_name = "Phi-4-mini-instruct"
model_to_finetune = registry_ml_client.models.get(model_name, label="latest")
print(
    "\n\nUsing model name: {0}, version: {1}, id: {2} for fine tuning".format(
        model_to_finetune.name, model_to_finetune.version, model_to_finetune.id
    )
)

Przygotowywanie danych do dostrajania

Przygotuj dane szkoleniowe i weryfikacyjne, aby dostroić model. Dane szkoleniowe i weryfikacyjne składają się z przykładów danych wejściowych i wyjściowych dotyczących sposobu, w jaki model ma działać.

Upewnij się, że wszystkie przykłady szkoleniowe są zgodne z oczekiwanym formatem wnioskowania. Aby efektywnie dostosowywać modele, zapewnij zróżnicowany zestaw danych, utrzymując równowagę danych, w tym różne scenariusze i okresowo uściśliając dane szkoleniowe w celu dopasowania ich do rzeczywistych oczekiwań. Te działania ostatecznie prowadzą do bardziej dokładnych i zrównoważonych odpowiedzi modelu.

    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Utwórz dane wejściowe treningowe

Ten fragment kodu przedstawia sposób definiowania zestawu danych szkoleniowych.

from azure.ai.ml.constants import AssetTypes
from azure.ai.ml.entities import Data

dataset_version = "1"
train_dataset_name = "chat_training_small"
try:
    train_data_asset = workspace_ml_client.data.get(
        train_dataset_name, version=dataset_version
    )
    print(f"Dataset {train_dataset_name} already exists")
except:
    print("creating dataset")
    train_data = Data(
        path=f"./train.jsonl",
        type=AssetTypes.URI_FILE,
        description="Training dataset",
        name=train_dataset_name,
        version="1",
    )
    train_data_asset = workspace_ml_client.data.create_or_update(train_data)

Tworzenie danych walidacji

W następnym kroku przedstawiono opcje konfigurowania modelu w celu używania danych walidacji w procesie trenowania. Jeśli nie chcesz używać danych walidacji, możesz pominąć ten krok, aby przejść do następnej sekcji. W przeciwnym razie, jeśli masz zestaw danych weryfikacji, możesz wybrać istniejące przygotowane dane weryfikacji lub przekazać nowe przygotowane dane weryfikacji do użycia podczas dostosowywania modelu.

from azure.ai.ml.entities import Data

dataset_version = "1"
validation_dataset_name = "chat_validation_small"
try:
    validation_data_asset = workspace_ml_client.data.get(
        validation_dataset_name, version=dataset_version
    )
    print(f"Dataset {validation_dataset_name} already exists")
except:
    print("creating dataset")
    validation_data = Data(
        path=f"./validation.jsonl",
        type=AssetTypes.URI_FILE,
        description="Validation dataset",
        name=validation_dataset_name,
        version="1",
    )
    validation_data_asset = workspace_ml_client.data.create_or_update(validation_data)

Tworzenie subskrypcji platformy handlowej dla modeli partnerskich

Ten krok jest wymagany dla wszystkich modeli innych niż Microsoft. Przykładem modelu firmy Microsoft jest rodzina modeli Phi.

model_id_to_subscribe = "/".join(model_to_finetune.id.split("/")[:-2])
print(model_id_to_subscribe)

normalized_model_name = model_name.replace(".", "-")

from azure.ai.ml.entities import MarketplaceSubscription


subscription_name = f"{normalized_model_name}-sub"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id_to_subscribe,
    name=subscription_name,
)

# note: this will throw exception if the subscription already exists or subscription is not required (for example, if the model is not in the marketplace like Phi family)
try:
    marketplace_subscription = (
        workspace_ml_client.marketplace_subscriptions.begin_create_or_update(
            marketplace_subscription
        ).result()
    )
except Exception as ex:
    print(ex)

Prześlij zadanie dostrajania przy użyciu modelu i danych jako wejścia

Do dostosowania modelu wymagany jest następujący zestaw parametrów.

• model: Podstawowy model do przestrojenia
• training_data: Dane szkoleniowe do dostrajania modelu podstawowego
• validation_data: Dane walidacji dostrajania modelu podstawowego
• task: Zadanie dostrajania do wykonania, na przykład CHAT_COMPLETION na potrzeby zadań dostrajania ukończenia czatu
• outputs: Nazwa zarejestrowanego modelu wyjściowego

Następujące parametry są opcjonalne:

• hyperparameters: Parametry kontrolujące proces dostrajania w czasie wykonywania
• name: Nazwa zadania dostrajania
• experiment_name: nazwa eksperymentu dla zadania optymalizacji
• display_name: Nazwa wyświetlana zadania dostrajania

from azure.ai.ml.finetuning import FineTuningTaskType, create_finetuning_job
import uuid

guid = uuid.uuid4()
short_guid = str(guid)[:8]
display_name = f"{model_name}-display-name-{short_guid}-from-sdk"
name = f"{model_name}t-{short_guid}-from-sdk"
output_model_name_prefix = f"{model_name}-{short_guid}-from-sdk-finetuned"
experiment_name = f"{model_name}-from-sdk"

finetuning_job = create_finetuning_job(
    task=FineTuningTaskType.CHAT_COMPLETION,
    training_data=train_data_asset.id,
    validation_data=validation_data_asset.id,
    hyperparameters={
        "per_device_train_batch_size": "1",
        "learning_rate": "0.00002",
        "num_train_epochs": "1",
    },
    model=model_to_finetune.id,
    display_name=display_name,
    name=name,
    experiment_name=experiment_name,
    tags={"foo_tag": "bar"},
    properties={"my_property": "my_value"},
    output_model_name_prefix=output_model_name_prefix,

created_job = workspace_ml_client.jobs.create_or_update(finetuning_job)
workspace_ml_client.jobs.get(created_job.name)

status = workspace_ml_client.jobs.get(created_job.name).status

import time

while True:
    status = workspace_ml_client.jobs.get(created_job.name).status
    print(f"Current job status: {status}")
    if status in ["Failed", "Completed", "Canceled"]:
        print("Job has finished with status: {0}".format(status))
        break
    else:
        print("Job is still running. Checking again in 30 seconds.")
        time.sleep(30)

finetune_model_name = created_job.outputs["registered_model"]["name"]
finetune_model_name

Wdrażanie dostosowanego modelu

Po pomyślnym zakończeniu zadania dostrajania można wdrożyć model niestandardowy.

# Deploy the model as a serverless endpoint

endpoint_name = f"{normalized_model_name}-ft-{short_guid}"  # Name must be unique
model_id = f"azureml://locations/{workspace.location}/workspaces/{workspace._workspace_id}/models/{finetune_model_name}/versions/1"

Obsługiwane scenariusze biznesowe dla dopasowania

Dla wdrażania bezserwerowego interfejsu API obsługiwane są różne scenariusze dla przedsiębiorstw. W poniższej tabeli przedstawiono obsługiwane konfiguracje dla zarządzania siecią magazynowania użytkowników oraz uwierzytelniania, aby zapewnić bezproblemowe działanie w środowisku korporacyjnym.

Powyższe scenariusze powinny również działać w zarządzanym obszarze roboczym sieci wirtualnej. Aby dowiedzieć się, jak skonfigurować zarządzaną sieć wirtualną Foundry Hub, zobacz How to set up a managed network for Foundry hubs (Jak skonfigurować sieć zarządzaną dla centrów Foundry).

Korzystanie z kluczy zarządzanych przez klienta (CMKs) nie jest obsługiwanym scenariuszem korporacyjnym z doprecyzowaniem wdrożenia bezserwerowego interfejsu API.

Problemy z dostrajaniem unikatowych konfiguracji sieci w przestrzeni roboczej i magazynowej zwykle wskazują na problem przy konfiguracji sieci.

Wdrażanie między regionami

Dostrajanie umożliwia wdrażanie modelu dostrojonego do innego regionu niż ten, w którym model został pierwotnie dostrojony. Można również wdrożyć w innej subskrypcji lub regionie.

Jedynymi ograniczeniami jest to, że nowy region musi również obsługiwać dostrajanie, a podczas wdrażania subskrypcji krzyżowej konto generujące token autoryzacji dla wdrożenia musi mieć dostęp zarówno do subskrypcji źródłowych, jak i docelowych.

Wdrożenie między subskrypcjami lub regionami można wykonać za pośrednictwem języka Python.

# Create Cross region FT deployment client
from azure.ai.ml.entities import ServerlessEndpoint
from azure.ai.ml import MLClient
from azure.identity import (
    DefaultAzureCredential,
    InteractiveBrowserCredential,
)

try:
    credential = DefaultAzureCredential()
    credential.get_token("https://management.azure.com/.default")
except Exception as ex:
    credential = InteractiveBrowserCredential()
try:
    workspace_ml_client = MLClient.from_config(credential=credential)
except:
    workspace_ml_client = MLClient(
        credential,
        subscription_id="<TARGET_SUBSCRIPTION_ID>",
        resource_group_name="<TARGET_RESOURCE_GROUP_NAME>",
        workspace_name="<TARGET_PROJECT_NAME>",
    )

workspace = workspace_ml_client._workspaces.get(workspace_ml_client.workspace_name)

workspace_region = workspace.location
model_to_finetune.tags
supported_regions = model_to_finetune.tags["maas-finetuning-deploy-regions"]
supported_regions
if workspace_region in supported_regions:
    print(f"Creating endpoint in the region:{workspace_region}")
    serverless_endpoint = ServerlessEndpoint(name=endpoint_name, model_id=model_id)
    created_endpoint = workspace_ml_client.serverless_endpoints.begin_create_or_update(
        serverless_endpoint
    ).result()
else:
    raise ValueError(
        f"For the model : {model_to_finetune}, the target region: {workspace_region} is not supported for deployment, the supported regions: {supported_regions}"
    )

Użyj wdrożonego modelu niestandardowego

Po wdrożeniu modelu niestandardowego można go użyć jak każdy inny wdrożony model. Możesz nadal używać tych samych parametrów z modelem niestandardowym, takich jak temperature i max_tokens, podobnie jak w przypadku innych wdrożonych modeli.

endpoint = workspace_ml_client.serverless_endpoints.get(endpoint_name)
endpoint_keys = workspace_ml_client.serverless_endpoints.get_keys(endpoint_name)
auth_key = endpoint_keys.primary_key

import requests

url = f"{endpoint.scoring_uri}/v1/chat/completions"

payload = {
    "max_tokens": 1024,
    "messages": [
        {
            "content": "This script is great so far. Can you add more dialogue between Amanda and Thierry to build up their chemistry and connection?",
            "role": "user",
        }
    ],
}
headers = {"Content-Type": "application/json", "Authorization": f"{auth_key}"}

response = requests.post(url, json=payload, headers=headers)

response.json()

Wyczyść swoje dopracowane modele

Po zakończeniu pracy nad modelem uruchom następujący kod, aby wyczyścić doprecyzowany model.

workspace_ml_client.serverless_endpoints.begin_delete(endpoint_name).result()