Korzystanie z pul sesji w usłudze Azure Container Apps

Baseny sesji zapewniają czasy alokacji sesji w podsekundach dla nowych pul sesji i są odpowiedzialne za zarządzanie oraz cykl życia każdej sesji.

Konfiguracja

Zachowanie pul sesji można kontrolować przy użyciu następujących parametrów dostępnych dla az containerapp sessionpool create.

Utwórz pulę

Proces tworzenia puli różni się nieco w zależności od tego, czy tworzysz pulę interpreterów kodu, czy niestandardową pulę kontenerów.

Pula interpreterów kodu

Aby utworzyć pulę sesji interpretera kodu przy użyciu interfejsu wiersza polecenia platformy Azure, upewnij się, że masz najnowsze wersje interfejsu wiersza polecenia platformy Azure i rozszerzenie Azure Container Apps za pomocą następujących poleceń:

# Upgrade the Azure CLI
az upgrade

# Install or upgrade the Azure Container Apps extension
az extension add --name containerapp --upgrade --allow-preview true -y

Użyj polecenia , az containerapps sessionpool create aby utworzyć pulę. Poniższy przykład tworzy pulę sesji interpretera kodu języka Python o nazwie my-session-pool. Upewnij się, że zastąpiłeś <RESOURCE_GROUP> nazwą grupy zasobów, zanim uruchomisz polecenie.

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --location westus2 \
    --container-type PythonLTS \
    --max-sessions 100 \
    --cooldown-period 300 \
    --network-status EgressDisabled

Podczas tworzenia puli sesji można zdefiniować następujące ustawienia:

Pobierz punkt końcowy interfejsu API zarządzania

Aby używać sesji interpretera kodu z integracją platformy LLM lub bezpośrednio wywołując punkty końcowe interfejsu API zarządzania, potrzebny jest punkt końcowy interfejsu API zarządzania puli.

Punkt końcowy ma format https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>.

Aby uzyskać punkt końcowy interfejsu API zarządzania dla puli sesji, użyj polecenia az containerapps sessionpool show. Przed uruchomieniem polecenia pamiętaj, aby zastąpić ciąg <RESOURCE_GROUP> swoją nazwą grupy zasobów.

az containerapp sessionpool show \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --query 'properties.poolManagementEndpoint' -o tsv

Niestandardowa pula kontenerów

Aby utworzyć niestandardową pulę sesji kontenera, należy podać obraz kontenera oraz ustawienia konfiguracji puli.

Każda sesja jest wywoływana lub komunikowana przy użyciu żądań HTTP. Kontener niestandardowy musi uwidocznić serwer HTTP na porcie określonym w celu odpowiadania na te żądania.

az upgrade
az extension add --name containerapp --upgrade --allow-preview true -y

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --environment <ENVIRONMENT> \
    --registry-server myregistry.azurecr.io \
    --registry-username <USER_NAME> \
    --registry-password <PASSWORD> \
    --container-type CustomContainer \
    --image myregistry.azurecr.io/my-container-image:1.0 \
    --cpu 0.25 --memory 0.5Gi \
    --target-port 80 \
    --cooldown-period 300 \
    --network-status EgressDisabled \
    --max-sessions 10 \
    --ready-sessions 5 \
    --env-vars "key1=value1" "key2=value2" \
    --location <LOCATION>

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2024-08-02-preview",
  "name": "my-session-pool",
  "location": "westus2",
  "properties": {
    "environmentId": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerApps/environments/<ENVIRONMENT_NAME>",
    "poolManagementType": "Dynamic",
    "containerType": "CustomContainer",
    "scaleConfiguration": {
      "maxConcurrentSessions": 10,
      "readySessionInstances": 5
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 600
    },
    "secrets": [
      {
        "name": "registrypassword",
        "value": "<REGISTRY_PASSWORD>"
      }
    ],
    "customContainerTemplate": {
      "registryCredentials": {
          "server": "myregistry.azurecr.io",
          "username": "myregistry",
          "passwordSecretRef": "registrypassword"
      },
      "containers": [
        {
          "image": "myregistry.azurecr.io/my-container-image:1.0",
          "name": "mycontainer",
          "resources": {
            "cpu": 0.25,
            "memory": "0.5Gi"
          },
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "while true; do echo hello; sleep 10;done"
          ],
          "env": [
            {
              "name": "key1",
              "value": "value1"
            },
            {
              "name": "key2",
              "value": "value2"
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 80
      }
    },
    "sessionNetworkConfiguration": {
      "status": "EgressEnabled"
    }
  }
}

Punkt końcowy zarządzania

Dostępne są następujące punkty końcowe do zarządzania sesjami w ramach puli:

Pełny adres URL dla każdego punktu końcowego można utworzyć, łącząc punkt końcowy interfejsu API zarządzania pulą ze ścieżką punktu końcowego. Ciąg zapytania musi zawierać identifier parametr zawierający identyfikator sesji i api-version parametr z wartością 2024-02-02-preview.

Przykład: https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>/code/execute?api-version=2024-02-02-preview&identifier=<IDENTIFIER>

Aby pobrać punkt końcowy zarządzania puli sesji, użyj polecenia az containerapp sessionpool show.

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

Wszystkie żądania do punktu końcowego zarządzania pulą Authorization muszą zawierać nagłówek z tokenem typu bearer. Aby dowiedzieć się, jak uwierzytelniać się za pomocą interfejsu API zarządzania pulą, zobacz Uwierzytelnianie.

Każde żądanie API musi również zawierać parametr identifier ciągu zapytania z identyfikatorem sesji. Ten unikatowy identyfikator sesji umożliwia aplikacji interakcję z określonymi sesjami. Aby dowiedzieć się więcej na temat identyfikatorów sesji, zobacz Identyfikatory sesji.

Buforowanie obrazów

Po utworzeniu lub zaktualizowaniu puli sesji usługa Azure Container Apps buforuje obraz kontenera w puli. Cache'owanie pomaga zwiększyć szybkość procesu tworzenia nowych sesji.

Wszelkie zmiany obrazu nie są automatycznie odzwierciedlane w sesjach. Aby zaktualizować obraz, zaktualizuj pulę sesji za pomocą nowej etykiety obrazu. Użyj unikatowego tagu dla każdej aktualizacji obrazu, aby upewnić się, że nowy obraz jest ściągany.

Treści powiązane

• Typy sesji: informacje o różnych typach sesji dynamicznych:

  • Sesje interpretera kodu
  • Niestandardowe sesje kontenerów

• Samouczki: praca bezpośrednio z interfejsem API REST lub za pośrednictwem agenta LLM:

  • Użyj agenta LLM:
    • Autogen
    • LangChain
    • LlamaIndex
    • Jądro semantyczne
  • Korzystanie z interfejsu API REST
    • Interpreter kodu JavaScript