Sessiegroepen gebruiken in Azure Container Apps

Sessiepools bieden toewijzingstijden van minder dan een seconde voor nieuwe pools en zijn verantwoordelijk voor het beheer en de levenscyclus van elke sessie.

Configuratie

U kunt het gedrag van sessiegroepen beheren met behulp van de volgende parameters die beschikbaar zijn voor az containerapp sessionpool create.

Een pool maken

Het proces voor het maken van een pool verschilt enigszins, afhankelijk van of u een code-interpretergroep of een aangepaste containergroep maakt.

Code-interpretergroep

Als u een sessiegroep voor code-interpreters wilt maken met behulp van de Azure CLI, moet u ervoor zorgen dat u de nieuwste versies van de Azure CLI en de Azure Container Apps-extensie hebt met de volgende opdrachten:

# Upgrade the Azure CLI
az upgrade

# Install or upgrade the Azure Container Apps extension
az extension add --name containerapp --upgrade --allow-preview true -y

Gebruik de az containerapps sessionpool create opdracht om de pool te maken. In het volgende voorbeeld wordt een python-code-interpretersessiegroep gemaakt met de naam my-session-pool. Zorg ervoor dat je <RESOURCE_GROUP> vervangt door de naam van een resourcegroep voordat je de opdracht uitvoert.

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --location westus2 \
    --container-type PythonLTS \
    --max-sessions 100 \
    --cooldown-period 300 \
    --network-status EgressDisabled

U kunt de volgende instellingen definiëren wanneer u een sessiegroep maakt:

Het eindpunt van de beheer-API ophalen

Als u code-interpretersessies wilt gebruiken met LLM-frameworkintegraties of door de beheer-API-eindpunten rechtstreeks aan te roepen, hebt u het beheer-API-eindpunt van de pool nodig.

Het eindpunt heeft de indeling https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>.

Gebruik de az containerapps sessionpool show opdracht om het beheer-API-eindpunt voor een sessiegroep op te halen. Zorg ervoor dat u <RESOURCE_GROUP> vervangt door de naam van uw resourcegroep voordat u het commando uitvoert.

az containerapp sessionpool show \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --query 'properties.poolManagementEndpoint' -o tsv

Aangepaste containergroep

Om een aangepaste containersessiepool te maken, moet u een containerimage en de poolconfiguratie-instellingen opgeven.

U roept elke sessie aan of communiceert met behulp van HTTP-aanvragen. De aangepaste container moet een HTTP-server beschikbaar maken op een poort die u opgeeft om op deze aanvragen te reageren.

az upgrade
az extension add --name containerapp --upgrade --allow-preview true -y

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --environment <ENVIRONMENT> \
    --registry-server myregistry.azurecr.io \
    --registry-username <USER_NAME> \
    --registry-password <PASSWORD> \
    --container-type CustomContainer \
    --image myregistry.azurecr.io/my-container-image:1.0 \
    --cpu 0.25 --memory 0.5Gi \
    --target-port 80 \
    --cooldown-period 300 \
    --network-status EgressDisabled \
    --max-sessions 10 \
    --ready-sessions 5 \
    --env-vars "key1=value1" "key2=value2" \
    --location <LOCATION>

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2024-08-02-preview",
  "name": "my-session-pool",
  "location": "westus2",
  "properties": {
    "environmentId": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerApps/environments/<ENVIRONMENT_NAME>",
    "poolManagementType": "Dynamic",
    "containerType": "CustomContainer",
    "scaleConfiguration": {
      "maxConcurrentSessions": 10,
      "readySessionInstances": 5
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 600
    },
    "secrets": [
      {
        "name": "registrypassword",
        "value": "<REGISTRY_PASSWORD>"
      }
    ],
    "customContainerTemplate": {
      "registryCredentials": {
          "server": "myregistry.azurecr.io",
          "username": "myregistry",
          "passwordSecretRef": "registrypassword"
      },
      "containers": [
        {
          "image": "myregistry.azurecr.io/my-container-image:1.0",
          "name": "mycontainer",
          "resources": {
            "cpu": 0.25,
            "memory": "0.5Gi"
          },
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "while true; do echo hello; sleep 10;done"
          ],
          "env": [
            {
              "name": "key1",
              "value": "value1"
            },
            {
              "name": "key2",
              "value": "value2"
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 80
      }
    },
    "sessionNetworkConfiguration": {
      "status": "EgressEnabled"
    }
  }
}

Beheereindpunt

De volgende eindpunten zijn beschikbaar voor het beheren van sessies in een pool:

U bouwt de volledige URL voor elk eindpunt door het beheer-API-eindpunt van de pool samen te voegen met het eindpuntpad. De queryreeks moet een identifier parameter bevatten die de sessie-id bevat en een api-version parameter met de waarde 2024-02-02-preview.

Bijvoorbeeld: https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>/code/execute?api-version=2024-02-02-preview&identifier=<IDENTIFIER>

Gebruik de az containerapp sessionpool show opdracht om het beheereindpunt van de sessiegroep op te halen:

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

Alle aanvragen voor het eindpunt voor poolbeheer moeten een Authorization header met een Bearer-token bevatten. Zie Verificatie voor meer informatie over verificatie met de poolbeheer-API.

Elke API-aanvraag moet ook de queryreeksparameter identifier met de sessie-id bevatten. Met deze unieke sessie-id kan uw toepassing communiceren met specifieke sessies. Zie Sessie-id's voor meer informatie over sessie-id's.

Afbeeldingscache

Wanneer een sessiepool wordt gemaakt of bijgewerkt, cachet Azure Container Apps de containerafbeeldingen in de pool. Deze caching helpt het proces van het maken van nieuwe sessies te versnellen.

Eventuele wijzigingen in de afbeelding worden niet automatisch doorgevoerd in de sessies. Werk de afbeelding bij door de sessiegroep bij te werken met een nieuwe afbeeldingstag. Gebruik een unieke tag voor elke afbeeldingupdate om ervoor te zorgen dat de nieuwe afbeelding wordt geüpload.

Verwante inhoud

• Sessietypen: meer informatie over de verschillende typen dynamische sessies:

  • Code-interpretersessies
  • Aangepaste containersessies

• Zelfstudies: Rechtstreeks werken met de REST API of via een LLM-agent:

  • Gebruik een LLM-agent:
    • AutoGen
    • LangChain
    • LlamaIndex
    • Semantische kernel
  • De REST API gebruiken
    • JavaScript Code-interpreter