Utiliser des pools de sessions dans Azure Container Apps

Les pools de sessions garantissent des temps d'allocation de session inférieurs à la seconde pour les nouveaux pools et sont responsables de la gestion et du cycle de vie de chaque session.

Paramétrage

Vous pouvez contrôler le comportement des pools de sessions à l’aide des paramètres suivants disponibles .az containerapp sessionpool create

Créer un pool

Le processus de création d’un pool est légèrement différent selon que vous créez un pool d’interpréteurs de code ou un pool de conteneurs personnalisé.

Pool d’interpréteurs de code

Pour créer un pool de sessions d’interpréteur de code à l’aide d’Azure CLI, vérifiez que vous disposez des dernières versions d’Azure CLI et de l’extension Azure Container Apps avec les commandes suivantes :

# Upgrade the Azure CLI
az upgrade

# Install or upgrade the Azure Container Apps extension
az extension add --name containerapp --upgrade --allow-preview true -y

Utilisez la az containerapps sessionpool create commande pour créer le pool. L’exemple suivant crée un pool de sessions d’interpréteur de code Python nommé my-session-pool. Veillez à remplacer <RESOURCE_GROUP> par le nom de votre groupe de ressources avant d’exécuter la commande.

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --location westus2 \
    --container-type PythonLTS \
    --max-sessions 100 \
    --cooldown-period 300 \
    --network-status EgressDisabled

Vous pouvez définir les paramètres suivants lorsque vous créez un pool de sessions :

Obtenir le point de terminaison de l’API de gestion

Pour utiliser des sessions d’interpréteur de code avec des intégrations de framework LLM ou en appelant directement les points de terminaison d’API de gestion, vous avez besoin du point de terminaison de l’API de gestion du pool.

Le point de terminaison est au format https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>.

Pour récupérer le point de terminaison de l’API de gestion pour un pool de sessions, utilisez la az containerapps sessionpool show commande. Veillez à remplacer <RESOURCE_GROUP> par le nom de votre groupe de ressources avant d’exécuter la commande.

az containerapp sessionpool show \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --query 'properties.poolManagementEndpoint' -o tsv

Pool de conteneurs personnalisé

Pour créer un pool de sessions de conteneur personnalisé, vous devez fournir des paramètres de configuration d’image de conteneur et de pool.

Vous appelez ou communiquez avec chaque session à l’aide de requêtes HTTP. Le conteneur personnalisé doit exposer un serveur HTTP sur un port que vous spécifiez pour répondre à ces requêtes.

az upgrade
az extension add --name containerapp --upgrade --allow-preview true -y

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --environment <ENVIRONMENT> \
    --registry-server myregistry.azurecr.io \
    --registry-username <USER_NAME> \
    --registry-password <PASSWORD> \
    --container-type CustomContainer \
    --image myregistry.azurecr.io/my-container-image:1.0 \
    --cpu 0.25 --memory 0.5Gi \
    --target-port 80 \
    --cooldown-period 300 \
    --network-status EgressDisabled \
    --max-sessions 10 \
    --ready-sessions 5 \
    --env-vars "key1=value1" "key2=value2" \
    --location <LOCATION>

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2024-08-02-preview",
  "name": "my-session-pool",
  "location": "westus2",
  "properties": {
    "environmentId": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerApps/environments/<ENVIRONMENT_NAME>",
    "poolManagementType": "Dynamic",
    "containerType": "CustomContainer",
    "scaleConfiguration": {
      "maxConcurrentSessions": 10,
      "readySessionInstances": 5
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 600
    },
    "secrets": [
      {
        "name": "registrypassword",
        "value": "<REGISTRY_PASSWORD>"
      }
    ],
    "customContainerTemplate": {
      "registryCredentials": {
          "server": "myregistry.azurecr.io",
          "username": "myregistry",
          "passwordSecretRef": "registrypassword"
      },
      "containers": [
        {
          "image": "myregistry.azurecr.io/my-container-image:1.0",
          "name": "mycontainer",
          "resources": {
            "cpu": 0.25,
            "memory": "0.5Gi"
          },
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "while true; do echo hello; sleep 10;done"
          ],
          "env": [
            {
              "name": "key1",
              "value": "value1"
            },
            {
              "name": "key2",
              "value": "value2"
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 80
      }
    },
    "sessionNetworkConfiguration": {
      "status": "EgressEnabled"
    }
  }
}

Point de terminaison de gestion

Les points de terminaison suivants sont disponibles pour la gestion des sessions dans un pool :

Vous générez l’URL complète de chaque point de terminaison en concaténant le point de terminaison de l’API de gestion du pool avec le chemin du point de terminaison. La chaîne de requête doit inclure un identifier paramètre contenant l’identificateur de session et un api-version paramètre avec la valeur 2024-02-02-preview.

Par exemple : https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>/code/execute?api-version=2024-02-02-preview&identifier=<IDENTIFIER>

Pour récupérer le point de terminaison de gestion du pool de sessions, utilisez la az containerapp sessionpool show commande :

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

Toutes les demandes adressées au point de terminaison de gestion du pool doivent inclure un en-tête Authorization avec un jeton du porteur. Pour savoir comment s’authentifier auprès de l’API de gestion de pool, consultez Authentification.

Chaque requête d’API doit également inclure le paramètre identifier de chaîne de requête avec l’ID de session. Cet ID de session unique permet à votre application d’interagir avec des sessions spécifiques. Pour en savoir plus sur les identificateurs de session, consultez Identificateurs de session.

Mise en cache d’images

Lorsqu’un pool de sessions est créé ou mis à jour, Azure Container Apps met en cache l’image conteneur dans le pool. Cette mise en cache permet d’accélérer le processus de création de sessions.

Les modifications apportées à l’image ne sont pas automatiquement reflétées dans les sessions. Pour mettre à jour l’image, mettez à jour le pool de sessions avec une nouvelle balise d’image. Utilisez une balise unique pour chaque mise à jour d’image pour vous assurer que la nouvelle image est extraite.

Contenu connexe

• Types de session : Découvrez les différents types de sessions dynamiques :

  • Sessions d’interpréteur de code
  • Sessions de conteneur personnalisées

• Tutoriels : Collaborez directement avec l’API REST ou via un agent LLM :

  • Utilisez un agent LLM :
    • AutoGen
    • LangChain
    • LlamaIndex
    • Noyau sémantique
  • Utiliser l’API REST
    • Interpréteur de code JavaScript