Usar pools de sessão nos Aplicativos de Contêiner do Azure

Os pools de sessão fornecem tempos de alocação de sessão inferiores a um segundo para novos pools e são responsáveis pelo gerenciamento e ciclo de vida de cada sessão.

Configuração

Você pode controlar o comportamento dos pools de sessão usando os seguintes parâmetros disponíveis para az containerapp sessionpool create.

Criar um pool

O processo de criação de um pool é ligeiramente diferente dependendo se você está criando um pool de interpretador de código ou um pool de contêineres personalizado.

Pool de interpretador de código

Para criar um pool de sessão de interpretador de código usando a CLI do Azure, verifique se você tem as versões mais recentes da CLI do Azure e a extensão aplicativos de contêiner do Azure com os seguintes comandos:

# Upgrade the Azure CLI
az upgrade

# Install or upgrade the Azure Container Apps extension
az extension add --name containerapp --upgrade --allow-preview true -y

Use o az containerapps sessionpool create comando para criar o pool. O exemplo a seguir cria um pool de sessão de interpretador de código do Python chamado my-session-pool. Substitua <RESOURCE_GROUP> pelo nome do seu grupo de recursos antes de executar o comando.

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --location westus2 \
    --container-type PythonLTS \
    --max-sessions 100 \
    --cooldown-period 300 \
    --network-status EgressDisabled

Você pode definir as seguintes configurações ao criar um pool de sessões:

Obter o endpoint da API de gerenciamento

Para usar sessões de interpretador de código com integrações da estrutura LLM ou chamando diretamente os pontos de extremidade da API de gerenciamento, você precisa do ponto de extremidade da API de gerenciamento do pool.

O ponto de extremidade está no formato https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>.

Para recuperar o endpoint da API de gerenciamento para um pool de sessão, use o comando az containerapps sessionpool show. Certifique-se de substituir <RESOURCE_GROUP> pelo nome do seu grupo de recursos antes de executar o comando.

az containerapp sessionpool show \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --query 'properties.poolManagementEndpoint' -o tsv

Pool de contêineres personalizado

Para criar um pool de sessões de contêiner personalizado, você precisa fornecer uma imagem de contêiner e configurações do pool.

Você invoca ou se comunica com cada sessão usando solicitações HTTP. O contêiner personalizado deve expor um servidor HTTP em uma porta especificada para responder a essas solicitações.

az upgrade
az extension add --name containerapp --upgrade --allow-preview true -y

az containerapp sessionpool create \
    --name my-session-pool \
    --resource-group <RESOURCE_GROUP> \
    --environment <ENVIRONMENT> \
    --registry-server myregistry.azurecr.io \
    --registry-username <USER_NAME> \
    --registry-password <PASSWORD> \
    --container-type CustomContainer \
    --image myregistry.azurecr.io/my-container-image:1.0 \
    --cpu 0.25 --memory 0.5Gi \
    --target-port 80 \
    --cooldown-period 300 \
    --network-status EgressDisabled \
    --max-sessions 10 \
    --ready-sessions 5 \
    --env-vars "key1=value1" "key2=value2" \
    --location <LOCATION>

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2024-08-02-preview",
  "name": "my-session-pool",
  "location": "westus2",
  "properties": {
    "environmentId": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ContainerApps/environments/<ENVIRONMENT_NAME>",
    "poolManagementType": "Dynamic",
    "containerType": "CustomContainer",
    "scaleConfiguration": {
      "maxConcurrentSessions": 10,
      "readySessionInstances": 5
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 600
    },
    "secrets": [
      {
        "name": "registrypassword",
        "value": "<REGISTRY_PASSWORD>"
      }
    ],
    "customContainerTemplate": {
      "registryCredentials": {
          "server": "myregistry.azurecr.io",
          "username": "myregistry",
          "passwordSecretRef": "registrypassword"
      },
      "containers": [
        {
          "image": "myregistry.azurecr.io/my-container-image:1.0",
          "name": "mycontainer",
          "resources": {
            "cpu": 0.25,
            "memory": "0.5Gi"
          },
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "while true; do echo hello; sleep 10;done"
          ],
          "env": [
            {
              "name": "key1",
              "value": "value1"
            },
            {
              "name": "key2",
              "value": "value2"
            }
          ]
        }
      ],
      "ingress": {
        "targetPort": 80
      }
    },
    "sessionNetworkConfiguration": {
      "status": "EgressEnabled"
    }
  }
}

Ponto de extremidade de gerenciamento

Os seguintes endpoints estão disponíveis para gerenciar sessões em um pool:

Você cria a URL completa para cada ponto de extremidade concatenando o ponto de extremidade da API de gerenciamento do pool com o caminho do ponto de extremidade. A cadeia de caracteres de consulta deve incluir um identifier parâmetro que contém o identificador de sessão e um api-version parâmetro com o valor 2024-02-02-preview.

Por exemplo: https://<REGION>.dynamicsessions.io/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/sessionPools/<SESSION_POOL_NAME>/code/execute?api-version=2024-02-02-preview&identifier=<IDENTIFIER>

Para recuperar o ponto de extremidade de gerenciamento do pool de sessão, use o comando az containerapp sessionpool show:

az containerapp sessionpool show \
    --name <SESSION_POOL_NAME> \
    --resource-group <RESOURCE_GROUP> \
    --query "properties.poolManagementEndpoint" \
    --output tsv

Todas as solicitações para o ponto de extremidade de gerenciamento do pool precisam incluir um cabeçalho Authorization com um token de portador. Para saber como autenticar com a API de gerenciamento de pool, consulte Autenticação.

Cada solicitação de API também deve incluir o parâmetro identifier de cadeia de caracteres de consulta com a ID da sessão. Essa ID de sessão exclusiva permite que seu aplicativo interaja com sessões específicas. Para saber mais sobre identificadores de sessão, consulte identificadores de sessão.

Cache de imagem

Quando um pool de sessões é criado ou atualizado, os Aplicativos de Contêiner do Azure armazenam em cache a imagem de contêiner no pool. Esse cache ajuda a acelerar o processo de criação de novas sessões.

As alterações na imagem não são refletidas automaticamente nas sessões. Para atualizar a imagem, atualize o pool de sessões com uma nova tag de imagem. Use uma marca exclusiva para cada atualização de imagem para garantir que seja efetuado o pull da nova imagem.

Conteúdo relacionado

• Tipos de sessão: saiba mais sobre os diferentes tipos de sessões dinâmicas:

  • Sessões de interpretador de código
  • Sessões de contêiner personalizadas

• Tutoriais: trabalhe diretamente com a API REST ou por meio de um agente LLM:

  • Use um agente LLM:
    • AutoGen
    • LangChain
    • LlamaIndex
    • Kernel Semântico
  • Usar a API REST
    • Interpretador de Código JavaScript