Déployer des modèles à l’aide d’Azure CLI et de Bicep

• Installez Azure CLI et l’extension cognitiveservices pour Foundry Tools.

  az extension add -n cognitiveservices
  

• Certaines commandes de ce didacticiel utilisent l’outil jq , qui peut ne pas être installé sur votre système. Pour connaître les instructions d’installation, consultez Télécharger jq.

• Identifiez les informations suivantes :

  • VOTRE ID d’abonnement Azure

  • Nom de la ressource de Foundry Tools

  • Groupe de ressources où vous avez déployé la ressource Foundry Tools

Ajouter des modèles

Pour ajouter un modèle, identifiez d’abord le modèle que vous souhaitez déployer. Interrogez les modèles disponibles comme suit :

1. Connectez-vous à votre abonnement Azure.

   az login
   

2. Si vous avez plusieurs abonnements, sélectionnez l’abonnement où se trouve votre ressource.

   az account set --subscription $subscriptionId
   

3. Définissez les variables d’environnement suivantes avec le nom de la ressource Foundry Tools que vous envisagez d’utiliser et de groupe de ressources.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Si vous n’avez pas encore créé de compte Foundry Tools, créez-en un.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Référence : az cognitiveservices account

5. Vérifiez quels modèles sont disponibles et sous quelle référence SKU. Les références SKU, également appelées types de déploiement, définissent la façon dont l’infrastructure Azure traite les demandes. Les modèles peuvent offrir différents types de déploiement. La commande suivante répertorie toutes les définitions de modèle disponibles :

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   La sortie inclut des modèles disponibles avec leurs propriétés :

   {
     "name": "Phi-3.5-vision-instruct",
     "format": "Microsoft",
     "version": "2",
     "sku": "GlobalStandard",
     "capacity": 1
   }
   

   Référence : az cognitiveservices account list-models

6. Identifiez le modèle que vous souhaitez déployer. Vous avez besoin des propriétés name, format, version et sku. La propriété format indique le fournisseur offrant le modèle. Selon le type de déploiement, vous pouvez également avoir besoin de capacité.

7. Ajoutez le modèle de déploiement à la ressource. L'exemple suivant ajoute Phi-3.5-vision-instruct :

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-3.5-vision-instruct \
       --model-name Phi-3.5-vision-instruct \
       --model-version 2 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Référence : az cognitiveservices account deployment

8. Le modèle est prêt à être utilisé.

Vous pouvez déployer le même modèle plusieurs fois si nécessaire, mais sous un nom de déploiement différent. Cette fonctionnalité est utile si vous souhaitez tester différentes configurations pour un modèle donné, y compris les filtres de contenu.

Utiliser le modèle

Vous pouvez utiliser des modèles déployés en utilisant les endpoints pour les modèles Foundry pour la ressource. Lorsque vous construisez votre demande, spécifiez le paramètre model et insérez le nom de déploiement du modèle que vous avez créé. Vous pouvez obtenir par programme l’URI du point de terminaison d’inférence à l’aide du code suivant :

Point de terminaison d'inférence

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Pour effectuer des requêtes au point de terminaison Foundry Models, ajoutez l’itinéraire models. Par exemple : https://<resource>.services.ai.azure.com/models. Vous pouvez voir la référence d’API pour le point de terminaison dans la page de référence de l’API d’inférence du modèle Azure AI.

Clés d’inférence

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Gérer les déploiements

Vous pouvez afficher tous les déploiements disponibles à l’aide de la CLI :

1. Exécutez la commande suivante pour afficher tous les déploiements actifs :

   az cognitiveservices account deployment list -n $accountName -g $resourceGroupName
   

   Référence : az cognitiveservices account deployment list

2. Vous pouvez afficher les détails d’un déploiement donné :

   az cognitiveservices account deployment show \
       --deployment-name "Phi-3.5-vision-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

   Référence : az cognitiveservices account deployment show

3. Vous pouvez supprimer un déploiement donné comme suit :

   az cognitiveservices account deployment delete \
       --deployment-name "Phi-3.5-vision-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

   Référence : az cognitiveservices account deployment delete

• Installez Azure CLI.

• Identifiez les informations suivantes :

  • VOTRE ID d’abonnement Azure

• Nom de votre ressource Foundry (anciennement appelée ressource Azure AI Services)

• Groupe de ressources où la ressource Foundry est déployée

• Nom du modèle, fournisseur, version et référence SKU que vous souhaitez déployer. Vous pouvez utiliser le portail Foundry ou Azure CLI pour trouver ces informations. Dans cet exemple, vous déployez le modèle suivant :

  • Nom du modèle : Phi-3.5-vision-instruct
  • Fournisseur : Microsoft
  • Version :2
  • Type de déploiement : Standard global

Configurer l’environnement

L'exemple présenté dans cet article est basé sur les échantillons de code contenus dans le référentiel Azure-Samples/azureai-model-inference-bicep. Pour exécuter les commandes localement sans avoir à copier ou coller du contenu du fichier, clonez le référentiel :

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Les fichiers de cet exemple se situent dans :

cd azureai-model-inference-bicep/infra

Autorisations requises pour s’abonner aux modèles des partenaires et de la communauté

Les modèles foundry provenant de partenaires et de la communauté disponibles pour le déploiement (par exemple, les modèles Cohere) nécessitent la Place de marché Azure. Les fournisseurs de modèles définissent les termes du contrat de licence et définissent le prix d’utilisation de leurs modèles à l’aide de la Place de marché Azure.

Lors du déploiement de modèles tiers, vérifiez que vous disposez des autorisations suivantes dans votre compte :

Ajouter le modèle

1. Utilisez le modèle ai-services-deployment-template.bicep pour décrire les modèles de déploiement :

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Exécutez le déploiement :

   RESOURCE_GROUP="<resource-group-name>"
   ACCOUNT_NAME="<azure-ai-model-inference-name>" 
   MODEL_NAME="Phi-3.5-vision-instruct"
   PROVIDER="Microsoft"
   VERSION=2
   
   az deployment group create \
       --resource-group $RESOURCE_GROUP \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER
   

Utiliser le modèle

Vous pouvez utiliser des modèles déployés en utilisant les points de terminaison pour les modèles Foundry pour la ressource. Lorsque vous construisez votre demande, spécifiez le paramètre model et insérez le nom de déploiement du modèle que vous avez créé. Vous pouvez obtenir par programme l’URI du point de terminaison d’inférence à l’aide du code suivant :

Point de terminaison d'inférence

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Pour effectuer des requêtes au point de terminaison Foundry Models, ajoutez l’itinéraire models. Par exemple : https://<resource>.services.ai.azure.com/models. Vous pouvez voir la référence d’API pour le point de terminaison dans la page de référence de l’API d’inférence du modèle Azure AI.

Clés d’inférence

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName