Types de déploiement pour les modèles Microsoft Foundry

Microsoft Foundry met les modèles à disposition à l’aide du concept de déploiement de modèle dans Foundry Services (anciennement azure AI Services). Les déploiements de modèles sont également des ressources Azure et, lorsqu’ils sont créés, donnent accès à un modèle donné sous certaines configurations. Une telle configuration inclut l’infrastructure requise pour traiter les demandes.

Les modèles de foundry fournissent aux clients des choix de structure d’hébergement qui correspondent à leurs modèles d’entreprise et d’utilisation. Ces options sont traduites en différents types de déploiements (ou références SKU) disponibles au moment du déploiement du modèle dans la ressource Foundry.

Le service propose deux principaux types de déploiements : standard et approvisionné. Pour un type de déploiement donné, les clients peuvent aligner leurs charges de travail avec leurs exigences en matière de traitement des données. Ils peuvent choisir une zone de données Azure (Standard ou Provisioned-Managed), une zone de données spécifiée par Microsoft (DataZone- Standard ou DataZone Provisioned-Managed) ou une option de traitement globale (Global-Standard ou Global Provisioned-Managed) .

Pour les modèles affinés, un type de déploiement supplémentaire Developer offre un moyen rentable pour l'évaluation de modèles personnalisés, mais sans conservation des données.

Tous les déploiements peuvent effectuer exactement les mêmes opérations d’inférence, mais la facturation, la mise à l’échelle et les performances sont sensiblement différentes. Dans le cadre de votre conception de solution, vous devez prendre des décisions clés dans deux catégories :

• Emplacement du traitement des données
• Volume d’appels

Emplacements de traitement des données pour le déploiement de Foundry

Pour les déploiements standard, il existe trois options de type de déploiement parmi lesquelles choisir : global, zone de données et zone de données Azure. Pour les déploiements provisionnés, il existe deux options de type de déploiement à choisir : la zone géographique globale et Azure. Nous vous recommandons Global Standard comme point de départ.

Déploiements globaux

Les déploiements globaux utilisent l’infrastructure globale d’Azure pour acheminer dynamiquement le trafic client vers le centre de données avec la meilleure disponibilité pour les demandes d’inférence du client. Cela signifie que Global offre les limites de débit initiales les plus élevées et la meilleure disponibilité du modèle, tout en garantissant notre SLA de disponibilité et notre basse latence. Pour les charges de travail à volume élevé au-dessus des niveaux d’utilisation spécifiés sur Standard et Global Standard, vous pouvez rencontrer une variation de latence accrue. Pour les clients qui nécessitent une variation de latence inférieure à une utilisation importante de la charge de travail, nous vous recommandons d’utiliser nos types de déploiement approvisionnés.

Nos déploiements globaux sont le premier emplacement pour tous les nouveaux modèles et fonctionnalités. Selon le volume d’appels, les clients ayant des exigences de variation de volume et de faible latence doivent prendre en compte nos types de déploiement approvisionnés.

Déploiements de zone de données

Pour tout type de déploiement étiqueté Global, les invites et les réponses peuvent être traitées dans n’importe quelle zone géographique où le modèle Foundry approprié est déployé. Pour en savoir plus, consultez la section « Disponibilité de la région de modèle par type de déploiement » des modèles Foundry vendus directement par Azure.

Pour tout type de déploiement étiqueté en tant que DataZone, les invites et les réponses peuvent être traitées dans n’importe quelle zone géographique dans la zone de données spécifiée, comme défini par Microsoft. Si vous créez un déploiement DataZone dans une ressource Foundry située aux États-Unis, les invites et les réponses peuvent être traitées n’importe où aux États-Unis. Si vous créez un déploiement DataZone dans une ressource Foundry située dans une nation membre de l’Union européenne, des invites et des réponses peuvent être traitées dans cette ou toute autre nation membre de l’Union européenne.

Pour les types de déploiement Global et DataZone , toutes les données stockées au repos, telles que les données chargées, sont stockées dans la zone géographique désignée par le client. Seul l’emplacement du traitement est affecté lorsqu’un client utilise un type de déploiement Global ou DataZone dans une ressource Foundry ; Les engagements de traitement et de conformité des données Azure restent applicables.

Global Standard

• Nom de la référence SKU dans le code : GlobalStandard

Les déploiements globaux sont disponibles dans les mêmes ressources Foundry que les types de déploiement non globaux. Toutefois, ils vous permettent d’utiliser l’infrastructure globale d’Azure pour acheminer dynamiquement le trafic vers le centre de données avec la meilleure disponibilité pour chaque requête. Global Standard fournit le quota par défaut le plus élevé et élimine la nécessité d’équilibrer la charge entre plusieurs ressources.

Les clients disposant d’un volume cohérent élevé peuvent rencontrer une plus grande variabilité de latence. Le seuil est défini par modèle. Pour en savoir plus, consultez la page Quotas. Pour les applications qui nécessitent une variation de latence inférieure à une utilisation importante de la charge de travail, nous vous recommandons d’acheter un débit approvisionné.

Le déploiement standard global prend en charge le traitement prioritaire pour des performances fiables et haute vitesse, avec la flexibilité du paiement à l’utilisation. Pour plus d’informations, consultez Traitement prioritaire pour les modèles Foundry (préversion).

Approvisionné global

• Nom de la référence SKU dans le code : GlobalProvisionedManaged

Les déploiements globaux sont disponibles dans les mêmes ressources Foundry que les types de déploiement non globaux. Toutefois, ils vous permettent d’utiliser l’infrastructure globale d’Azure pour acheminer dynamiquement le trafic vers le centre de données avec la meilleure disponibilité pour chaque requête. Les déploiements provisionnés globaux fournissent une capacité de traitement de modèle réservé pour un débit élevé et prévisible à l’aide de l’infrastructure globale Azure.

Lot global

• Nom de la référence SKU dans le code : GlobalBatch

Global Batch est conçu pour gérer efficacement les tâches de traitement à grande échelle et à volume élevé. Vous pouvez traiter des groupes asynchrones de requêtes avec un quota distinct et un traitement cible de 24 heures, à 50% moins cher que Global Standard. Avec le traitement par lots, plutôt que d’envoyer une seule requête à la fois, vous envoyez un grand nombre de requêtes dans un seul fichier. Les demandes de traitement par lots global ont un quota de jetons empilés distinct, ce qui évite toute interruption de vos charges de travail en ligne.

Les principaux cas d’utilisation sont les suivants :

• Traitement des données à grande échelle : analysez rapidement des jeux de données étendus en parallèle.
• Génération de contenu : créez de grands volumes de texte, tels que des descriptions de produits ou des articles.
• Révision et résumé des documents : automatisez la révision et la synthèse des documents longs.
• Automatisation du support client : gérez simultanément de nombreuses requêtes pour obtenir des réponses plus rapides.
• Extraction et analyse des données : extrayez et analysez des informations à partir de grandes quantités de données non structurées.
• Tâches de traitement en langage naturel (NLP) : effectuez des tâches telles que l’analyse des sentiments ou la traduction sur des jeux de données volumineux.
• Marketing et personnalisation : générez du contenu et des recommandations personnalisés à grande échelle.

Norme de Zone de Données

• Nom de la référence SKU dans le code : DataZoneStandard

Les déploiements standard de la zone de données sont disponibles dans la même ressource Foundry que tous les autres types de déploiement Foundry. Toutefois, ils vous permettent d’utiliser l’infrastructure globale d’Azure pour router dynamiquement le trafic vers le centre de données au sein de la zone de données définie par Microsoft avec la meilleure disponibilité pour chaque requête. Data Zone Standard fournit des quotas par défaut plus élevés que nos types de déploiement basés sur la géographie Azure.

Les clients disposant d’un volume cohérent élevé peuvent rencontrer une plus grande variabilité de latence. Le seuil est défini par modèle. Pour en savoir plus, consultez la page quotas et limites. Pour les charges de travail qui nécessitent une variation de faible latence au volume important, nous vous recommandons d’utiliser les offres de déploiement approvisionnées.

Le déploiement standard de zone de données prend en charge l’utilisation du traitement prioritaire pour des performances fiables et haute vitesse, avec la flexibilité du paiement à l’utilisation. Pour plus d’informations, consultez Traitement prioritaire pour les modèles Foundry (préversion).

Zone de données provisionnée

• Nom de la référence SKU dans le code : DataZoneProvisionedManaged

Les déploiements provisionnés de Data Zone sont disponibles dans la même ressource Foundry que les autres types de déploiement Foundry. Toutefois, ils vous permettent d’utiliser l’infrastructure globale d’Azure pour router dynamiquement le trafic vers le centre de données au sein de la zone de données spécifiée par Microsoft avec la meilleure disponibilité pour chaque requête. Les déploiements provisionnés de zone de données fournissent une capacité de traitement de modèle réservée pour un débit élevé et prévisible à l’aide de l’infrastructure Azure au sein de la zone de données spécifiée par Microsoft.

Lot de zones de données

• Nom de la référence SKU dans le code : DataZoneBatch

Les déploiements Batch de zone de données fournissent toutes les mêmes fonctionnalités que les déploiements Batch globaux. Toutefois, ils vous permettent d’utiliser l’infrastructure globale d’Azure pour router dynamiquement le trafic vers des centres de données uniquement au sein de la zone de données définie par Microsoft avec la meilleure disponibilité pour chaque requête.

Norme

• Nom de la référence SKU dans le code : Standard

Les déploiements standard fournissent un modèle de facturation de paiement par appel sur le modèle choisi. Ce modèle peut être un moyen rapide de commencer, car vous payez uniquement pour ce que vous consommez. Les modèles et la capacité de traitement disponibles dans chaque région peuvent être limités.

Les déploiements standards sont optimisés pour les charges de travail de faible à moyen volume, avec une forte variabilité. Les clients disposant d’un volume cohérent élevé peuvent rencontrer une plus grande variabilité de latence.

Provisionnement régional

• Nom de la référence SKU dans le code : ProvisionedManaged

Les déploiements provisionnés régionaux vous permettent de spécifier la quantité de débit dont vous avez besoin dans un déploiement. Le service alloue ensuite la capacité de traitement du modèle nécessaire et garantit qu’elle est prête pour votre utilisation. Le débit est défini en termes d’unités de débit provisionnées, qui est un moyen normalisé de représenter le débit pour votre déploiement. Chaque paire de versions de modèle nécessite différentes quantités d’unités de débit provisionnée à déployer et fournit différentes quantités de débit par unité de débit provisionnée. En savoir plus dans l’article sur les concepts de débit approvisionné.

Désactiver l’accès aux déploiements globaux dans votre abonnement

Azure Policy permet d’appliquer des normes organisationnelles et d’évaluer la conformité à grande échelle. Grâce à son tableau de bord de conformité, il fournit une vue agrégée pour évaluer l’état global de l’environnement, avec la possibilité d’explorer la granularité par ressource et par stratégie. Il vous aide également à mettre vos ressources en conformité par le biais de la correction en bloc pour les ressources existantes et de la correction automatique pour les nouvelles ressources. En savoir plus sur Azure Policy et des contrôles intégrés spécifiques pour Foundry Tools.

Vous pouvez utiliser la stratégie suivante pour désactiver l’accès à n’importe quel type de déploiement Foundry. Pour désactiver l’accès à un type de déploiement spécifique, remplacez GlobalStandard par le nom de la référence SKU pour le type de déploiement auquel vous souhaitez désactiver l’accès.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Développeur (pour les modèles affinés)

• Nom de la référence SKU dans le code : DeveloperTier

Les modèles affinés prennent en charge un déploiement Developer conçu pour prendre en charge l’évaluation de modèle personnalisé. Il n’offre pas de garanties de résidence des données ou un contrat SLA. Pour en savoir plus sur l’utilisation du type de Developer déploiement, consultez le guide de réglage précis.

Déployer des modèles

Pour en savoir plus sur la création de ressources et le déploiement de modèles, reportez-vous au guide de création de ressources.

Contenu connexe

• Quotas et limites des modèles Microsoft Foundry
• Confidentialité des données et sécurité pour les modèles Foundry