Mesurer les performances d’Azure Cosmos DB pour NoSQL avec un framework de référence

Accédez à votre compte API existante pour NoSQL dans le portail Azure.

Dans le menu de la ressource, sélectionnez Explorateur de données.

Dans la page Explorateur de données , sélectionnez l’option Nouveau conteneur dans la barre de commandes.

Dans la boîte de dialogue Nouveau conteneur , créez un conteneur avec les paramètres suivants :

Si ce n’est déjà fait, connectez-vous à Azure CLI à l’aide de la az login commande.

Créez des variables shell pour les valeurs suivantes :

• Nom de votre compte Azure Cosmos DB pour NoSQL existant nommé cosmosAccountName.
• Nom de votre premier groupe de ressources avec les ressources nommées sourceResourceGroupName.
• Nom de votre deuxième groupe de ressources vide nommé targetResourceGroupName.
• URI de point de terminaison de compte Azure Cosmos DB for NoSQL existant nommé cosmosEndpoint
• Clé primaire de compte Azure Cosmos DB for NoSQL existante nommée cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

À l’aide de la az cosmosdb sql database create commande, créez une base de données avec les paramètres suivants :

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

À l’aide de la az cosmosdb sql container create commande, créez un conteneur avec les paramètres suivants :

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Déployez l’infrastructure de référence à l’aide d’un modèle Azure Resource Manager disponible dans ce lien.

Dans la page Déploiement personnalisé, les paramètres suivants

Sélectionnez Vérifier + créer , puis Créer pour déployer le modèle.

Attendez que le déploiement se termine.

Utilisez az deployment group create pour déployer le cadre de benchmark à l’aide d’un modèle Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Attendez que le déploiement se termine.

Accédez à votre compte de stockage Azure existant dans le portail Azure.

Accédez à une table de stockage nommée ycsbbenchmarkingmetadata et recherchez l’entité avec une clé de partition de ycsb_sql.

Observez le JobStatus champ de l’entité de table. Initialement, l’état de la tâche est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

Attendez que le travail soit en l’état Finished et qu’il inclut un horodatage dans la propriété JobFinishTime.

Accédez au conteneur de stockage dans le même compte avec le préfixe ycsbbenchmarking-*. Observez les blobs de sortie et de diagnostic de l'outil.

Ouvrez l’objet blob aggregation.csv et observez le contenu. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients de référence.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Interroger l’enregistrement du travail dans une table de stockage nommée ycsbbenchmarkingmetadata à l’aide de az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Observez les résultats de cette requête. Les résultats doivent retourner une seule tâche avec JobStartTime, JobStatus et JobFinishTime comme propriétés. Initialement, l’état de la tâche est Started et inclut un horodatage dans la propriété JobStartTime, mais pas dans la propriété JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Si nécessaire, exécutez az storage entity query plusieurs fois jusqu’à ce que le travail ait le statut Finished et inclue un horodatage dans la propriété JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Recherchez le nom du conteneur de stockage le plus récemment modifié avec un préfixe de ycsbbenchmarking-* en utilisant az storage container list et une requête JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Stockez la chaîne de conteneur dans une variable nommée storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Utilisez [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) pour interroger les résultats du travail dans un objet blob de stockage stocké dans le conteneur situé précédemment.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Observez les résultats de cette requête. Vous devez maintenant disposer d’un jeu de données CSV avec des résultats agrégés de tous les clients de référence.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867