Medición del rendimiento de Azure Cosmos DB para NoSQL con un marco de pruebas comparativas

Vaya a su cuenta existente de API para NoSQL en el portal de Azure.

En el menú de recursos, seleccione Explorador de datos.

En la página Explorador de datos , seleccione la opción Nuevo contenedor en la barra de comandos.

En el cuadro de diálogo Nuevo contenedor , cree un contenedor con la siguiente configuración:

Si aún no lo ha hecho, inicie sesión en la CLI de Azure mediante el az login comando .

Cree variables de shell para los valores siguientes:

• Nombre de la cuenta de Azure Cosmos DB para NoSQL existente denominada cosmosAccountName.
• Nombre del primer grupo de recursos que contiene recursos denominados sourceResourceGroupName.
• Nombre del segundo grupo de recursos vacío denominado targetResourceGroupName.
• URI de punto de conexión de la cuenta de Azure Cosmos DB for NoSQL existente denominada cosmosEndpoint
• Cuenta de Azure Cosmos DB existente para NoSQL con clave principal denominada cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

Con el az cosmosdb sql database create comando , cree una nueva base de datos con la siguiente configuración:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

Con el az cosmosdb sql container create comando , cree un contenedor con la siguiente configuración:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Implemente el marco de pruebas comparativas mediante una plantilla de Azure Resource Manager disponible en este vínculo.

En la página de Implementación personalizada, los siguientes parámetros

Seleccione Revisar y crear y, a continuación, Crear para implementar la plantilla.

Espere a que la implementación se complete.

Use az deployment group create para implementar el marco de pruebas comparativas mediante una plantilla de Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Espere a que la implementación se complete.

Vaya a la cuenta de Azure Storage existente en Azure Portal.

Vaya a una tabla de almacenamiento denominada ycsbbenchmarkingmetadata y busque la entidad con una clave de partición de ycsb_sql.

Observe el campo JobStatus de la entidad de la tabla. Inicialmente, el estado del trabajo es Started, y incluye una marca de tiempo en la propiedad JobStartTime, pero no en la propiedad JobFinishTime.

Espere hasta que el trabajo tenga un estado de Finished e incluya una marca de tiempo en la propiedad JobFinishTime.

Vaya al contenedor de almacenamiento en la misma cuenta con un prefijo de ycsbbenchmarking-*. Observe los blobs de salida y diagnóstico de la herramienta.

Abra el blobaggregation.csv y observe el contenido. Ahora debería tener un conjunto de datos CSV con resultados agregados de todos los clientes de pruebas comparativas.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Consulte el registro de trabajo en una tabla de almacenamiento denominada ycsbbenchmarkingmetadata mediante az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Observe los resultados de esta consulta. Los resultados deben devolver un solo trabajo con las propiedades JobStartTime, JobStatus y JobFinishTime. Inicialmente, el estado del trabajo es Started e incluye una marca de tiempo en la propiedad JobStartTime, pero no en la propiedad JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Si es necesario, ejecute az storage entity query varias veces hasta que el trabajo tenga un estado de Finished e incluya una marca de tiempo en la propiedad JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Busque el nombre del contenedor de almacenamiento modificado más recientemente con un prefijo de ycsbbenchmarking-* usando az storage container list y una consulta JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Almacene la cadena de contenedor en una variable denominada storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Use [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query) para consultar los resultados del trabajo en un blob de almacenamiento almacenado en el contenedor ubicado anteriormente.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Observe los resultados de esta consulta. Ahora debería tener un conjunto de datos CSV con resultados agregados de todos los clientes de pruebas comparativas.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867