Messen der Leistung von Azure Cosmos DB für NoSQL mit einem Benchmarking-Framework

Navigieren Sie im Azure-Portal zu Ihrer vorhandenen API für NoSQL-Konto.

Wählen Sie im Ressourcenmenü Data Explorer aus.

Wählen Sie auf der Seite "Daten-Explorer " in der Befehlsleiste die Option "Neuer Container " aus.

Erstellen Sie im Dialogfeld "Neuer Container " einen neuen Container mit den folgenden Einstellungen:

Falls noch nicht geschehen, melden Sie sich mit dem az login Befehl bei der Azure CLI an.

Erstellen Sie Shellvariablen für die folgenden Werte:

• Name Ihres vorhandenen Azure Cosmos DB für NoSQL-Konto mit dem Namen cosmosAccountName.
• Name Ihrer ersten Ressourcengruppe mit Ressourcen mit dem Namen sourceResourceGroupName.
• Name der zweiten leeren Ressourcengruppe mit dem Namen targetResourceGroupName.
• Vorhandene Azure Cosmos DB für NoSQL-Kontoendpunkt-URI mit dem Namen cosmosEndpoint
• Vorhandener primärer Schlüssel eines Azure Cosmos DB für ein NoSQL-Konto mit dem Namen cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

Erstellen Sie mithilfe des az cosmosdb sql database create Befehls eine neue Datenbank mit den folgenden Einstellungen:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

Erstellen Sie mit dem az cosmosdb sql container create Befehl einen neuen Container mit den folgenden Einstellungen:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Stellen Sie das Benchmarking-Framework mithilfe einer Azure Resource Manager-Vorlage bereit, die unter diesem Link verfügbar ist.

Auf der Seite "Benutzerdefinierte Bereitstellung" sind die folgenden Parameter:

Wählen Sie Überprüfen + Erstellen und dann Erstellen aus, um die Vorlage bereitzustellen.

Warten Sie, bis die Bereitstellung abgeschlossen ist.

Nutzen Sie az deployment group create, um das Benchmarking-Framework mithilfe einer Azure Resource Manager-Vorlage bereitzustellen.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Warten Sie, bis die Bereitstellung abgeschlossen ist.

Navigieren Sie im Azure-Portal zu Ihrem vorhandenen Azure Storage-Konto.

Navigieren Sie zu einer Speichertabelle mit dem Namen ycsbbenchmarkingmetadata , und suchen Sie die Entität mit einem Partitionsschlüssel von ycsb_sql.

Beobachten Sie das JobStatus Feld der Tabellenentität. Zunächst ist der Status des Auftrags Started und er enthält einen Zeitstempel in der JobStartTime-Eigenschaft, aber nicht in der JobFinishTime-Eigenschaft.

Warten Sie, bis der Auftrag einen Status von Finished hat und einen Zeitstempel in der JobFinishTime-Eigenschaft enthält.

Navigieren Sie zum Speichercontainer im selben Konto mit dem Präfix ycsbbenchmarking-*. Sehen Sie sich die Ausgabe- und Diagnoseblobs für das Tool genauer an.

Öffnen Sie das aggregation.csv Blob, und beobachten Sie den Inhalt. Sie sollten jetzt über ein CSV-Dataset mit aggregierten Ergebnissen von allen Benchmarkclients verfügen.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Abfragen des Auftragsdatensatzes in einer Speichertabelle mit dem Namen ycsbbenchmarkingmetadata mit Hilfe von az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Beobachten Sie die Ergebnisse dieser Abfrage. Die Abfrage sollte einen einzelnen Auftrag mit den Eigenschaften JobStartTime, JobStatus, und JobFinishTime zurückgeben. Zunächst ist der Status des Auftrags Started und die Zeile enthält einen Zeitstempel bei der Eigenschaft JobStartTime, aber nicht bei der Eigenschaft JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

Führen Sie bei Bedarf az storage entity query mehrmals aus, bis der Auftrag den Status Finished hat und einen Zeitstempel in der Eigenschaft JobFinishTime enthält.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Suchen Sie den Namen des zuletzt geänderten Speichercontainers mit einem Präfix von ycsbbenchmarking-*, indem Sie az storage container list und eine JMESPath-Abfrage verwenden.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Speichern Sie die Containerzeichenfolge in einer Variablen mit dem Namen storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Verwenden Sie [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), um die Auftragsergebnisse eines Speicherblobs abzufragen, das im zuvor ausgewählten Container gespeichert ist.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Beobachten Sie die Ergebnisse dieser Abfrage. Sie sollten jetzt über ein CSV-Dataset mit aggregierten Ergebnissen von allen Benchmarkclients verfügen.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867