Mierzenie wydajności usługi Azure Cosmos DB for NoSQL za pomocą struktury testów porównawczych

Przejdź do istniejącego konta interfejsu API dla NoSQL w portalu Azure.

W menu zasobów wybierz pozycję Eksplorator danych.

Na stronie Eksplorator danych wybierz opcję Nowy kontener na pasku poleceń.

W oknie dialogowym Nowy kontener utwórz nowy kontener z następującymi ustawieniami:

Jeśli jeszcze tego nie zrobiłeś, zaloguj się do Azure CLI używając polecenia az login.

Utwórz zmienne powłoki dla następujących wartości:

• Nazwa istniejącego konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosAccountName.
• Nazwa pierwszej grupy zasobów z zasobami o nazwie sourceResourceGroupName.
• Nazwa drugiej pustej grupy zasobów o nazwie targetResourceGroupName.
• Istniejący identyfikator URI punktu końcowego konta noSQL dla usługi Azure Cosmos DB o nazwie cosmosEndpoint
• Istniejący klucz podstawowy konta usługi Azure Cosmos DB for NoSQL o nazwie cosmosPrimaryKey

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create Za pomocą polecenia utwórz nową bazę danych z następującymi ustawieniami:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create Za pomocą polecenia utwórz nowy kontener z następującymi ustawieniami:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

Wdróż platformę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager dostępnego pod tym linkiem.

Na stronie Wdrożenie niestandardowe następujące parametry

Wybierz Przejrzyj + utwórz, a następnie Utwórz, aby wdrożyć szablon.

Poczekaj na zakończenie wdrożenia.

Użyj az deployment group create polecenia , aby wdrożyć strukturę testów porównawczych przy użyciu szablonu usługi Azure Resource Manager.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

Poczekaj na zakończenie wdrożenia.

Przejdź do istniejącego konta usługi Azure Storage w witrynie Azure Portal.

Przejdź do tabeli magazynu o nazwie ycsbbenchmarkingmetadata i znajdź element z kluczem partycji ycsb_sql.

Zwróć uwagę na JobStatus pole jednostki tabeli. Początkowo stan zadania to Started i zawiera znacznik czasu w właściwości JobStartTime, ale nie w właściwości JobFinishTime.

Poczekaj, aż zadanie będzie miało status Finished i zawierało znacznik czasu w właściwości JobFinishTime.

Przejdź do pojemnika magazynowego na tym samym koncie o prefiksie ycsbbenchmarking-*. Obserwuj dane wyjściowe i diagnostyczne blobów dla narzędzia.

Otwórz aggregation.csv blob i obserwuj zawartość. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

Wykonaj zapytanie dotyczące rekordu zadania w tabeli magazynu o nazwie ycsbbenchmarkingmetadata przy użyciu polecenia az storage entity query.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

Obserwuj wyniki tego zapytania. Wyniki powinny zwracać jedno zadanie z właściwościami JobStartTime, JobStatusi JobFinishTime . Początkowo stan zadania to Started, i zawiera znacznik czasu w JobStartTime właściwości, ale nie we właściwości JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

W razie potrzeby należy uruchomić az storage entity query wiele razy, aż zadanie osiągnie stan Finished i zawiera znacznik czasu we właściwości JobFinishTime.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

Znajdź nazwę ostatnio zmodyfikowanego kontenera magazynowego z prefiksem ycsbbenchmarking-*, używając az storage container list i zapytania JMESPath.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

Zapisz ciąg kontenera w zmiennej o nazwie storageConnectionString.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

Użyj polecenia [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query), aby wykonać zapytanie dotyczące wyników zadania w obiekcie blob magazynu przechowywanym w wcześniej zlokalizowanym kontenerze.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

Obserwuj wyniki tego zapytania. Teraz powinien istnieć zestaw danych CSV z zagregowanymi wynikami ze wszystkich klientów porównawczych.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867