使用基准测试框架衡量 Azure Cosmos DB for NoSQL 性能

在 Azure 门户中导航到现有的 API for NoSQL 帐户。

在资源菜单中，选择“数据资源管理器”。

在“数据资源管理器”页上，选择命令栏中的“新建容器”选项。

在“新建容器”对话框中，使用以下设置创建新容器：

如果尚未登录，请使用 az login 命令登录到 Azure CLI。

为以下值创建 shell 变量:

• 名为 cosmosAccountName 的现有 Azure Cosmos DB for NoSQL 帐户的名称。
• 第一个资源组的名称，其中包含名为 sourceResourceGroupName 的资源。
• 名为 targetResourceGroupName 的第二个空资源组的名称。
• 名为 cosmosEndpoint 的现有 Azure Cosmos DB for NoSQL 帐户终结点 URI
• 名为 cosmosPrimaryKey 的现有 Azure Cosmos DB for NoSQL 帐户主键

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

使用 az cosmosdb sql database create 命令新建具有以下设置的数据库:

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

使用 az cosmosdb sql container create 命令新建具有以下设置的容器:

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

使用此链接中提供的 Azure 资源管理器模板部署基准测试框架。

在“自定义部署”页面，以下参数

依次选择“查看 + 创建”、“创建”以部署模版。

等待部署完成。

使用 az deployment group create 以使用 Azure 资源管理器模板部署基准测试框架。

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

等待部署完成。

在 Azure 门户 中导航到现有的 Azure 存储帐户。

导航到名为 ycsbbenchmarkingmetadata 的 存储表，并找到分区键为 ycsb_sql 的实体。

观察表实体的 JobStatus 字段。 最初，作业的状态为 Started，它在 JobStartTime 属性(非 JobFinishTime 属性)中包含时间戳。

等待作业的状态为 Finished，并在 JobFinishTime 属性中包含时间戳。

导航到同一帐户中前缀为 ycsbbenchmarking-*的存储容器。 观察该工具的输出和诊断 blob。

打开 aggregation.csv blob 并观察内容。 现在应该有一个 CSV 数据集，其中包含来自所有基准客户端的聚合结果。

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

使用 az storage entity query 查询名为 ycsbbenchmarkingmetadata 的存储表中的作业记录。

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

观察此查询的结果。 结果应返回具有 JobStartTime、JobStatus 和 JobFinishTime 属性的单个作业。 最初，作业的状态为 Started，它在 JobStartTime 属性(非 JobFinishTime 属性)中包含时间戳。

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

如有必要，请多次运行 az storage entity query，直到作业的状态为 Finished，并在 JobFinishTime 属性中包含时间戳。

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

使用 az storage container list 和 JMESPath 查询 查找最近修改的存储容器的名称(前缀为 ycsbbenchmarking-*)。

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

将容器字符串存储在名为 storageConnectionString 的变量中。

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

使用 [az storage blob query]/cli/azure/storage/blob#az-storage-blob-query)查询作业结果，该结果存储在之前定位的容器的存储 blob 中。

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

观察此查询的结果。 现在应该有一个 CSV 数据集，其中包含来自所有基准客户端的聚合结果。

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867