OpenPBS

您可以在 CycleCloud 叢集上啟用 OpenPBS ，方法是在叢集定義的組態區段中變更 run_list 。 PBS Professional （PBS Pro） 叢集有兩個主要部分： 主要 節點，它會在共用文件系統上執行軟體，以及 執行 節點，該節點會掛接該文件系統並執行提交的作業。 例如，簡單的叢集範本代碼段可能如下所示：

[cluster my-pbspro]

[[node master]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A4 # 8 cores

    [[[configuration]]]
    run_list = role[pbspro_master_role]

[[nodearray execute]]
    ImageName = cycle.image.centos7
    MachineType = Standard_A1  # 1 core

    [[[configuration]]]
    run_list = role[pbspro_execute_role]

當您在 CycleCloud 中匯入並啟動具有此定義的叢集時，您會取得單一 主要 節點。 您可以使用 命令，將cyclecloud add_node節點新增至叢集。 例如，若要新增10個更多 執行 節點，請使用：

cyclecloud add_node my-pbspro -t execute -c 10

PBS 資源型自動調整

CycleCloud 會維護兩個資源，以擴充動態布建功能。 這些資源是 nodearray 和 machinetype。

當您提交作業並指定節點陣列資源qsub -l nodearray=highmem -- /bin/hostname時，CycleCloud 會將節點新增到名為highmem的節點陣列中。 如果節點陣列不存在，作業會保持閑置狀態。

當您在作業提交中指定機器類型資源時 (例如 qsub -l machinetype:Standard_L32s_v2 my-job.sh)，CycleCloud 會自動調整 Standard_L32s_v2 (預設) 節點陣列中的 execute 機器。 如果節點陣列中 execute 沒有機器類型，作業會保持閑置狀態。

您可以將這些資源一體使用：

qsub -l nodes=8:ppn=16:nodearray=hpc:machinetype=Standard_HB60rs my-simulation.sh

只有在您在 Standard_HB60rs 節點陣列中指定 hpc 機器時，才會自動調整。

新增指派給節點陣列的額外佇列

在具有多個節點陣列的叢集上，建立個別的佇列，以自動將作業路由至適當的 VM 類型。 在此範例中，假設叢集範本中定義了下列 gpu 節點陣列：

    [[nodearray gpu]]
    Extends = execute
    MachineType = Standard_NC24rs

        [[[configuration]]]
        pbspro.slot_type = gpu

匯入叢集範本並啟動叢集之後，請在伺服器節點上執行下列命令來建立 gpu 佇列：

/opt/pbs/bin/qmgr -c "create queue gpu"
/opt/pbs/bin/qmgr -c "set queue gpu queue_type = Execution"
/opt/pbs/bin/qmgr -c "set queue gpu resources_default.ungrouped = false"
/opt/pbs/bin/qmgr -c "set queue gpu resources_default.place = scatter"
/opt/pbs/bin/qmgr -c "set queue gpu resources_default.slot_type = gpu"
/opt/pbs/bin/qmgr -c "set queue gpu default_chunk.ungrouped = false"
/opt/pbs/bin/qmgr -c "set queue gpu default_chunk.slot_type = gpu"
/opt/pbs/bin/qmgr -c "set queue gpu enabled = true"
/opt/pbs/bin/qmgr -c "set queue gpu started = true"

PBS Professional 設定參考

下表描述了您可以切換以自訂其功能的 PBS Professional（PBS Pro）的特定組態選項：

使用 CycleCloud 連線 PBS

CycleCloud 會透過稱為的可安裝代理程式來管理 azpbs 叢集。 此代理程式會連線到 CycleCloud 以讀取叢集和 VM 組態。 它也會與 OpenPBS 整合，以處理作業和主機資訊。 您可以在 azpbs 檔案中找到所有 autoscale.json 組態，通常位於 /opt/cycle/pbspro/autoscale.json。

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

重要檔案

代理 azpbs 程式在每次被呼叫時會剖析 PBS 組態，包含作業、佇列及資源。 代理程式會在命令的 stderr 和 stdout 中提供這項資訊，並且在可設定層級的記錄檔中也提供。 代理程式也會將所有 PBS 管理命令 （qcmd） 與自變數記錄到檔案。

您可以在安裝代理程式的 /opt/cycle/pbspro/ 目錄中找到所有這些檔案。

定義 OpenPBS 資源

此專案可讓您透過 cyclecloud-pbspro （azpbs） 專案，將 OpenPBS 資源與 Azure VM 資源產生關聯。 您可以在 中 autoscale.json定義此資源關聯性。 叢集範本包含下列預設資源：

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

名為 mem 的 OpenPBS 資源對應至名為 node.memory的節點屬性，代表任何虛擬機的總記憶體。 此組態允許 azpbs 通過將作業資源需求的值與節點資源進行比較，來處理像 -l mem=4gb 這樣的資源請求。

目前，磁碟大小設定為 size::20g。 以下是如何處理 VM 大小特定磁碟大小的範例：

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

自動調整和規模設定

CycleCloud 會以不同的方式處理 OpenPBS 叢集中的跨越和串行作業。 跨越工作會落在屬於相同放置群組的節點上。 放置群組具有特定平台，這表示具有 SinglePlacementGroup=true 的 VirtualMachineScaleSet 和 CycleCloud 會管理每個跨節點集的具名放置群組。 請使用 PBS 資源 group_id 作為此放置組的名稱。

hpc 佇列使用原生佇列預設值來附加 -l place=scatter:group=group_id 的對等值。

安裝 CycleCloud OpenPBS 代理程式 azpbs

OpenPBS CycleCloud 叢集會管理伺服器節點上代理程式的安裝和設定。 準備步驟包括設定 PBS 資源、佇列和鉤子。 您也可以在 CycleCloud 之外執行腳本式安裝。

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate