HTCondor

클러스터 정의의 구성 섹션에서 수정하여 CycleCloud 클러스터에서 HTCondor 를 run_list 사용하도록 설정할 수 있습니다. HTCondor 클러스터에는 세 가지 기본 구성 요소가 있습니다. 첫 번째는 예약 및 관리 디먼을 제공하는 중앙 관리자입니다. 두 번째 구성 요소는 작업이 시스템에 제출되는 하나 이상의 스케줄러입니다. 최종 구성 요소는 계산을 수행하는 호스트인 하나 이상의 실행 노드입니다. 간단한 HTCondor 템플릿은 다음과 같습니다.

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

CycleCloud에서 이 정의를 사용하여 클러스터를 가져오고 시작하면 관리자 및 스케줄러 노드와 하나의 실행 노드가 생성됩니다. 명령을 사용하여 cyclecloud add_node 노드를 클러스터에 추가할 수 있습니다. 10개의 실행 노드를 더 추가하려면 다음 명령을 사용합니다.

cyclecloud add_node htcondor -t execute -c 10

HTCondor 자동 크기 조정

CycleCloud는 HTCondor에 대한 자동 크기 조정을 지원합니다. 소프트웨어는 큐의 상태를 모니터링하고 필요에 따라 노드를 켜고 꺼서 최적의 시간과 비용으로 작업을 완료합니다. HTCondor에 자동 크기 조정을 사용하도록 설정하려면 클러스터 정의에 추가 Autoscale=true 합니다.

[cluster htcondor]
Autoscale = True

HTCondor 고급 사용

작업의 평균 실행 시간을 알고 있다면, 작업에서 average_runtime을(를) 분 단위로 정의하세요. CycleCloud는 이 값을 사용하여 최소 노드 수를 시작합니다. 예를 들어 5개의 10분 작업이 제출되고 average_runtime 10으로 설정된 경우 CycleCloud는 5개가 아닌 하나의 노드만 시작합니다.

Nodearray 자동 크기 조정

기본적으로 HTCondor는 execute라는 nodearray에서 코어를 요청합니다. 작업에 다른 nodearray가 필요한 경우(예: 워크플로 내의 특정 작업에 높은 메모리 요구 사항이 있는 경우) 작업에 대한 특성을 지정 slot_type 합니다. 예를 들어 +slot_type = "highmemory"를 추가하면 HTCondor가 highmemory 대신 execute nodearray에서 노드를 요청합니다(이 설정은 현재 nodearray의 htcondor.slot_type = "highmemory" 섹션에 [[[configuration]]]가 설정되어 있어야 합니다). 이 설정은 HTCondor가 작업을 예약하는 방식에 영향을 주지 않으므로 작업의 slot_type 또는 requirements 식에 rank startd 속성을 포함할 수 있습니다. 예: Requirements = target.slot_type = "highmemory".

HTCondor에 작업 제출

HTCondor 스케줄러에 작업을 제출하는 가장 일반적인 방법은 명령(스케줄러 노드에서 실행)입니다.

condor_submit my_job.submit

샘플 제출 파일은 다음과 같을 수 있습니다.

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

HTCondor 구성 참조

다음 HTCondor 관련 구성 옵션은 기능을 사용자 지정합니다.

HTCondor 자동 생성 구성 파일

HTCondor에는 사용자 정의 특성을 포함하여 많은 수의 구성 설정이 있습니다. CycleCloud는 클러스터에 정의된 특성을 사용하여 사용자 지정 구성 파일을 만드는 기능을 제공합니다.

CycleCloud는 스케줄러에서 표준 자동 중지 특성 집합을 지원합니다.