HTCondor

Funkcję HTCondor można włączyć w klastrze CycleCloud, modyfikując run_list sekcję konfiguracji definicji klastra. Klaster HTCondor składa się z trzech podstawowych składników. Pierwszy to centralny menedżer, który zapewnia demony planowania i zarządzania. Drugi składnik jest co najmniej jednym harmonogramem, z którego zadania są przesyłane do systemu. Ostatnim składnikiem jest jeden lub więcej węzłów wykonywania, które są hostami, które wykonują obliczenia. Prosty szablon HTCondor może wyglądać następująco:

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

Podczas importowania i uruchamiania klastra z tą definicją w usłudze CycleCloud uzyskujesz menedżera i węzeł harmonogramu oraz jeden węzeł wykonywania . Węzły wykonywania można dodać do klastra cyclecloud add_node przy użyciu polecenia . Aby dodać 10 kolejnych węzłów uruchamiania, użyj następującego polecenia:

cyclecloud add_node htcondor -t execute -c 10

HTCondor Autoskalowanie

Usługa CycleCloud obsługuje skalowanie automatyczne dla HTCondor. Oprogramowanie monitoruje stan kolejki i włącza i wyłącza węzły zgodnie z potrzebami, aby ukończyć pracę w optymalnym czasie i kosztach. Aby włączyć skalowanie automatyczne dla funkcji HTCondor, dodaj Autoscale=true do definicji klastra:

[cluster htcondor]
Autoscale = True

HTCondor Zaawansowane Użytkowanie

Jeśli znasz średni czas działania zadań, zdefiniuj average_runtime (w minutach) w swoim zadaniu. Usługa CycleCloud używa tej wartości do uruchomienia minimalnej liczby węzłów. Jeśli na przykład zostaną przesłane pięć 10-minutowych zadań i average_runtime zostanie ustawionych na 10, usługa CycleCloud uruchamia tylko jeden węzeł zamiast pięciu.

Automatyczne skalowanie tablicy węzłów

Domyślnie HTCondor żąda rdzeni z tablicy węzłów o nazwie execute. Jeśli zadanie wymaga innego węzła (na przykład jeśli niektóre zadania w przepływie pracy mają wysokie wymaganie dotyczące pamięci), określ slot_type atrybut zadania. Na przykład dodanie +slot_type = "highmemory" powoduje, że HTCondor zażąda węzła z highmemory węzłaarray zamiast execute (to ustawienie wymaga htcondor.slot_type = "highmemory" obecnie ustawienia należy ustawić w sekcji nodearray [[[configuration]]] ). To ustawienie nie wpływa na sposób, w jaki HTCondor planuje zadania, więc możesz uwzględnić atrybut startd slot_type w wyrażeniach requirements lub rank zadania. Na przykład: Requirements = target.slot_type = "highmemory".

Przesyłanie zadań do HTCondor

Najbardziej ogólnym sposobem przesyłania zadań do harmonogramu HTCondor jest polecenie (uruchamiane z węzła harmonogramu):

condor_submit my_job.submit

Przykładowy plik do przesłania może wyglądać tak:

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

Dokumentacja konfiguracji HTCondor

Następujące opcje konfiguracji specyficzne dla funkcji HTCondor dostosowują funkcjonalność:

Automatycznie wygenerowany plik konfiguracyjny HTCondor

HTCondor ma dużą liczbę ustawień konfiguracji, w tym atrybutów zdefiniowanych przez użytkownika. Usługa CycleCloud oferuje możliwość utworzenia niestandardowego pliku konfiguracyjnego przy użyciu atrybutów zdefiniowanych w klastrze:

Usługa CycleCloud obsługuje standardowy zestaw atrybutów automatycznego zatrzymania w różnych harmonogramach.