HTCondor

Você pode habilitar o HTCondor num cluster CycleCloud modificando a seção de configuração run_list da sua definição de cluster. Existem três componentes básicos de um cluster HTCondor. O primeiro é o gerente central, que fornece os daemons de agendamento e gerenciamento. O segundo componente é um ou mais agendadores, a partir dos quais os trabalhos são enviados para o sistema. O componente final é constituído por um ou mais nós de execução, que são os hosts responsáveis por executar o cálculo. Um template HTCondor simples pode assemelhar-se a:

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

Ao importar e iniciar um cluster com esta definição no CycleCloud, obtém um gestor, um nó agendador e um nó de execução. Você pode adicionar nós de execução ao cluster usando o cyclecloud add_node comando. Para adicionar mais 10 nós de execução , use o seguinte comando:

cyclecloud add_node htcondor -t execute -c 10

Dimensionamento automático HTCondor

O CycleCloud suporta dimensionamento automático para HTCondor. O software monitora o estado da sua fila e ativa e desativa os nós conforme necessário para concluir o trabalho em tempo e custo ótimos. Para habilitar o dimensionamento automático para HTCondor, adicione Autoscale=true à sua definição de cluster:

[cluster htcondor]
Autoscale = True

Uso Avançado do HTCondor

Se você sabe o tempo médio de execução dos trabalhos, defina average_runtime (em minutos) em seu trabalho. O CycleCloud usa esse valor para iniciar o número mínimo de nós. Por exemplo, se cinco trabalhos de 10 minutos forem enviados e average_runtime for definido como 10, o CycleCloud iniciará apenas um nó em vez de cinco.

Nodearray de dimensionamento automático

Por padrão, o HTCondor solicita núcleos da matriz de nós chamada execute. Se um trabalho exigir um nodearray diferente (por exemplo, se determinados trabalhos dentro de um fluxo de trabalho tiverem um alto requisito de memória), especifique um slot_type atributo para o trabalho. Por exemplo, adicionar +slot_type = "highmemory" faz com que o HTCondor solicite um nó da matriz de nós highmemory em vez de execute (essa configuração atualmente requer que htcondor.slot_type = "highmemory" seja definida na seção [[[configuration]]] da matriz de nós). Essa configuração não afeta como o HTCondor agenda as tarefas, portanto, convém incluir o atributo slot_type startd nas expressões requirements ou rank da tarefa. Por exemplo: Requirements = target.slot_type = "highmemory".

Submeter Trabalhos para o HTCondor

A maneira mais genérica de submeter tarefas a um agendador HTCondor é o comando (executado a partir de um nó de agendador):

condor_submit my_job.submit

Um exemplo de ficheiro de submissão pode ser assim:

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

Referência de Configuração do HTCondor

As seguintes opções de configuração específicas do HTCondor personalizam a funcionalidade:

Ficheiro de Configuração de Geração Automática do HTCondor

HTCondor tem um grande número de definições de configuração, incluindo atributos definidos pelo usuário. CycleCloud oferece a capacidade de criar um ficheiro de configuração personalizado usando atributos definidos no cluster.

O CycleCloud suporta um conjunto padrão de atributos de parada automática entre agendadores: