HTCondor

Você pode habilitar o HTCondor em um cluster do CycleCloud modificando a run_list na seção de configuração da definição do cluster. Há três componentes básicos de um cluster do HTCondor. O primeiro é o gerenciador central, que fornece os daemons de agendamento e gerenciamento. O segundo componente é um ou mais agendadores, dos quais os trabalhos são enviados para o sistema. O componente final é um ou mais nós de execução, que são os hosts que executam a computação. Um modelo HTCondor simples pode ter a seguinte aparência:

[cluster htcondor]

  [[node manager]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[central_manager]

  [[node scheduler]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A4 # 8 cores

      [[[configuration]]]
      run_list = role[condor_scheduler_role],role[filer_role],role[scheduler]

  [[nodearray execute]]
  ImageName = cycle.image.centos7
  MachineType = Standard_A1 # 1 core
  Count = 1

      [[[configuration]]]
      run_list = role[usc_execute]

Ao importar e iniciar um cluster com essa definição no CycleCloud, você obtém um nó gerenciador, um nó agendador e um nó de execução. Você pode adicionar nós de execução ao cluster usando o comando cyclecloud add_node. Para adicionar mais 10 nós de execução, use o seguinte comando:

cyclecloud add_node htcondor -t execute -c 10

Dimensionamento automático do HTCondor

O CycleCloud dá suporte ao dimensionamento automático para HTCondor. O software monitora o status da fila e ativa e desativa nós conforme necessário para concluir o trabalho no menor tempo e custo possíveis. Para habilitar o dimensionamento automático para HTCondor, adicione Autoscale=true à sua definição de cluster:

[cluster htcondor]
Autoscale = True

Uso avançado do HTCondor

Se você souber o tempo médio de execução dos trabalhos, defina average_runtime (em minutos) em seu trabalho. O CycleCloud usa esse valor para iniciar o número mínimo de nós. Por exemplo, se cinco trabalhos de 10 minutos forem enviados e average_runtime for definido como 10, o CycleCloud iniciará apenas um nó em vez de cinco.

Dimensionamento automático de matriz de nós

Por padrão, o HTCondor solicita núcleos do nodearray chamado execute. Se um trabalho exigir um nodearray diferente (por exemplo, se determinados trabalhos dentro de um fluxo de trabalho tiverem um alto requisito de memória), especifique um atributo slot_type para o trabalho. Por exemplo, adicionar +slot_type = "highmemory" faz com que o HTCondor solicite um nó do nodearray highmemory em vez de execute (essa configuração atualmente requer que htcondor.slot_type = "highmemory" ser definido na seção [[[configuration]]] do nodearray). Essa configuração não afeta como o HTCondor agenda os trabalhos, portanto, talvez você queira incluir o atributo slot_type iniciado nas expressões requirements ou rank do trabalho. Por exemplo: Requirements = target.slot_type = "highmemory".

Enviando trabalhos para o HTCondor

A maneira mais genérica de enviar trabalhos para um agendador HTCondor é o comando (executar de um nó do agendador):

condor_submit my_job.submit

Um arquivo de envio de exemplo pode ter esta aparência:

      Universe = vanilla
      Executable = do_science
      Arguments = -v --win-prize=true
      Output = log/$(Cluster).$(Process).out
      Error = log/$(Cluster).$(Process).err
      Should_transfer_files = if_needed
      When_to_transfer_output = On_exit
      +average_runtime = 10
      +slot_type = "highmemory"
      Queue

Referência de configuração do HTCondor

As seguintes opções de configuração específicas do HTCondor personalizam a funcionalidade:

Arquivo de configuração gerado automaticamente pelo HTCondor

O HTCondor tem um grande número de configurações, incluindo atributos definidos pelo usuário. O CycleCloud oferece a capacidade de criar um arquivo de configuração personalizado usando atributos definidos no cluster:

O CycleCloud oferece suporte a um conjunto padrão de atributos de parada automática entre os agendadores.