Compartilhar via

Solucionar problemas do Apache Oozie no Azure HDInsight

Com a interface do usuário do Apache Oozie, você pode exibir logs do Oozie. A IU do Oozie também contém links para os logs de JobTracker das tarefas de MapReduce que foram iniciadas pelo fluxo de trabalho. O padrão para solução de problemas deve ser:

  1. Exiba o trabalho na interface do usuário da Web do Oozie.

  2. Se houver um erro ou falha de uma ação específica, selecione a ação para ver se o campo Mensagem de Erro fornece mais informações sobre a falha.

  3. Se estiver disponível, use a URL da ação para exibir mais detalhes, como logs do JobTracker, sobre ela.

A seguir estão erros específicos que podem ser encontrados e como resolvê-los.

JA009: Não é possível inicializar o cluster

Problema

O status do trabalho é alterado para SUSPENSO. Os detalhes do trabalho mostram o status de RunHiveScript como START_MANUAL. Selecionar a ação exibirá a seguinte mensagem de erro:

JA009: Cannot initialize Cluster. Please check your configuration for map

Causa

Os endereços do Armazenamento de Blobs do Azure usados no arquivo job.xml não contêm o contêiner de armazenamento ou o nome da conta de armazenamento. O formato de endereço do armazenamento de blobs deve ser wasbs://containername@storageaccountname.blob.core.windows.net.

Resolução

Altere os endereços de armazenamento de blobs que o trabalho usa.

JA002: Oozie não tem permissão para representar <USER>

Problema

O status do trabalho é alterado para SUSPENSO. Os detalhes do trabalho mostram o status de RunHiveScript como START_MANUAL. Se você selecionar a ação, a seguinte mensagem de erro será exibida:

JA002: User: oozie is not allowed to impersonate <USER>

Causa

As configurações de permissão atuais não permitem ao Oozie representar a conta de usuário especificada.

Resolução

O Oozie pode representar os usuários no grupo users. Use o groups USERNAME para ver os grupos do qual a conta de usuário é membro. Se o usuário não for membro do grupo users, use o seguinte comando para adicionar o usuário ao grupo:

sudo adduser USERNAME users

Observação

Pode levar vários minutos antes de o HDInsight reconhecer que o usuário foi adicionado ao grupo.

ERRO do Iniciador (Sqoop)

Problema

O status do trabalho é alterado para ENCERRADO. Os detalhes do trabalho mostram o status RunSqoopExport como ERRO. Se você selecionar a ação, a seguinte mensagem de erro será exibida:

Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

Causa

O Sqoop não conseguiu carregar o driver do banco de dados necessário para acessar o banco de dados.

Resolução

Ao usar o Sqoop em um trabalho do Oozie, você deve incluir o driver de banco de dados com os outros recursos, como o workflow.xml, usados pelo trabalho. Além disso, referencie o arquivo morto que contém o driver de banco de dados na seção <sqoop>...</sqoop> do workflow.xml.

Por exemplo, para o exemplo de trabalho de Usar fluxos de trabalho do Hadoop no Oozie, você usaria as seguintes etapas:

  1. Copie o arquivo mssql-jdbc-7.0.0.jre8.jar para o diretório /tutorials/useoozie:

    hdfs dfs -put /usr/share/java/sqljdbc_7.0/enu/mssql-jdbc-7.0.0.jre8.jar /tutorials/useoozie/mssql-jdbc-7.0.0.jre8.jar

  2. Modifique o workflow.xml para adicionar o seguinte XML a uma nova linha acima </sqoop>:

    <archive>mssql-jdbc-7.0.0.jre8.jar</archive>

Interface do usuário do Oozie – Direitos de acesso do usuário padrão

Problema

Para os clusters Oozie do HDInsight criados, por padrão, os usuários teriam acesso de leitura a todos os trabalhos, gravariam acesso a seus próprios trabalhos e podem gravar em trabalhos com base em ACLs. Os usuários administradores têm permissões mais amplas, incluindo permissão de escrita para todos os trabalhos e operações. Nos clusters do Oozie, se a configuração de segurança estiver desabilitada, todos os usuários serão tratados como administradores e os clusters Oozie do HDInsight terão a configuração de segurança desabilitada por padrão.

Causa

Se a segurança estiver desabilitada, todos os usuários serão tratados como usuários administradores, o que é um comportamento padrão no Oozie e não específico à plataforma HDInsight. Referência à mesma disponível na seguinte página do Oozie – Oozie – Documento Público de Autenticação de Usuário

Resolução

Os usuários administradores podem ser definidos por meio de uma propriedade específica. As ACLs são definidas durante o envio do trabalho e podem incluir nomes de usuário e grupos. O sistema verifica se o usuário pertence aos grupos necessários para executar ações.

Defina essa propriedade oozie.service.AuthorizationService.security.enabled=true no ambari

Interface do usuário do Ambari –> Serviços –> Oozie –> Configurações – > Avançado –> Pesquisar e Definir como True –> Reiniciar Todos os Afetados

Os usuários administradores são determinados na lista de grupos de administradores, especificada na propriedade oozie.service.AuthorizationService.admin.groups. Use vírgulas para separar vários grupos; espaços, tabs e caracteres ENTER são removidos.

Próximas etapas

Se você não encontrou seu problema ou não conseguiu resolver seu problema, visite um dos seguintes canais para obter mais suporte:

  • Obtenha respostas de especialistas do Azure por meio do Suporte da Comunidade do Azure.

  • Conecte-se com @AzureSupport – a conta oficial do Microsoft Azure para aprimorar a experiência do cliente. Como se conectar à comunidade do Azure para os recursos certos: respostas, suporte e especialistas.

  • Se precisar de mais ajuda, poderá enviar uma solicitação de suporte do portal do Azure. Selecione Suporte na barra de menus ou abra o hub Ajuda + suporte. Para obter informações mais detalhadas, consulte Como criar uma solicitação de Suporte do Azure. O acesso ao Gerenciamento de assinaturas e ao suporte de cobrança está incluído na sua assinatura do Microsoft Azure, e o suporte técnico é fornecido por meio de um dos Planos de suporte do Azure.

Desativação do Oozie WebUI e opções de linha de comando como alternativa

Problema

O Apache Oozie foi descontinuado desde fevereiro de 2025, consulte o link. Há vulnerabilidades conhecidas relacionadas ao Oozie WebUI.

Causa

Para desabilitar o WebUI do Oozie, siga as etapas abaixo:

  1. Interrompa os serviços do Oozie no portal do Ambari.

  2. Edite /var/lib/ambari-server/resources/stacks/HDInsight/<version>/services/OOZIE/quicklinks/quicklinks.json e remova o valor do <url> parâmetro e substitua por "".

Antes:

  "name": "default",
  "description": "default quick links configuration",
  "configuration": {
    "links": [
  .....
        "url":"%@://%@:%@/oozie?user.name=%@",
  .....

Depois:

  "name": "default",
  "description": "default quick links configuration",
  "configuration": {
    "links": [
  .....
        "url":"",
  .....
  1. Reiniciar serviços do Ambari
sudo ambari-services restart
  1. Iniciar serviços do Oozie no Ambari

Solução alternativa

Use as opções de linha de comando do Oozie, consulte o link.

  • Last updated on