Configurar um laboratório para análise de Big Data no Azure Lab Services usando a implantação do Docker da plataforma de dados HortonWorks

Este artigo mostra como configurar um laboratório para dar uma aula sobre análise de Big Data. Uma aula de análise de Big Data ensina os usuários a lidar com grandes volumes de dados. Ela também ensina a aplicar algoritmos de aprendizado de máquina e estatística para derivar insights de dados. Um dos principais objetivos é aprender a usar ferramentas de análise de dados, como o pacote de software livre do Apache Hadoop. O pacote de software fornece ferramentas para armazenar, gerenciar e processar Big Data.

Neste laboratório, os usuários do laboratório trabalham com uma versão comercial popular do Hadoop fornecida pelo Cloudera, chamada HdP (Hortonworks Data Platform). Especificamente, os usuários do laboratório usam o HDP Sandbox 3.0.1 que é uma versão simplificada e fácil de usar da plataforma. O HDP Sandbox 3.0.1 também é gratuito e destinado ao aprendizado e a experimentos. Embora essa aula possa usar VMS (máquinas virtuais) do Windows ou Linux com o HDP Sandbox implantado. Este artigo mostra como usar o Windows.

Outro aspecto interessante é que você implanta o HDP Sandbox nas VMs de laboratório usando contêineres do Docker. Cada contêiner do Docker fornece seu próprio ambiente isolado para que os aplicativos de software sejam executados internamente. Conceitualmente, os contêineres do Docker são como VMs aninhadas e podem ser usados para implantar e executar facilmente uma ampla variedade de aplicativos de software com base em imagens de contêiner fornecidas no Hub do Docker. O script de implantação do Cloudera para o HDP Sandbox automaticamente extrai a imagem do Docker HDP Sandbox 3.0.1 do Docker Hub e executa dois contêineres Docker:

• sandbox-hdp
• sandbox-proxy

Pré-requisitos

Para configurar este laboratório, você precisa de acesso a uma assinatura do Azure. Discuta com o administrador da sua organização para ver se você pode obter acesso a uma assinatura do Azure existente. Se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.

Configuração do laboratório

Configurações do plano de laboratório

Depois de ter uma assinatura do Azure, você poderá criar um plano de laboratório no Azure Lab Services. Para obter mais informações sobre como criar um novo plano de laboratório, consulte Início Rápido: Configurar recursos para criar laboratórios. Você também pode usar um plano de laboratório existente.

Este laboratório usa imagens do Azure Marketplace do Windows 10 Pro como a imagem base da VM. Inicialmente, habilite esta imagem em seu plano de laboratório. Isso permite que os criadores de laboratório selecionem a imagem como uma imagem base para o laboratório.

Siga estas etapas para habilitar essas imagens do Azure Marketplace disponíveis para criadores de laboratório. Selecione uma das imagens do Azure Marketplace do Windows 10 .

Configurações do laboratório

Crie um laboratório para seu plano de laboratório. Para obter instruções sobre como criar um laboratório, consulte Tutorial: Configurar um laboratório. Use as seguintes configurações ao criar o laboratório.

Configuração de computador modelo

Para configurar o computador modelo:

1. Instalar o Docker
2. Implantar a área restrita da HDP
3. Usar o PowerShell e o Agendador de Tarefas do Windows para iniciar automaticamente os contêineres do Docker

Instalar o Docker

As etapas nesta seção são baseadas nas instruções do Cloudera para implantação com contêineres do Docker.

Para usar contêineres do Docker, primeiro você deve instalar o Docker Desktop na VM do modelo:

1. Siga as etapas na seção Pré-requisitos para instalar o Docker para Windows.

   Importante

   Verifique se a opção Usar contêineres do Windows em vez da opção de configuração de contêineres do Linux é deixada desmarcada .

2. Verifique se os contêineres do Windows e os recursos de Hyper-V estão ativados.

   

3. Siga as etapas na seção Memória do Windows para configurar a configuração de memória do Docker.

   Aviso

   Se você verificar inadvertidamente a opção Usar contêineres do Windows em vez da opção de contêineres do Linux ao instalar o Docker, não verá as configurações de memória. Para corrigir isso, você pode alternar para o uso de contêineres do Linux clicando no ícone do Docker na bandeja do Sistema do Windows; quando o menu da Área de Trabalho do Docker for aberto, selecione Alternar para contêineres do Linux.

Implantar a área restrita da HDP

Em seguida, implante a área restrita da HDP e acesse o HDP Sandbox usando o navegador.

1. Verifique se você instalou o Git Bash conforme listado na seção Pré-requisitos do guia. Recomenda-se concluir as próximas etapas.

2. Usando o Guia de Implantação e Instalação do Cloudera para Docker, conclua as etapas nas seguintes seções:

   • Implantar a área restrita da HDP
   • Verificar a área restrita da HDP

   Aviso

   Ao baixar o arquivo de .zip mais recente para HDP, certifique-se de não salvar o arquivo .zip em um caminho de diretório que inclua espaço em branco.

   Observação

   Se você receber uma exceção durante a implantação informando que a Unidade não foi compartilhada, você precisará compartilhar sua unidade C com o Docker para que os contêineres linux do HDP possam acessar arquivos locais do Windows. Para corrigir isso, clique no ícone do Docker na bandeja do Sistema do Windows para abrir o menu Área de Trabalho do Docker e selecione Configurações. Quando a caixa de diálogo Configurações do Docker for aberta, selecione Recursos > Compartilhamento de Arquivos e verifique a unidade C. Em seguida, você pode repetir as etapas para desenvolver o Sandbox HDP.

3. Quando os contêineres do Docker para o HDP Sandbox são implantados e estão sendo executados, você consegue acessar o ambiente inicializando seu navegador. Siga as instruções da Cloudera para abrir a Página de Boas-Vindas do Sandbox e lançar o Painel do HDP.

   Observação

   Essas instruções consideram que você primeiro mapeou o endereço IP local do ambiente sandbox para sandbox-hdp.hortonworks.com no arquivo hosts na sua VM de modelo. Se você não fizer esse mapeamento, poderá acessar a página de Boas-vindas do Sandbox navegando até http://localhost:8080.

Iniciar automaticamente os contêineres do Docker quando os usuários do laboratório entrarem

Para fornecer uma experiência fácil de usar para usuários do laboratório, crie um script do PowerShell que automaticamente:

1. Inicia os contêineres do Docker do sandbox HDP quando um usuário inicia e se conecta à sua VM do laboratório.
2. Inicia o navegador e navega para a página de boas-vindas do Sandbox.

Use o Agendador de Tarefas do Windows para executar esse script automaticamente quando um usuário do laboratório fizer logon em sua VM. Para configurar um Agendador de Tarefas, siga estas etapas: scripts da Análise de Big Data.

Conclusão

Este artigo descreveu as etapas necessárias para criar um laboratório para uma aula sobre análise de Big Data. A aula de análise de Big Data usa a Hortonworks Data Platform implantada com Docker. A configuração para esse tipo de aula pode ser usada para aulas sobre análises de dados semelhantes. Essa configuração também pode ser aplicável a outros tipos de aulas que usam o Docker para implantação.

Próximas etapas

A imagem de modelo agora pode ser publicada no laboratório. Para obter mais informações, consulte Publicar a VM do modelo.

Ao configurar o laboratório, consulte os seguintes artigos:

• Definir cota
• Definir um agendamento
• Adicionar usuários
• Links de registro de email para alunos