Executar scripts U-SQL em seu computador local

Ao desenvolver scripts U-SQL, você pode economizar tempo e despesas executando os scripts localmente. As Ferramentas do Azure Data Lake para Visual Studio dão suporte à execução de scripts U-SQL em seu computador local.

Conceitos básicos para execuções locais

O gráfico a seguir mostra os componentes para execução local e como esses componentes são mapeados para a execução na nuvem.

As seções a seguir fornecem mais informações sobre componentes de execução local.

Pastas raiz de dados locais

Uma pasta raiz de dados local é um repositório local para a conta de computação local. Qualquer pasta no sistema de arquivos local em seu computador local pode ser uma pasta raiz de dados local. É o mesmo que a conta padrão do Azure Data Lake Store de uma conta do Data Lake Analytics. Alternar para uma pasta raiz de dados diferente é como alternar para uma conta de repositório padrão diferente.

A pasta raiz de dados é usada da seguinte maneira:

• Armazene metadados. Exemplos são bancos de dados, tabelas, funções com valor de tabela e assemblies.
• Pesquise os caminhos de entrada e saída definidos como caminhos relativos em scripts U-SQL. Usando caminhos relativos, é mais fácil implantar seus scripts U-SQL no Azure.

Mecanismos de execução locais do U-SQL

Um mecanismo de execução local U-SQL é uma conta de computação local para trabalhos U-SQL. Os usuários podem executar trabalhos U-SQL localmente por meio das Ferramentas do Azure Data Lake para Visual Studio. Também há suporte para execuções locais por meio das interfaces de programação e linha de comando do SDK do U-SQL do Azure Data Lake. Saiba mais sobre o SDK do U-SQL do Azure Data Lake.

Diretórios de trabalho

Quando você executa um script U-SQL, uma pasta de diretório de trabalho é necessária para armazenar em cache os resultados da compilação, executar logs e executar outras funções. No Azure Data Lake Tools para Visual Studio, o diretório de trabalho é o diretório de trabalho do projeto U-SQL. Ele está localizado em <U-SQL project root path>/bin/debug>. O diretório de trabalho é limpo sempre que uma nova execução é iniciada.

Execuções locais no Microsoft Visual Studio

As Ferramentas do Azure Data Lake para Visual Studio têm um mecanismo de execução local interno. As ferramentas exibem o mecanismo como uma conta de computação local. Para executar um script U-SQL localmente, selecione a conta Local-machine ou Local-project no menu suspenso na margem do editor de script. Em seguida, selecione Enviar.

Execuções locais com uma conta de computador local

Uma conta de computador local é uma conta de computação local compartilhada com uma única pasta raiz de dados local como a conta do repositório local. Por padrão, a pasta raiz de dados está localizada em C:\Users<username>\AppData\Local\USQLDataRoot. Ele também é configurável por meio de Ferramentas>Data Lake>Opções e Configurações.

Um projeto U-SQL é necessário para uma execução local. O diretório de trabalho do projeto U-SQL é usado para o diretório de trabalho de execução local do U-SQL. Os resultados da compilação, os logs de execução e outros arquivos relacionados à execução de trabalho são gerados e armazenados na pasta de diretório de trabalho durante a execução local. Toda vez que você executa o script novamente, todos os arquivos no diretório de trabalho são limpos e regenerados.

Execuções locais com uma conta de projeto local

Uma conta de projeto local é uma conta de computação local isolada pelo projeto para cada projeto com uma pasta raiz de dados local isolada. Cada projeto U-SQL ativo que é aberto no Gerenciador de Soluções no Visual Studio tem uma conta correspondente (Local-project: <project name>) . As contas são listadas no Gerenciador de Servidores no Visual Studio e na margem do editor de script U-SQL.

A conta Local-project fornece um ambiente de desenvolvimento limpo e isolado. Uma conta de computador local tem uma pasta raiz de dados local compartilhada que armazena metadados e dados de entrada e saída para todos os trabalhos locais. Mas uma conta de projeto local cria uma pasta raiz de dados local temporária em um diretório de trabalho do projeto U-SQL sempre que um script U-SQL é executado. Essa pasta raiz de dados temporários é limpa quando ocorre uma recompilação ou nova execução.

Um projeto U-SQL gerencia o ambiente de execução local isolado por meio de uma referência e propriedade do projeto. Você pode configurar as fontes de dados de entrada para scripts U-SQL no projeto e nos ambientes de banco de dados referenciados.

Gerenciar a fonte de dados de entrada para uma conta de projeto local

Um projeto U-SQL cria uma pasta raiz de dados local e configura dados para uma conta de projeto local . Uma pasta raiz de dados temporária é limpa e recriada no diretório de trabalho do projeto U-SQL sempre que ocorre uma recompilação e execução local. Todas as fontes de dados configuradas pelo projeto U-SQL são copiadas para essa pasta raiz de dados local temporária antes da execução do trabalho local.

Você pode configurar a pasta raiz de suas fontes de dados. Clique com o botão direito do mouse no projeto U-SQL em Propriedade e Fonte de Dados de Teste. Quando você executa um script U-SQL em uma conta de projeto local , todos os arquivos e subpastas na pasta Fonte de Dados de Teste são copiados para a pasta raiz de dados local temporária. Os arquivos em subpastas estão incluídos. Depois que um trabalho local é executado, os resultados de saída também podem ser encontrados na pasta raiz de dados local temporária no diretório de trabalho do projeto. Toda essa saída é excluída e limpa quando o projeto é recriado e limpo.

Gerenciar um ambiente de banco de dados referenciado para uma conta de projeto local

Se uma consulta U-SQL usa ou consulta com objetos de banco de dados U-SQL, você deve preparar os ambientes de banco de dados localmente antes de executar o script U-SQL localmente. Para uma conta de projeto local , as dependências do banco de dados U-SQL podem ser gerenciadas por referências de projeto U-SQL. Você pode adicionar referências de projeto de banco de dados U-SQL ao seu projeto U-SQL. Antes de executar scripts U-SQL em uma conta de projeto local , todos os bancos de dados referenciados são implantados na pasta raiz de dados local temporária. E para cada execução, a pasta raiz de dados temporários é limpa para criar um novo ambiente isolado.

Consulte este artigo relacionado:

• Saiba como gerenciar definições e referências de banco de dados U-SQL em projetos de banco de dados U-SQL.

A diferença entre as contas local-machine e local-project

Uma conta de computador local simula uma conta do Azure Data Lake Analytics nos computadores locais dos usuários. Ele compartilha a mesma experiência com uma conta do Azure Data Lake Analytics. Uma conta de projeto local fornece um ambiente de desenvolvimento local amigável. Esse ambiente ajuda os usuários a implantar referências de banco de dados e dados de entrada antes de executarem scripts localmente. Uma conta de computador local fornece um ambiente permanente compartilhado que pode ser acessado por todos os projetos. Uma conta de projeto local fornece um ambiente de desenvolvimento isolado para cada projeto. Ele é atualizado para cada execução. Uma conta de projeto local oferece uma experiência de desenvolvimento mais rápida aplicando rapidamente novas alterações.

Mais diferenças entre as contas local-machine e local-project são mostradas na tabela a seguir:

Uma execução local com o SDK do U-SQL

Você pode executar scripts U-SQL localmente no Visual Studio e também usar o SDK do U-SQL do Azure Data Lake para executar scripts U-SQL localmente com interfaces de linha de comando e programação. Por meio dessas interfaces, você pode automatizar execuções e testes locais do U-SQL.

Saiba mais sobre o SDK do U-SQL do Azure Data Lake.

Próximas etapas

• Como configurar um pipeline de CI/CD para o Azure Data Lake Analytics.
• Como testar o código do Azure Data Lake Analytics.