Executar scripts U-SQL em sua máquina local

Ao desenvolver scripts U-SQL, você pode economizar tempo e despesas executando os scripts localmente. O Azure Data Lake Tools for Visual Studio dá suporte à execução de scripts U-SQL em sua máquina local.

Conceitos básicos para execuções locais

O gráfico a seguir mostra os componentes para execução local e como esses componentes são mapeados para a execução na nuvem.

As seções a seguir fornecem mais informações sobre componentes de execução local.

Pastas raiz de dados locais

Uma pasta raiz de dados local é um armazenamento local para a conta de computação local. Qualquer pasta no sistema de arquivos local em sua máquina local pode ser uma pasta raiz de dados local. É o mesmo que a conta padrão do Repositório Azure Data Lake de uma conta do Data Lake Analytics. Mudar para uma pasta raiz de dados diferente é como mudar para uma conta de armazenamento padrão diferente.

A pasta raiz de dados é usada da seguinte maneira:

• Armazenar metadados. Exemplos são bancos de dados, tabelas, funções com valor de tabela e assemblies.
• Procure os caminhos de entrada e saída que são definidos como caminhos relativos em scripts U-SQL. Usando caminhos relativos, é mais fácil implantar seus scripts U-SQL no Azure.

Mecanismos de execução local U-SQL

Um motor de execução local U-SQL é uma conta de computação local para tarefas U-SQL. Os usuários podem executar trabalhos U-SQL localmente por meio do Azure Data Lake Tools for Visual Studio. As execuções locais também são suportadas por meio da linha de comando e das interfaces de programação do SDK do Azure Data Lake U-SQL. Saiba mais sobre o SDK U-SQL do Azure Data Lake.

Diretórios de trabalho

Quando você executa um script U-SQL, uma pasta de diretório de trabalho é necessária para armazenar em cache os resultados da compilação, executar logs e executar outras funções. No Azure Data Lake Tools for Visual Studio, o diretório de trabalho é o diretório de trabalho do projeto U-SQL. Está localizado debaixo de <U-SQL project root path>/bin/debug>. O diretório de trabalho é limpo sempre que uma nova execução é acionada.

Local é executado no Microsoft Visual Studio

As Ferramentas Azure Data Lake para Visual Studio têm um mecanismo de execução local interno. As ferramentas apresentam o mecanismo como uma conta de computação local. Para executar um script U-SQL localmente, selecione a opção Local-machine ou Local-project no menu suspenso de margens do editor de script. Em seguida, selecione Enviar.

Execuções locais com uma conta de máquina local

Uma conta de máquina local é uma conta de computação local compartilhada com uma única pasta raiz de dados local como a conta de armazenamento local. Por padrão, a pasta raiz de dados está localizada em C:\Users<username>\AppData\Local\USQLDataRoot. Também é configurável através de Ferramentas>Data Lake>Opções e Configurações.

Um projeto U-SQL é necessário para uma execução local. O diretório de trabalho do projeto U-SQL é usado para o diretório de trabalho de execução local do U-SQL. Os resultados da compilação, os logs de execução e outros arquivos relacionados à execução do trabalho são gerados e armazenados na pasta do diretório de trabalho durante a execução local. Toda vez que você executa novamente o script, todos os arquivos no diretório de trabalho são limpos e regenerados.

Local é executado com uma conta de projeto local

Uma conta de projeto local é uma conta de computação local isolada do projeto para cada projeto com uma pasta raiz de dados local isolada. Cada projeto U-SQL ativo que é aberto no Gerenciador de Soluções no Visual Studio tem uma conta correspondente (Local-project: <project name>) . As contas são listadas no Gerenciador de Servidores no Visual Studio e na margem do editor de scripts U-SQL.

A conta Local-project fornece um ambiente de desenvolvimento limpo e isolado. Uma conta de máquina local tem uma pasta raiz de dados local compartilhada que armazena metadados e dados de entrada e saída para todos os trabalhos locais. Mas uma conta de projeto local cria uma pasta raiz de dados local temporária em um diretório de trabalho de projeto U-SQL toda vez que um script U-SQL é executado. Esta pasta raiz de dados temporária é limpa quando ocorre uma reconstrução ou reexecução.

Um projeto U-SQL gerencia o ambiente de execução local isolado por meio de uma referência de projeto e propriedade. Você pode configurar as fontes de dados de entrada para scripts U-SQL no projeto e nos ambientes de banco de dados referenciados.

Gerenciar a fonte de dados de entrada para uma conta de projeto local

Um projeto U-SQL cria uma pasta raiz de dados local e configura dados para uma conta de projeto local . Uma pasta raiz de dados temporária é limpa e recriada no diretório de trabalho do projeto U-SQL sempre que uma reconstrução e execução local acontecem. Todas as fontes de dados configuradas pelo projeto U-SQL são copiadas para essa pasta raiz de dados local temporária antes que o trabalho local seja executado.

Você pode configurar a pasta raiz de suas fontes de dados. Clique com o botão direito do rato no projeto> U-SQL dePropriedade>Fonte de Dados de Teste. Quando você executa um script U-SQL em uma conta de projeto local , todos os arquivos e subpastas na pasta Fonte de dados de teste são copiados para a pasta raiz de dados local temporária. Arquivos em subpastas estão incluídos. Depois que um trabalho local é executado, os resultados de saída também podem ser encontrados na pasta raiz de dados local temporária no diretório de trabalho do projeto. Todos os dados de saída são eliminados e limpos quando o projeto é reconstruído e limpo.

Gerenciar um ambiente de banco de dados referenciado para uma conta de projeto local

Se uma consulta U-SQL usa ou consulta com objetos de banco de dados U-SQL, você deve preparar os ambientes de banco de dados localmente antes de executar o script U-SQL localmente. Para uma conta de projeto Local , as dependências do banco de dados U-SQL podem ser gerenciadas por referências de projeto U-SQL. Você pode adicionar referências de projeto de banco de dados U-SQL ao seu projeto U-SQL. Antes de executar scripts U-SQL em uma conta de projeto local , todos os bancos de dados referenciados são implantados na pasta raiz de dados local temporária. E para cada execução, a pasta raiz de dados temporária é limpa como um novo ambiente isolado.

Veja este artigo relacionado:

• Saiba como gerenciar definições e referências de banco de dados U-SQL em projetos de banco de dados U-SQL.

A diferença entre contas Local-machine e Local-project

Uma conta de máquina local simula uma conta do Azure Data Lake Analytics nas máquinas locais dos usuários. Ele compartilha a mesma experiência com uma conta do Azure Data Lake Analytics. Uma conta de projeto local fornece um ambiente de desenvolvimento local amigável. Esse ambiente ajuda os usuários a implantar referências de banco de dados e dados de entrada antes de executarem scripts localmente. Uma conta de máquina local fornece um ambiente permanente compartilhado que pode ser acessado através de todos os projetos. Uma conta de projeto local fornece um ambiente de desenvolvimento isolado para cada projeto. É atualizado para cada corrida. Uma conta de projeto local oferece uma experiência de desenvolvimento mais rápida aplicando rapidamente novas alterações.

Mais diferenças entre as contas Local-machine e Local-project são mostradas na tabela a seguir:

Uma execução local com o SDK do U-SQL

Você pode executar scripts U-SQL localmente no Visual Studio e também usar o SDK U-SQL do Azure Data Lake para executar scripts U-SQL localmente com interfaces de linha de comando e programação. Por meio dessas interfaces, você pode automatizar execuções e testes locais do U-SQL.

Saiba mais sobre o SDK U-SQL do Azure Data Lake.

Próximos passos

• Como configurar um pipeline de CI/CD para o Azure Data Lake Analytics.
• Como testar seu código do Azure Data Lake Analytics.