Qual é a definição de uma tarefa Apache Spark?

Uma definição de trabalho do Apache Spark é um item de código do Microsoft Fabric que permite submeter trabalhos em lote ou de streaming para clusters do Spark. Ao carregar os ficheiros binários a partir da compilação de diferentes linguagens (por exemplo, .jar de Java), pode aplicar diferentes lógicas de transformação aos dados alojados numa casa de lago. Além do ficheiro binário, pode personalizar ainda mais o comportamento do trabalho carregando mais bibliotecas e argumentos na linha de comandos.

Para definir uma função Spark, deve ter pelo menos uma casa de lago associada a ela. Este contexto padrão de lakehouse serve como sistema de ficheiros predefinido para o runtime do Spark. Para qualquer código Spark que use um caminho relativo para ler/escrever dados, os dados são servidos a partir do lakehouse por padrão.

Próximos passos