Partilhar via


Configurar o modo de alta simultaneidade para blocos de anotações do Fabric

Quando você executa um bloco de anotações no Microsoft Fabric, uma sessão do Apache Spark é iniciada e usada para executar as consultas enviadas como parte das execuções da célula do bloco de anotações. Com o modo de alta simultaneidade ativado, não há necessidade de iniciar novas sessões Spark sempre que se executa um notebook.

Caso já tenha uma sessão de alta simultaneidade em execução, pode ligar notebooks a essa sessão de alta simultaneidade, obtendo instantaneamente uma sessão Spark para executar as consultas e aumentar a taxa de utilização da sessão.

Animação mostrando sessão de alta simultaneidade para notebooks.

Nota

O compartilhamento de sessão baseado no modo de simultaneidade alta está sempre dentro de um único limite de usuário. Os notebooks precisam ter configurações de Spark correspondentes, devem fazer parte do mesmo espaço de trabalho, compartilhar o mesmo lakehouse padrão e bibliotecas para partilhar uma única sessão de Spark.

Condições de partilha de sessões

Para que os blocos de notas partilhem uma única sessão do Spark, devem:

  • Ser executado pelo mesmo usuário.
  • Tenha a mesma casa de lago padrão. Blocos de anotações sem um lakehouse padrão podem compartilhar sessões com outros blocos de anotações que também não possuem um lakehouse padrão.
  • Tenha as mesmas configurações de computação do Spark.
  • Tenha os mesmos pacotes de biblioteca. Você pode ter diferentes instalações de biblioteca embutida como parte das células do bloco de anotações e ainda compartilhar a sessão com blocos de anotações com diferentes dependências de biblioteca.

Configurar o modo de simultaneidade alta

Por padrão, todos os espaços de trabalho Fabric são ativados com o modo de alta concorrência. Use as seguintes etapas para configurar o recurso de alta simultaneidade:

  1. Clique na opção Configurações do espaço de trabalho no espaço de trabalho do Fabric.

  2. Navegue até a seção Data Engineering/Science>Configurações do Spark>Alta Simultaneidade.

  3. Na seção Simultaneidade alta, ative a configuração Para notebooks. Pode optar por ativar ou desativar a definição a partir deste painel.

    Captura de tela mostrando a seção de alta simultaneidade nas configurações do espaço de trabalho.

  4. Habilitar a opção de simultaneidade alta permite que os usuários iniciem uma sessão de simultaneidade alta em seus blocos de anotações ou anexem a uma sessão de simultaneidade alta existente.

  5. A desativação do modo de alta concorrência oculta a seção para configurar o período de tempo de inatividade e também oculta a opção de iniciar uma nova sessão de alta concorrência no menu do notebook.

    Captura de tela mostrando a opção de alta simultaneidade desabilitada nas configurações do espaço de trabalho.

Executar blocos de anotações em sessão de alta simultaneidade

  1. Abra o espaço de trabalho Fabric.

  2. Crie um bloco de notas ou abra um bloco de notas existente.

  3. Navegue até a guia Executar na faixa de opções do menu e selecione a lista suspensa de tipo de sessão que tem Padrão selecionado como a opção padrão.

    Captura de ecrã mostrando a opção de alta simultaneidade no menu Notebook.

  4. Selecione Nova sessão de simultaneidade alta.

  5. Uma vez iniciada a sessão de simultaneidade alta, agora você pode adicionar até 5 blocos de anotações na sessão de simultaneidade alta.

    Captura de ecrã mostrando a opção para iniciar uma nova sessão de alta simultaneidade no menu Notebook.

  6. Crie um novo bloco de anotações e, navegando até o menu Executar , conforme mencionado nas etapas acima, no menu suspenso você verá a sessão de alta simultaneidade recém-criada listada.

  7. Selecionar a sessão de alta simultaneidade existente anexa o segundo notebook à sessão.

    Captura de ecrã a mostrar a opção de anexar a uma sessão existente de alta simultaneidade no menu Bloco de Notas.

  8. Depois que o bloco de anotações for anexado, você poderá começar a executar as etapas do bloco de anotações instantaneamente.

  9. O status de sessão de simultaneidade alta também mostra o número de blocos de anotações anexados a uma determinada sessão em qualquer momento.

  10. A qualquer momento, se achares que o caderno anexado a uma sessão de alta concorrência requer recursos de computação mais dedicados, podes optar por alternar o caderno para uma sessão padrão selecionando a opção para desanexar o caderno da alta concorrência na aba do menu Executar.

    Captura de ecrã mostrando a opção de desanexar de uma sessão de alta simultaneidade no menu Notebook.

  11. Você pode exibir o status, o tipo e o ID da sessão na barra de status. Selecione o ID da Sessão para explorar os trabalhos executados nesta sessão de alta simultaneidade e para exibir os logs da sessão de faísca na página de detalhes de monitoramento.

    Captura de ecrã mostrando os detalhes de uma sessão de alta simultaneidade no menu Notebook.

Você também pode configurar o modo de alta simultaneidade para blocos de anotações em pipelines e usar tags de sessão para agrupar sessões compartilhadas.

Monitoramento e depuração de blocos de anotações em execução em sessão de alta simultaneidade

A monitorização e a resolução de erros são frequentemente uma tarefa não trivial quando se está a executar múltiplos notebooks numa sessão partilhada. Para o modo de alta simultaneidade no Fabric, é oferecida a separação de logs, permitindo que os utilizadores rastreiem os logs emitidos por eventos do Spark em diferentes notebooks.

  1. Quando a sessão estiver em andamento ou em estado concluído, você poderá visualizar o status da sessão navegando até o menu Executar e selecionando a opção Todas as execuções

  2. Isso abriria o histórico de execuções do notebook, mostrando a lista de sessões atuais e históricas do Spark.

    Captura de ecrã que mostra a página de todas as execuções de um bloco de anotações em uma sessão de alta simultaneidade.

  3. Os utilizadores, ao selecionarem uma sessão, podem aceder à visualização de detalhes de monitorização, que mostra a lista de todos os jobs Spark que foram executados na sessão.

  4. No caso de uma sessão de alta concorrência, os utilizadores podem identificar os trabalhos e os seus logs associados de diferentes blocos de anotações através do separador Bloco de anotações relacionado, que mostra o bloco de anotações a partir do qual esse trabalho foi executado.

    Captura de tela mostrando todos os blocos de anotações relacionados para sessão de alta simultaneidade na visualização de detalhes de monitoramento.

Neste documento, adquire-se uma compreensão básica sobre o compartilhamento de sessões através do modo de alta simultaneidade em cadernos. Avance para os próximos artigos para saber como criar e começar com suas próprias experiências de Engenharia de Dados usando Lakehouse e Notebooks: