Como usar notebooks do Microsoft Fabric

O notebook do Microsoft Fabric é o item de código principal para o desenvolvimento de trabalhos do Apache Spark e para experimentos de aprendizado de máquina. É uma superfície interativa baseada na Web utilizada por cientistas de dados e engenheiros de dados para escrever códigos que se beneficiam de visualizações avançadas e texto Markdown. Os engenheiros de dados gravam código para ingestão de dados, preparação de dados e transformação de dados. Os cientistas de dados também usam notebooks para criar soluções de aprendizado de máquina, incluindo a criação de experimentos e modelos, acompanhamento de modelos e implantação.

Com um notebook do Fabric, você pode:

• Introdução com zero esforço de configuração.
• Explorar e processar facilmente dados com uma experiência intuitiva de baixo código.
• Manter os dados protegidos com recursos internos de segurança corporativa.
• Analisar dados em formatos brutos (CSV, txt, JSON etc.), formatos de arquivo processados (parquet, Delta Lake, etc.), usando as funcionalidades avançadas do Spark.
• Seja produtivo com recursos de criação aprimorados e visualização de dados interna.

Este artigo descreve como usar notebooks em experiências de ciência de dados e engenharia de dados.

Contexto de segurança do notebook em execução

A execução do notebook pode ser disparada de três maneiras, cada uma com um contexto de segurança diferente:

• Execução interativa: você dispara manualmente a execução por meio da interface do usuário ou da API REST. O notebook é executado no seu contexto de segurança (o usuário atual).
• Executar como uma atividade de pipeline: A execução é disparada de um pipeline do Fabric Data Factory. Consulte a atividade do Bloco de Anotações para obter detalhes. O notebook é executado sob a identidade do último usuário que modificou o pipeline, não do proprietário do pipeline ou do proprietário do notebook. Isso significa que quem editou o pipeline pela última vez determina o contexto de segurança para acesso a dados, chamadas à API e permissões.
• Agendador: a execução é iniciada a partir de uma execução agendada. O notebook é executado sob a identidade do usuário que criou ou atualizou a agenda pela última vez.

Essas opções de execução fornecem flexibilidade para cenários diferentes, mas você deve entender qual identidade executa seu notebook. O contexto de segurança afeta permissões de acesso a dados, autorização de chamada de API e disponibilidade de recursos. Algumas APIs (como pontos de extremidade T-SQL) não suportam entidades de serviço e requerem uma entidade de usuário.

Na primeira vez em que um notebook é criado, uma mensagem de aviso é mostrada para lembrá-lo do risco de executar o código sem revisá-lo.

Siga estas práticas recomendadas para evitar problemas de segurança:

• Antes de executar um notebook manualmente: verifique quem modificou o notebook pela última vez e use o painel de histórico de versão para examinar as alterações reais de conteúdo antes de executar o código que você não escreveu.
• Antes de adicionar um notebook a um pipeline: verifique quem modificou o pipeline pela última vez, porque o notebook é executado sob a identidade desse usuário. Abra o notebook do pipeline para revisar seu conteúdo mais recente. Se a identidade não tiver as permissões necessárias (ou se você precisar de uma entidade de usuário em vez de uma entidade de serviço para determinadas APIs), faça com que o usuário apropriado edite o pipeline para atualizar a última identidade modificada.
• Antes de criar ou atualizar um agendamento: o notebook é executado sob a identidade de quem cria ou atualiza o agendamento. Verifique se o usuário tem as permissões necessárias para todas as operações no notebook.
• Usar fases de workspace: separar workspaces em fases de desenvolvimento, teste e produção. Restrinja o acesso a workspaces de produção somente para usuários confiáveis.

Criar notebooks

Você pode criar um novo notebook ou importar um notebook existente.

Criar um novo notebook

Semelhante a outros processos de criação de item padrão do Fabric, você pode criar facilmente um notebook na página inicial de Engenharia de Dados do Fabric, na opção Novo do workspace ou em Criar Hub.

Importar notebooks existentes

Você pode importar um ou mais notebooks existentes do computador local usando a entrada na barra de ferramentas do workspace. Os notebooks do Fabric reconhecem arquivos padrão de Jupyter Notebook .ipynb e arquivos de origem como .py, .scalae .sql, criando novos itens de notebook conforme necessário.

Exportar um notebook

Você pode exportar seu notebook para outros formatos padrão. O bloco de anotações do Fabric pode ser exportado para:

Salvar um notebook

No Fabric, por padrão, um notebook será salvo automaticamente depois de aberto e editado. Você não precisa se preocupar com a perda de alterações de código. Você também pode usar Salvar uma cópia para clonar outra cópia no workspace atual ou em outro workspace.

Se preferir salvar o notebook manualmente, mude para a opção de salvamento Manual para ter um branch local do seu item de notebook e use a opção Salvar ou CTRL+s para salvar suas alterações.

Você também pode alternar para o modo de salvamento manual selecionando Editar – >Opções de salvamento – >Manual. Para ativar um branch local do notebook e salvá-lo manualmente selecione Salvar ou use o atalho de teclado Ctrl+s.

Conectar lakehouses e notebooks

Os notebooks do Fabric agora dão suporte à interação com lakehouses. Você pode adicionar facilmente um lakehouse novo ou existente pelo Lakehouse Explorer.

Você pode acessar diversos lakehouses no Lakehouse Explorer e definir um deles como padrão fixando-o. Seu padrão será montado no diretório de trabalho de runtime e você poderá ler ou gravar no lakehouse padrão usando um caminho local.

Adicionar ou remover um lakehouse

Selecionar o ícone X ao lado de um nome de lakehouse o remove da guia do notebook, mas o item lakehouse ainda existe no workspace.

Selecione Adicionar Lakehouse para adicionar outras Lakehouses ao notebook, escolhendo entre um existente ou criando um novo.

Explorar um arquivo lakehouse

A subpasta e os arquivos na seção Tabelas e Arquivos do modo de exibição Lake aparecem em uma área de conteúdo entre a lista lakehouse e o conteúdo do notebook. Selecione pastas diferentes na seção Tabelas e Arquivos para atualizar a área de conteúdo.

Operações de pasta e arquivo

Se você selecionar um arquivo (.csv,.parquet,.txt,.jpg,.pngetc.) com um clique com o mouse direito, poderá usar a API spark ou Pandas para carregar os dados. Uma nova célula de código será gerada e inserida abaixo da célula de foco.

Você pode copiar facilmente o caminho com um formato diferente do arquivo ou pasta selecionado e usar o caminho correspondente no seu código.

Recursos do Notebook

O gerenciador de recursos do notebook fornece um sistema de arquivos semelhante ao Unix para ajudá-lo a gerenciar suas pastas e arquivos. Ele oferece um espaço gravável do sistema de arquivos em que você pode armazenar arquivos de tamanho pequeno, como módulos de código, modelos semânticos e imagens. Você pode acessá-los facilmente com código no notebook como se estivesse trabalhando com seu sistema de arquivos local.

Pasta de recursos integrada

A pasta de recursos internos é uma pasta definida pelo sistema exclusiva para cada notebook. É recomendável usar a pasta de recursos interna para armazenar todos os dados usados no notebook atual. Estas são as principais funcionalidades dos recursos do notebook.

• Você pode usar operações comuns, como criar/excluir, carregar/baixar, arrastar/soltar, renomear, duplicar e pesquisar pela interface do usuário.
• Você pode usar caminhos relativos como builtin/YourData.txt para uma exploração rápida. O método notebookutils.nbResPath ajuda você a compor o caminho completo.
• Você pode mover facilmente seus dados validados para um lakehouse por meio da opção Gravar no lakehouse. O Fabric incorpora snippets de código avançados para tipos comuns de arquivos para ajudar você a começar rapidamente.
• Esses recursos também estão disponíveis para uso no caso de Execução do notebook de referência por meio do notebookutils.notebook.run().

Pasta de recursos de ambiente

A pasta de recursos de ambiente é um repositório compartilhado criado para simplificar a colaboração em vários notebooks.

• Você pode encontrar a guia Recursos dentro do ambiente e realizar as operações completas para gerenciar os arquivos de recursos aqui. Esses arquivos podem ser compartilhados em vários notebooks, depois que notebook é anexado ao ambiente atual.

  

• Na página Notebook, você pode encontrar facilmente uma segunda pasta raiz nos Recursos herdados do ambiente anexado.

  

• Você também pode operar nos arquivos/pastas da mesma forma com a pasta interna de recursos.

• O caminho do recurso ambiente é montado automaticamente no cluster do notebook. Você pode usar o caminho relativo /env para acessar os recursos de ambiente.

Editor de arquivos

O editor de arquivos permite que você exiba e edite arquivos diretamente na pasta de recursos do notebook e na pasta de recursos de ambiente no notebook. Os tipos de arquivo com suporte incluem CSV, TXT, HTML, YML, PY, SQL e muito mais. Com o editor de arquivos, você pode acessar e modificar arquivos facilmente no notebook. Ele dá suporte ao realce de palavra-chave e fornece o serviço de idioma necessário ao abrir e editar arquivos de código, como .py e .sql.

• Você pode acessar esse recurso por meio da opção 'Exibir e editar' no menu de arquivo. Clicar duas vezes no arquivo é uma maneira mais rápida.

  

• A alteração de conteúdo no editor de arquivos precisa ser salva manualmente clicando no botão Salvar ou atalho de teclado: Ctrl+S, o editor de arquivos não dá suporte ao salvamento automático.

• O modo notebook também afeta o editor de arquivos. Você só poderá exibir arquivos, mas não poderá editá-los, se estiver no modo de notebook sem a permissão de edição.

Colaborar em um notebook

O notebook do Fabric é um item colaborativo que dá suporte à edição de vários usuários no mesmo notebook.

Quando você abre um bloco de anotações, insere o modo de coeditamento por padrão e cada edição de bloco de anotações é salva automaticamente. Se os seus colegas abrirem o mesmo notebook simultaneamente, você verá o perfil, a saída da execução, o indicador de cursor, o indicador de seleção e o rastreamento da edição. Ao usar os recursos de colaboração, você pode facilmente realizar programação em dupla, depuração remota e cenários de tutoria.

Compartilhar um notebook

Compartilhar um notebook é uma maneira conveniente de colaborar com os membros da equipe. Por padrão, as funções autorizadas do espaço de trabalho podem exibir ou editar/executar notebooks. Você pode compartilhar um notebook com a concessão de permissões específicas.

1. Selecione Compartilhar na barra de ferramentas do notebook.

   

2. Selecione a categoria correspondente de pessoas que podem exibir este notebook. Você pode escolher Compartilhar, Editar ou Executar permissões para os destinatários.

   

3. Depois de selecionar Aplicar, você pode enviar o notebook diretamente ou copiar o link para outras pessoas. Em seguida, os destinatários podem abrir o notebook com a exibição correspondente concedida pelo nível de permissão.

   

4. Para gerenciar ainda mais as permissões do notebook, selecione Lista de itens do Workspace>Mais opções e selecione Gerenciar permissões. Nessa tela, você pode atualizar o acesso e as permissões existentes do notebook.

   

Comentar uma célula de código

O comentário é outro recurso útil em cenários colaborativos. Atualmente, o Fabric dá suporte à adição de comentários no nível da célula.

1. Selecione o botão Comentários na barra de ferramentas do notebook ou no indicador de comentário da célula para abrir o painel Comentários.

   

2. Selecione o código na célula de código, selecione Novo no painel Comentários, adicione comentários e selecione Postar comentário para salvar.

   

3. Se precisar deles, localize as opções Editar comentário, Resolver thread e Excluir thread, selecionando a opção Mais ao lado do comentário.

Marcando outras pessoas em um comentário

"Marcação" refere-se a mencionar e notificar um usuário em um thread de comentário, aprimorando a colaboração com eficiência nas especificidades.

1. Selecione uma seção de código em uma célula e crie um thread de comentários.

2. Insira o nome de usuário e escolha o correto na lista de sugestões se quiser mencionar alguém em uma discussão sobre uma determinada seção.

3. Compartilhe seus insights e publique-os.

4. Uma notificação por email é disparada e o usuário clica no link Abrir Comentários para localizar rapidamente essa célula.

5. Além disso, autorize e configure as permissões para usuários ao marcar alguém que não tem acesso, garantindo que seus ativos de código sejam bem gerenciados.

Histórico de versões

O histórico de versões permite que você visualize facilmente as alterações do notebook em tempo real. Ele dá suporte ao controle de histórico e ao gerenciamento de notebooks com recursos robustos de controle de versão internos, o que é especialmente útil para o trabalho colaborativo com vários colaboradores no mesmo notebook.

1. Acesse o histórico da versão por meio da barra de ferramentas global do notebook.

   

2. O Notebook dá suporte a duas maneiras de criar pontos de verificação.

   • Ponto de verificação manual: você pode criar uma nova versão manualmente para registrar seus marcos de desenvolvimento, proporcionando flexibilidade no gerenciamento das versões do notebook.

     

   • Ponto de verificação do sistema: esses pontos de verificação são criados automaticamente a cada 5 minutos com base no intervalo de tempo de edição pelo sistema Notebook, garantindo que seu trabalho seja salvo e tenha versão consistente. Você pode encontrar os registros de modificação de todos os colaboradores na lista de cronogramas de pontos de verificação do sistema.

3. Você pode clicar em um ponto de verificação para abrir a exibição dif, que destaca as diferenças de conteúdo entre o ponto de verificação selecionado e a versão dinâmica atual, incluindo as diferenças de conteúdo da célula, da saída da célula e dos metadados. A versão desse ponto de verificação pode ser gerenciada individualmente no menu "mais opções" .

   

4. Você pode gerenciar a versão no menu suspenso do ponto de verificação, se quiser manter uma versão tortuosa, clicar em restaurar do ponto de verificação e substituir o bloco de anotações atual ou usando salvar como cópia para cloná-la em um novo notebook.

   

Seletor de Modo Notebook

Os notebooks do Fabric oferecem suporte a quatro modos que você pode alternar facilmente: modo Desenvolver, modoExecutar somente, modo Editar e modo Exibição. Cada modo se relaciona a uma combinação de permissão específica. Ao compartilhar o bloco de anotações com outros membros da equipe, você pode conceder permissões adequadas aos destinatários. Eles podem ver o melhor modo de notebook disponível de acordo com sua permissão e podem alternar entre o modo para o qual têm permissão.

• Modo de desenvolvimento: permissão necessária de leitura, execução e gravação.
• Modo de somente execução: permissão necessária de leitura e execução.
• Modo de edição: permissão necessária de leitura e gravação.
• Modo de exibição: permissão necessária de leitura.

Conteúdo relacionado

• Criar e executar notebooks