Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Um ambiente do Microsoft Fabric é um item consolidado para todas as configurações de hardware e software. Em um ambiente, você pode selecionar diferentes runtimes do Spark, configurar seus recursos de computação, instalar bibliotecas de repositórios públicos ou um diretório local e definir outras configurações.
Este artigo apresenta uma visão geral de como criar, configurar e usar um ambiente.
Criar um ambiente
Você pode criar novos ambientes a partir de vários pontos de entrada:
Ponto de entrada padrão:
No Fabric, navegue até o workspace desejado.
Selecione Novo item e localize o Ambiente.
Nomeie seu ambiente e selecione Criar.
Crie durante seleção:
Abra um bloco de anotações ou uma definição de trabalho do Spark.
Selecione o menu Ambiente e, em seguida, selecione Novo ambiente.
Nomeie seu ambiente e selecione Criar.
Depois que o ambiente for criado, selecione a versão do runtime. Escolha Runtime 1.3 (Spark 3.5, Delta 3.2) no menu suspenso.
Configurar um ambiente
Um ambiente tem três componentes principais:
- Computação do Spark, que inclui o runtime do Spark.
- Bibliotecas.
- Recursos.
As configurações de computação e biblioteca do Spark são necessárias para que a publicação seja eficaz. Os recursos são armazenamento compartilhado que podem ser alterados em tempo real. Para obter mais informações, consulte Salvar e publicar alterações.
Configurar a computação do Spark
Para um ambiente, você pode escolher entre vários runtimes do Spark com suas próprias configurações padrão e pacotes pré-instalados. Para exibir os runtimes disponíveis, acesse a guia Página Inicial do ambiente e selecione Runtime. Selecione o runtime que melhor atende às suas necessidades.
Importante
- Se estiver atualizando o runtime de um ambiente com configurações ou bibliotecas existentes, você deverá republicar o conteúdo com base na versão de runtime atualizada.
- Se as configurações ou bibliotecas existentes não forem compatíveis com a versão de runtime recém-atualizada, a publicação falhará. Você deve remover as configurações ou bibliotecas incompatíveis e publicar o ambiente novamente.
A computação do Fabric Spark fornece velocidade e eficiência incomparáveis em execução no Spark e experiências personalizadas por requisitos. Em seu ambiente, você pode escolher entre vários pools criados por administradores de workspace e administradores de capacidade. Você pode ajustar ainda mais as configurações e gerenciar as propriedades do Spark para ser eficaz nas sessões do Spark. Para obter mais informações, consulte definições de configuração de computação do Spark em ambientes do Fabric.
Gerenciar bibliotecas
Cada runtime do Spark fornece bibliotecas internas. Com o ambiente do Fabric, você também pode instalar bibliotecas de fontes públicas ou carregar bibliotecas personalizadas criadas por você ou sua organização. Depois de instalar as bibliotecas com êxito, elas estarão disponíveis em suas sessões do Spark. Para obter mais informações, consulte gerenciamento de bibliotecas em ambientes do Fabric. Para obter as práticas recomendadas para gerenciar bibliotecas no Fabric, consulte Gerenciar bibliotecas do Apache Spark no Fabric.
Usar recursos
A seção Recursos em um ambiente facilita a capacidade de gerenciar pequenos recursos durante a fase de desenvolvimento. Os arquivos carregados no ambiente são acessíveis em blocos de anotações quando são anexados. Para obter mais informações, consulte Gerenciar os recursos em um ambiente do Fabric.
Salvar e publicar alterações
Na guia Página Inicial , você pode facilmente encontrar Salvar e Publicar. Eles são ativados quando há alterações pendentes não salvas ou não publicadas nas seções de computaçãoBibliotecas e Spark.
Importante
- Se o Link Privado estiver habilitado, o primeiro trabalho do Spark no workspace precisará disparar o provisionamento de VNet, o que pode levar aproximadamente 10 a 15 minutos. Como a publicação de ambiente também é executada como um trabalho do Spark, ela pode sofrer um atraso adicional se for o primeiro trabalho do Spark executado após a habilitação do Link Privado.
Quando as alterações pendentes estiverem nas seções bibliotecas e computação do Spark , você também verá uma faixa que solicita salvar epublicar. As funcionalidades são as mesmas dos botões:
- As alterações não salvas serão perdidas se você atualizar ou deixar o navegador aberto. Selecione Salvar para garantir que as alterações sejam registradas antes de sair. Salvar não aplica a configuração, mas armazena em cache as alterações no sistema.
- Para aplicar as alterações às Bibliotecas e à computação do Spark, selecionePublicar. A página de alterações pendentes é exibida para revisão final antes da publicação. Em seguida, selecione Publicar tudo para iniciar a configuração no ambiente do Fabric. Esse processo pode levar algum tempo, especialmente se as alterações na biblioteca estiverem envolvidas.
- Para cancelar um processo de publicação, selecione Exibir progresso na faixa e cancele a operação.
- Uma notificação será exibida após a conclusão da publicação. Haverá uma notificação de erro se ocorrer algum problema durante o processo.
Um ambiente aceita apenas uma ação Publicar por vez. Você não pode fazer alterações nas seções de computaçãobibliotecas ou Spark durante uma ação de publicação em andamento.
A publicação não afeta a adição, exclusão ou edição de arquivos e pastas na seção Recursos . As ações para gerenciar recursos estão em tempo real. A ação Publicar não bloqueia alterações na seção Recursos .
Compartilhar um ambiente existente
O Fabric dá suporte ao compartilhamento de um item com diferentes níveis de permissões.
Quando você compartilha um item de ambiente, os destinatários recebem automaticamente permissão Leitura. Com essa permissão, eles podem explorar as configurações do ambiente e anexá-lo a notebooks ou trabalhos do Spark. Para uma execução de código suave, conceda permissões de leitura para ambientes anexados ao compartilhar notebooks e definições de trabalho do Spark.
Você também pode compartilhar o ambiente com permissões compartilhar e editar. Os usuários com permissão de compartilhamento podem continuar compartilhando o ambiente com outras pessoas. Enquanto isso, os destinatários com permissão Editar podem atualizar o conteúdo do ambiente.
Anexar um ambiente
Você pode anexar um ambiente do Fabric aos workspaces de Engenharia de Dados/Ciência ou seus notebooks e definições de trabalho do Spark.
Anexar um ambiente como um padrão de workspace
Importante
Depois que um ambiente é selecionado como um padrão de workspace, somente os administradores do workspace podem atualizar o conteúdo do ambiente padrão.
Selecione configurações do Workspace Configurações>de Engenharia de Dados/Configurações do Spark de Ciência> para ver a guia Ambiente.
Os administradores do workspace podem definir a carga de trabalho padrão para workspaces inteiros. Os valores configurados aqui são efetivos para notebooks e definições de trabalho do Spark que são anexados às Configurações do workspace.
A alternância de Definir ambiente padrão pode aprimorar a experiência do usuário. Por padrão, essa alternância é definida como Desativada. Se não houver nenhuma propriedade ou biblioteca padrão do Spark necessária como o padrão do workspace, você poderá definir o runtime do Spark nesta circunstância. Se você quiser preparar uma computação e bibliotecas padrão do Spark para o workspace, poderá alternar a alternância para Ativar e anexar facilmente um ambiente como o padrão do workspace. Essa opção torna todas as configurações no ambiente efetivas como Configurações do workspace.
Anexar um ambiente a um notebook ou a uma definição de trabalho do Spark
O ambiente está disponível nas guias Notebook e Definição de Trabalho do Spark . Quando notebooks e definições de trabalho do Spark são anexados a um ambiente, eles podem acessar suas bibliotecas, configurações de computação e recursos. O Explorer lista todos os ambientes disponíveis que são compartilhados com você, são do workspace atual e são de outros workspaces aos quais você tem acesso.
Se você alternar para um ambiente diferente durante uma sessão ativa, o ambiente recém-selecionado não terá efeito até a próxima sessão.
Quando você anexa um ambiente de outro workspace, ambos os workspaces devem ter a mesma capacidade e configurações de segurança de rede. Embora você possa selecionar ambientes de workspaces com diferentes capacidades ou configurações de segurança de rede, a sessão não é iniciada.
Quando você anexa um ambiente de outro espaço de trabalho, a configuração de computação nesse ambiente é ignorada. Em vez disso, as configurações de pool e computação são padrão para as configurações do seu workspace atual.
Excluir um ambiente
Você pode excluir um ambiente quando ele não for mais necessário. Antes de excluir um ambiente, considere o seguinte:
Importante
- A exclusão de um ambiente é permanente e não pode ser desfeita.
- Todos os notebooks ou definições de trabalho do Spark atualmente anexados ao ambiente precisarão ser reconfigurados para usar um ambiente ou configurações de workspace diferentes.
- Se o ambiente for definido como um padrão de workspace, primeiro você deverá alterar a configuração padrão do workspace antes da exclusão.
Excluir um ambiente usando a API REST
Você pode excluir um ambiente programaticamente usando a API REST do Fabric:
Ponto de extremidade:DELETE https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/environments/{environmentId}
Permissões necessárias: Environment.ReadWrite.All ou Item.ReadWrite.All
Para obter mais informações sobre a API REST, consulte Excluir ambiente.