Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
O recurso de Importação Automática no Azure Managed Lustre (AMLFS) permite a sincronização contínua de dados de um Contêiner de Armazenamento de Blob do Azure em um cluster AMLFS. Essa funcionalidade permite que os clientes tratem o Blob como uma camada fria e o AMLFS como uma camada quente de alto desempenho, refletindo automaticamente as alterações feitas no Blob dentro do namespace Lustre.
Como funciona a importação automática
O recurso de Importação Automática no Azure Managed Lustre (AMLFS) opera monitorando continuamente as alterações no Contêiner de Armazenamento de Blob do Azure associado por meio do Feed de Alterações do Armazenamento de Blob do Azure.
Com base na política de importação configurada, ele atualiza o conteúdo do namespace AMLFS para refletir essas alterações. A importação automática oferece aos usuários um processo de replicação de dados contínuo e automatizado.
Após a criação, o processo de Importação Automática consiste em duas fases, Full Sync e Blob Sync:
- A primeira fase é a verificação Full Sync. O Full Sync compara o namespace Blob Container com o namespace AMLFS e importa quaisquer arquivos novos ou modificados para o namespace AMLFS.
- A segunda fase é a verificação de sincronização de Blob. A análise do Blob Sync começa após a conclusão do Full Sync. O Blob Sync monitora continuamente o Change Feed em busca de atualizações, importando arquivos novos ou modificados e processando exclusões para o namespace AMLFS.
Consulte a documentação do Change Feed para obter detalhes de preços.
Pré-requisitos
- Sistema de arquivos existente do Azure Managed Lustre - crie um usando o portal do Azure, o Azure Resource Manager ou o Terraform. Para saber mais sobre a integração de blob, consulte Pré-requisitos de integração de Blob.
-
O Feed de Alterações do Armazenamento de Blobs do Azuredeve ser habilitado na Conta de Armazenamento associada ao sistema de arquivos AMLFS.
Observação
O Change Feed não suporta Contas de Armazenamento com um Namespace Hierárquico (HNS) habilitado.
- Alterar O período de retenção da alimentação DEVE ser definido para sete dias ou mais. Ao ativar o feed de mudanças de blob, selecione para: Manter todos os logs OU defina Apagar logs do feed de mudanças após (em dias) para sete ou mais.
- Não são permitidas tarefas simultâneas de integração de blobs. É necessário desativar a Exportação Automática, bem como os trabalhos de importação ou exportação manual antes de ativar a Importação Automática.
Configuração
A Importação Automática está habilitada em um sistema de arquivos existente do Azure Managed Lustre que tem um Contêiner de Armazenamento de Blob associado configurado. A Importação Automática é configurada nas configurações de Integração de Blob no portal do Azure.
Para criar um novo trabalho de importação automática, siga estas etapas:
- No portal do Azure, abra seu sistema de arquivos do Azure Managed Lustre e selecione o painel de integração de Blob em Configurações.
- Selecione + Criar novo trabalho.
- Na lista suspensa Tipo de trabalho , selecione Importação automática.
- Insira um nome para o trabalho de importação no campo Nome do trabalho .
- Escolha um valor para o campo Modo de resolução de conflitos . Essa configuração determina como o trabalho de importação lida com conflitos entre arquivos existentes no sistema de arquivos e arquivos que estão sendo importados. Neste exemplo, selecionamos Ignorar. Para saber mais, consulte Modo de resolução de conflitos.
- Insira prefixos de importação para filtrar os dados importados do Armazenamento de Blob. O portal do Azure permite inserir até 10 prefixos. Neste exemplo, especificamos os prefixos /data e /logs. Para saber mais, consulte Importar prefixo.
- Determine se você deseja Habilitar exclusões que permitem a propagação de exclusões do Armazenamento de Blobs do Azure para o Azure Managed Lustre.
- Depois que o trabalho estiver configurado, selecione Iniciar para iniciar o processo de importação.
Monitoramento e gerenciamento de importação automática
Depois que o trabalho de importação automática for criado, você poderá monitorar seu progresso no portal do Azure.
O painel Integração de Blob exibe detalhes das atividades de importação na seção Trabalhos recentes , incluindo o status de trabalhos recentes e métricas relacionadas à sincronização automática.
Para cancelar o trabalho em andamento, selecione o link Cancelar para esse trabalho na tabela Trabalhos recentes . O link Cancelar só está disponível para a importação automática atual.
Para visualizar as métricas de um trabalho de Importação Automática, clique no Nome do trabalho e a folha Métricas aparecerá no painel do lado direito do Portal.
Metrics
As métricas são agrupadas em duas categorias principais, Full Sync e Blob Sync.
| Estatísticas de sincronização completa | Estatísticas para a fase inicial de sincronização completa da importação automática |
|---|---|
| Arquivos importados | Contagem de arquivos importados com êxito para o namespace Lustre do Contêiner de Blob associado durante a fase inicial de Sincronização Completa. |
| Diretórios importados | Contagem de diretórios importados com êxito do Contêiner Blob associado para o namespace Lustre durante a fase inicial da Sincronização Completa. |
| Links simbólicos importados | Contagem de links simbólicos importados com êxito para o namespace Lustre do Contêiner de Blob associado durante a fase inicial de Sincronização Completa. |
| Arquivos pré-existentes | Contagem de arquivos com o mesmo caminho e nome que já existem no namespace Lustre. Os arquivos já contêm dados e metadados esperados como o Blob correspondente. |
| Diretórios pré-existentes | Contagem de diretórios encontrados no namespace Lustre durante a fase inicial de Sincronização Completa que já contêm metadados esperados como o Blob correspondente. |
| Links simbólicos pré-existentes | Contagem de links simbólicos encontrados no namespace Lustre durante a fase inicial de Sincronização Completa que já contêm os metadados e o destino esperados como o Blob correspondente. |
| Total de Blobs Importados | Contagem de Blobs importados para o namespace Lustre do Contentor de Blobs durante a Sincronização Completa inicial. Um superconjunto de arquivos, diretórios e links simbólicos importados listados. |
| Taxa de importação de Blob | Contagem por segundo de Blobs importados de Blob para Lustre durante a fase inicial de sincronização completa |
| Total de blobs percorridos | Contagem de Blobs analisados durante a fase de sincronização completa |
| Taxa de Blob Walk | Contagem por segundo de Blobs analisados durante a fase de sincronização total |
| Total de Conflitos | Contagem de encontros com Blobs que têm o mesmo caminho e nome de um objeto existente no namespace Lustre, mas que diferem em termos de uma ou mais áreas, incluindo tipo de objeto, dados e metadados. |
| Total de erros | Número total de erros encontrados, falha na importação de Blobs para o Lustre, durante a fase inicial de Sincronização Total. Clique neste link para aceder à página do Contêiner de Registos para visualizar os registos associados a esta tarefa de Importação Automática. |
| Estatísticas de sincronização de Blob | Estatísticas sobre a atividade relacionada com a monitorização do Change Feed |
|---|---|
| Arquivos importados | Contagem de arquivos importados com êxito para o namespace Lustre do contêiner de Blob associado após a fase inicial de sincronização completa |
| Diretórios importados | Contagem de diretórios importados com êxito para o namespace Lustre do contêiner de Blob associado após a fase inicial de sincronização completa |
| Links simbólicos importados | Contagem de ligações simbólicas importadas com êxito para o namespace Lustre do Container Blob associado após a primeira fase de sincronização completa |
| Arquivos pré-existentes | Contagem de ficheiros com o mesmo caminho e nome que foram encontrados já existentes no namespace Lustre após a fase inicial de Sincronização Completa e que já contêm os dados e metadados esperados, tal como o Blob correspondente. |
| Diretórios pré-existentes | Contagem de diretórios encontrados no namespace Lustre após a fase inicial de Sincronização Completa que já contêm metadados esperados como o Blob correspondente. |
| Links simbólicos pré-existentes | Contagem de links simbólicos encontrados no namespace Lustre após a fase inicial de Sincronização Completa que já contêm metadados esperados e destino como o Blob correspondente. |
| Total de Blocos de Dados Importados | Contagem de blobs importados para o namespace Lustre a partir do contentor de blobs após a fase inicial de sincronização total. Um superconjunto de arquivos, diretórios e links simbólicos importados listados. |
| Taxa de importação de Blob | Contagem por segundo de Blobs importados de Blob para Lustre após a fase inicial de sincronização completa |
| Deletions | Contagem de arquivos excluídos durante a fase de sincronização de Blob |
| Total de Conflitos | Contagem de encontros com Blobs que têm o mesmo caminho e nome de um objeto existente no namespace Lustre após a fase inicial de Sincronização Completa, mas que diferem em termos de uma ou mais áreas, incluindo tipo de objeto, dados e metadados. |
| Total de erros | Número total de erros encontrados, falha na importação dos Blobs para o Lustre, após a fase inicial de sincronização completa. Clique neste link para aceder à página de Contentor de Registo para exibir os registos associados a este trabalho de Importação Automática. |
| Tempo de Consumo do Evento do Feed de Alteração Mais Recente | Marca temporal do último evento do Feed de Alterações processado para este trabalho de Importação Automática |
| Última vez totalmente sincronizada | Carimbo de data/hora mais recente quando todos os eventos do Feed de Alterações foram processados para esta tarefa de Importação Automática |
Considerações e práticas recomendadas
Ao usar a importação automática, considere as seguintes práticas recomendadas para garantir o bom funcionamento:
- É altamente recomendável rever o comportamento do recurso Change Feed, especificamente as especificações.
- Alterar O período de retenção da alimentação DEVE ser definido para sete dias ou mais. Ao ativar o feed de mudanças de blob, selecione para: Manter todos os logs OU defina Apagar logs do feed de mudanças após (em dias) para sete ou mais.
- A Importação Automática depende do Feed de Alterações e, portanto, está limitada à atualidade dos eventos publicados no Feed de Alterações. Atualmente, o Feed de Alterações sugere que os eventos sejam publicados "em poucos minutos".
- A importação automática normalmente pode importar alterações a uma taxa de 2000 por segundo.
- Nenhum trabalho de integração de Blob pode ser executado ao mesmo tempo. Quando a Importação Automática estiver ativada, os trabalhos manuais de importação e exportação (manuais e automáticos) não poderão ser usados.
- Os comandos Lfs hsm_* não são suportados durante o uso da Importação Automática, pois podem causar problemas de consistência entre o Blob e o sistema de arquivos Lustre.
Práticas recomendadas para habilitar exclusões:
- As exclusões são unidirecionais (Blob ➜ Lustre) e só se aplicam daqui para frente.
- A autoimportação sempre começa com uma verificação manual (sincronização completa). Essa verificação não calcula um mapa bidirecional ou tenta detetar "blob foi excluído, o arquivo ainda existe no Lustre". As exclusões que ocorreram antes da ativação, portanto, não serão removidas durante a verificação.
- Durante a verificação inicial, as alterações (incluindo exclusões) são atrasadas. Todos os eventos do Feed de Alterações, incluindo exclusões, que ocorrem enquanto a verificação inicial é executada são aplicados após a conclusão da verificação. Espere um período temporário em que o Lustre ainda possa mostrar arquivos que foram excluídos no Blob durante a verificação.
- O comportamento de exclusão está explicitamente vinculado ao modo de conflito selecionado. A tabela a seguir demonstra o comportamento para cada modo quando "Ativar exclusões" é selecionado:
| Arquivo modificado anteriormente no Lustre? | Modo de resolução de conflitos | Realizar exclusão? |
|---|---|---|
| Yes | Substituir – Se Alterado | Yes |
| Yes | Pular | Não - O arquivo permanece no Lustre |
| Não | Sobrescrever – Se Sujeito a Alterações | Yes |
| Não | Pular | Yes |