Chaves gerenciadas pelo cliente para Azure Machine Learning

Azure Machine Learning é criado com base em vários serviços do Azure. Embora os dados armazenados sejam criptografados usando chaves de criptografia fornecidas pela Microsoft, você pode aprimorar a segurança fornecendo também suas chaves (gerenciadas pelo cliente). As chaves fornecidas por você são armazenadas no Azure Key Vault. Seus dados podem ser armazenados em um conjunto de outros recursos que você gerencia em sua assinatura do Azure ou no lado do serviço em recursos gerenciados da Microsoft.

Além das CMK (chaves gerenciadas pelo cliente), o Azure Machine Learning fornece uma configuração de alto impacto nos negócios para cargas de trabalho de dados altamente confidenciais. Habilitar essa configuração reduz a quantidade de dados coletados pela Microsoft para fins de diagnóstico e habilita a criptografia adicional em ambientes gerenciados da Microsoft.

Pré-requisitos

• Uma assinatura do Azure.
• Uma instância do Azure Key Vault. O cofre de chaves contém as chaves usadas para criptografar seus serviços.

O cofre de chaves precisa habilitar a exclusão temporária e a proteção contra limpeza. A identidade gerenciada para os serviços protegidos por uma chave gerenciada pelo cliente precisa ter as seguintes permissões no cofre de chaves:

• Encapsular chave
• Decodificar Chave
• Obter

Por exemplo, a identidade gerenciada do Azure Cosmos DB precisaria ter essas permissões para o cofre de chaves.

Limitações

• Após a criação do workspace, a chave de criptografia gerenciada pelo cliente para os recursos dos quais o workspace depende só pode ser trocada por outra chave no recurso original do Azure Key Vault.
• A menos que você esteja usando o lado do serviço, os dados criptografados são armazenados em recursos em um grupo de recursos gerenciado pela Microsoft em sua assinatura. Você não pode criar esses recursos com antecedência nem transferir a propriedade deles para si. O ciclo de vida de dados é gerenciado de maneira indireta por meio das APIs do Azure ML, conforme você cria objetos no serviço do Azure Machine Learning.
• Se você estiver usando o lado do serviço, as cobranças do Azure continuarão a ser acumuladas durante o período de retenção de exclusão reversível.
• Você não pode excluir recursos gerenciados pela Microsoft usados ​​para chaves gerenciadas pelo cliente sem também excluir o workspace.
• Você não pode criptografar o disco do sistema operacional do cluster de computação usando suas chaves gerenciadas pelo cliente. Você precisa usar chaves gerenciadas pela Microsoft.

Chaves gerenciadas pelo cliente

Quando você não usa uma chave gerenciada pelo cliente, a Microsoft cria e gerencia esses recursos em uma assinatura do Azure de propriedade da Microsoft e usa uma chave gerenciada pela Microsoft para criptografar os dados.

Quando você usa uma chave gerenciada pelo cliente, há duas configurações possíveis:

• Criptografia do lado do serviço: os recursos são armazenados no lado do serviço em recursos gerenciados pela Microsoft. Essa configuração reduz custos e também reduz a chance de conflito com as políticas que você pode ter definido para sua assinatura do Azure.
• Criptografia do lado da assinatura (clássica): os recursos são hospedados em sua assinatura do Azure e criptografados com sua chave. Embora esses recursos existam em sua assinatura, a Microsoft os gerencia. Esses recursos são criados e configurados automaticamente quando você cria seu workspace do Azure Machine Learning.

Criptografia de metadados do lado do serviço

Nessa configuração, os dados criptografados são armazenados no lado do serviço em recursos gerenciados pela Microsoft em vez de em sua assinatura. O uso da criptografia do lado do serviço reduz os custos em comparação com a criptografia do lado da assinatura e reduz a probabilidade de conflitos de política do Azure.

Os dados são armazenados em recursos multilocatários gerenciados pela Microsoft com criptografia no nível do documento usando sua chave de criptografia. Os índices de pesquisa são armazenados em recursos gerenciados pela Microsoft, provisionados de forma dedicada para você em cada espaço de trabalho. O custo da instância de pesquisa de IA do Azure é cobrado no workspace do Azure Machine Learning no Gerenciamento de Custos da Microsoft.

Os metadados de pipelines são armazenados na conta de armazenamento da sua assinatura que está associada ao espaço de trabalho do Azure Machine Learning. Como esse recurso do Armazenamento do Microsoft Azure é gerenciado separadamente na sua assinatura, você é responsável por definir as configurações de criptografia.

Para modelos que criam um espaço de trabalho com criptografia de serviço dos metadados, confira

• Modelo Bicep para criar um espaço de trabalho padrão.
• Modelo Bicep para criar um espaço de trabalho do hub.

Criptografia de metadados pelo lado da assinatura (clássico)

Ao trazer sua própria chave de criptografia, os metadados do serviço são armazenados em recursos dedicados na sua assinatura do Azure. A Microsoft cria um grupo de recursos separado na sua assinatura para essa finalidade: azureml-rg-workspacename_GUID. Somente a Microsoft pode modificar os recursos nesse grupo de recursos gerenciado.

Se o workspace do Azure Machine Learning usar um ponto de extremidade privado, esse grupo de recursos também conterá uma Rede Virtual do Azure gerenciada pela Microsoft. Essa rede virtual ajuda a proteger as comunicações entre os serviços gerenciados e o workspace. Você não pode fornecer sua rede virtual para uso com os recursos gerenciados pela Microsoft. Você também não pode modificar a rede virtual. Por exemplo, você não pode alterar o intervalo de endereços IP que ela usa.

A Microsoft cria os seguintes recursos para armazenar metadados para o seu workspace:

Do ponto de vista do gerenciamento do ciclo de vida dos dados, os dados nos recursos acima são criados e excluídos conforme você cria e exclui os objetos correspondentes no Azure Machine Learning.

Seu workspace do Azure Machine Learning lê e grava dados usando a respectiva identidade gerenciada. Essa identidade tem acesso aos recursos por meio de uma atribuição de função (controle de acesso baseado em função do Azure) nos recursos de dados. A chave de criptografia que você fornece é usada para criptografar dados armazenados em recursos gerenciados pela Microsoft. A chave também é usada para criar índices para a Pesquisa de IA do Azure em runtime.

Mais controles de rede são configurados quando você cria um ponto de extremidade de link privado em seu workspace para permitir a conectividade de entrada. Essa configuração inclui a criação de uma conexão de ponto de extremidade de link privado com a instância do Azure Cosmos DB. O acesso à rede é restrito apenas a serviços confiáveis da Microsoft.

Criptografia de dados em recursos de computação

O Azure Machine Learning usa recursos de computação para treinar e implantar modelos de machine learning. A tabela a seguir descreve as opções de computação e como cada uma delas criptografa os dados:

Cluster de computação

Os clusters de cálculo têm armazenamento em disco local do sistema operacional e podem montar dados de contas de armazenamento na sua assinatura durante um trabalho. Ao montar dados a partir da sua conta de armazenamento em um trabalho, você pode habilitar chaves gerenciadas pelo cliente nessas contas de armazenamento para criptografia.

O disco do sistema operacional de cada nó de computação armazenado no Armazenamento do Microsoft Azure é sempre criptografado com chaves gerenciadas pela Microsoft em contas de armazenamento do Azure Machine Learning, e não com chaves gerenciadas pelo cliente. Esse destino de computação é temporário e, portanto, os dados armazenados no disco do sistema operacional são excluídos após o cluster ser reduzido verticalmente. Geralmente, os clusters são reduzidos verticalmente quando não há trabalhos na fila, o dimensionamento automático está ativado e o número mínimo de nós está definido como zero. A máquina virtual subjacente é desprovisionada e o disco do sistema operacional é excluído.

Não há suporte para o Azure Disk Encryption do disco do SO. Cada máquina virtual também tem um disco temporário local para operações do SO. Caso deseje, você pode usar o disco para preparar os dados de treinamento. Se você criar o workspace com o parâmetro hbi_workspace definido como TRUE, o disco temporário será criptografado. Esse ambiente tem uma curta duração (durante o trabalho), e o suporte da criptografia é limitado apenas a chaves gerenciadas pelo sistema.

Instância de computação

O disco do SO para uma instância de computação é criptografado com chaves gerenciadas pela Microsoft em contas de armazenamento do Azure Machine Learning. Se o workspace foi criado com o parâmetro hbi_workspace definido como TRUE, o disco temporário local na instância de computação é criptografado com chaves gerenciadas da Microsoft. Não há suporte para criptografia de chave gerenciada pelo cliente em discos temporários e sistema operacional.

Configuração de HBI (alto impacto nos negócios)

Nas configurações padrão do workspace, o Azure Machine Learning coleta informações de diagnóstico para monitoramento e melhoria de desempenho, bem como a solução de problemas de seus clusters de computação. Por exemplo, quando dois trabalhos são executados no mesmo cluster de computação usando a mesma imagem do Docker, a mesma imagem será reutilizável entre trabalhos sem precisar ser recompilada ou puxada duas vezes reduzindo os horários de início do trabalho.

Ao lidar com cargas de trabalho de dados altamente confidenciais, você pode recusar o comportamento acima definindo o sinalizador hbi em seu workspace. Esse sinalizador habilita os seguintes comportamentos:

• Ele reduz a quantidade de dados que a Microsoft coleta para fins de diagnóstico de seus clusters de computação e permite criptografia extra em ambientes gerenciados pela Microsoft.
• Começa a criptografar o disco temporário local no seu cluster de cálculo do Azure Machine Learning. Esse comportamento só será imposto se você não tiver criado nenhum cluster anterior nessa assinatura. De outro modo, você precisará gerar um tíquete de suporte para habilitar a criptografia do disco de rascunho dos seus clusters de computação.
• Limpa o disco de rascunho local entre os trabalhos. Por exemplo, isso limpa imagens do Docker armazenadas em cache e pode afetar a velocidade de inicialização do trabalho.
• Transmite as credenciais para sua conta de armazenamento, o registro de contêiner e a conta SSH (Secure Shell) da camada de execução para seus clusters de computação usando seu cofre de chaves.

Observe que o sinalizador hbi_workspace não afeta a criptografia em trânsito. Ele afeta apenas a criptografia em repouso.

Você poderá definir o sinalizador hbi_workspace somente quando criar um workspace. Ele não pode ser alterado para um workspace existente.

Quando esse sinalizador é definido como TRUE, ele pode aumentar a dificuldade de solucionar problemas porque menos dados de telemetria são enviados à Microsoft. Há menos visibilidade sobre taxas de sucesso ou tipos de problema. A Microsoft pode não conseguir reagir de forma proativa quando esse sinalizador é TRUE.

Para habilitar o sinalizador hbi_workspace ao criar o workspace do Azure Machine Learning, siga as etapas em um dos seguintes artigos:

• Criar e gerenciar um workspace usando o portal do Azure ou o SDK do Python
• Criar e gerenciar um workspace usando a CLI do Azure
• Criar um workspace usando o Terraform da Hashicorp
• Criar um workspace usando modelos do Azure Resource Manager

Próximas etapas

• Configurar chaves gerenciadas pelo cliente com o Azure Machine Learning