Provisionamento de credenciais do Catálogo do Unity para acesso a sistemas externos

Esta página descreve como a funcionalidade de venda automática de credenciais do Catálogo do Unity dá suporte ao acesso a dados no Azure Databricks de mecanismos de processamento externos.

A venda automática de credenciais dá suporte a sistemas externos que se conectam ao Catálogo do Unity usando a API REST do Unity e o catálogo REST do Apache Iceberg. Consulte Ler tabelas do Databricks de clientes Delta e Acessar dados do Databricks usando sistemas externos.

O que é a venda automática de credenciais do Catálogo do Unity?

O provisionamento de credenciais concede credenciais de curta duração usando a API REST do Catálogo Unity. As credenciais concedidas herdam os privilégios do principal do Azure Databricks usado para configurar a integração.

A venda automática de credenciais de tabela fornece acesso aos dados registrados no metastore do Catálogo do Unity.

A vending de credenciais de caminho fornece acesso a locais externos no metastore do Catálogo do Unity.

Vending de credencial de tabela

Para receber uma credencial temporária para uma tabela, a entidade de segurança do Azure Databricks solicitada (usuário, grupo ou entidade de serviço) deve ter o EXTERNAL USE SCHEMA privilégio no esquema que contém a tabela. O metastore do Catálogo do Unity também deve ser habilitado explicitamente para acesso externo. Consulte Ativar o acesso aos dados externos ao Catálogo do Unity.

As credenciais incluem uma cadeia de caracteres de token de acesso de curta duração e uma URL de local de armazenamento em nuvem que o mecanismo externo pode usar para acessar dados de tabela e metadados do local de armazenamento em nuvem.

Requisitos

• Você deve configurar o acesso externo no metastore e conceder EXTERNAL USE SCHEMA ao principal responsável pela configuração da conexão. Consulte Ativar o acesso aos dados externos ao Catálogo do Unity.
• Para acessar o workspace do Azure Databricks usando APIs Abertas do Catálogo do Unity ou APIs REST do Iceberg, a URL do workspace deve estar acessível ao mecanismo que está executando a solicitação. Isso inclui workspaces que usam listas de acesso IP ou Link Privado do Azure.
• Para acessar o local de armazenamento em nuvem subjacente para objetos de dados registrados no Catálogo do Unity, as URLs de armazenamento geradas pela API de credenciais temporárias do Catálogo do Unity devem estar acessíveis ao mecanismo que executa a solicitação. Isso significa que o mecanismo deve ter permissão no firewall e nas listas de controle de acesso de rede para as contas de armazenamento em nuvem subjacentes.

Solicitar uma credencial de tabela temporária para acesso a dados externos

O suporte para fornecimento de credenciais varia de acordo com o cliente externo. Quando houver suporte, o cliente deve aproveitar automaticamente as credenciais fornecidas quando uma conexão for configurada.

Esta seção dá um exemplo de como chamar explicitamente o ponto de extremidade da API de provisionamento de credenciais. Alguns clientes externos podem exigir que você defina explicitamente as configurações para acessar dados e metadados no armazenamento de objetos de nuvem que dão suporte às tabelas do Catálogo do Unity. Você pode usar valores retornados pela venda automática de credenciais para configurar o acesso.

O exemplo de curl a seguir solicita explicitamente uma credencial temporária para acesso a dados externos. Essa solicitação deve ser concluída por uma entidade de segurança do workspace suficientemente privilegiado.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Para obter detalhes, consulte POST /api/2.1/unity-catalog/temporary-table-credentials na referência da API REST do Azure Databricks.

Limitações

As seguintes limitações existem:

• Nem todos os clientes externos dão suporte à venda automática de credenciais e o suporte pode variar dependendo do armazenamento de objetos de nuvem subjacente.
• Há suporte apenas para tabelas gerenciadas do Catálogo do Unity e tabelas externas do Catálogo do Unity.
  • As tabelas que estão habilitadas para leituras de Iceberg compartilham esse requisito. Confira Ler tabelas Delta com clientes Iceberg.
  • Os clientes leitores do Delta Lake só podem ler tabelas suportadas pelo Delta Lake e devem dar suporte a todos os protocolos de leitor ou gravador habilitados na tabela. Consulte a compatibilidade de recursos e protocolos do Delta Lake.
  • Tabelas externas que não usam o Delta Lake não fornecem garantias transacionais.
• Não há suporte para os seguintes tipos de tabela ou tabelas com recursos habilitados:
  • Tabelas com filtros de linha ou máscaras de coluna.
  • Tabelas compartilhadas usando o Compartilhamento Delta.
  • Tabelas federadas do Lakehouse (tabelas externas).
  • Exibições.
  • Exibições materializadas.
  • Tabelas de streaming do Lakeflow Spark Declarative Pipelines.
  • Tabelas online.
  • Índices de Busca Vetorial.
• Não há suporte para atualização de credenciais no Iceberg 1.9.0. Use a versão mais recente do Iceberg para atualização de credenciais.

Vending de credencial de caminho

Para receber uma credencial temporária para um caminho, a entidade de segurança do Azure Databricks solicitante deve ser concedida:

• O privilégio EXTERNAL USE LOCATION no local externo.
• O EXTERNAL USE SCHEMA privilégio no esquema, se estiver acessando uma tabela externa.

Assim como acontece com a venda automática de credenciais de tabela, o metastore do Catálogo do Unity deve estar explicitamente habilitado para acesso externo. Consulte Ativar o acesso aos dados externos ao Catálogo do Unity.

As credenciais emitidas permitem acesso direto ao local de armazenamento em nuvem, com escopo para o caminho relevante. Eles são válidos por um tempo limitado e não concedem acesso mais amplo além do local ou tabela definido.

Requisitos

• O metastore do Catálogo do Unity deve ter acesso externo habilitado e a entidade de segurança solicitante deve ser concedida EXTERNAL USE LOCATION. Se estiver acessando uma tabela externa, elas também deverão ser concedidas EXTERNAL USE SCHEMA. Consulte Ativar o acesso aos dados externos ao Catálogo do Unity.
• O mecanismo externo deve ser capaz de acessar a URL do workspace do Azure Databricks. Isso se aplica a workspaces usando listas de acesso IP ou Link Privado do Azure.
• As URLs de armazenamento em nuvem geradas pela API de venda automática de credenciais devem estar acessíveis ao mecanismo externo. Verifique se o mecanismo é permitido por firewall e controles de acesso à rede nas contas de armazenamento em nuvem subjacentes.

Solicitar uma credencial de caminho temporário para acesso a dados externos

O suporte para fornecimento de credenciais varia de acordo com o cliente externo. Quando houver suporte, o cliente deve aproveitar automaticamente as credenciais fornecidas quando uma conexão for configurada.

Esta seção dá um exemplo de como chamar explicitamente o ponto de extremidade da API de provisionamento de credenciais. Alguns clientes externos podem exigir que você defina explicitamente as configurações para acessar dados e metadados no armazenamento de objetos de nuvem que dão suporte às tabelas do Catálogo do Unity. Você pode usar valores retornados pela venda automática de credenciais para configurar o acesso.

O exemplo de curl a seguir solicita explicitamente uma credencial temporária para acesso a dados externos. Essa solicitação deve ser concluída por uma entidade de segurança do workspace suficientemente privilegiado.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Para obter detalhes, consulte Gerar uma credencial de caminho temporário na referência da API REST do Azure Databricks.