Acessar dados do Databricks usando sistemas externos

Esta página fornece uma visão geral da funcionalidade e das recomendações para tornar os dados gerenciados e regidos pelo Azure Databricks disponíveis para outros sistemas.

Esses padrões se concentram em cenários em que sua organização precisa integrar ferramentas ou sistemas confiáveis aos dados do Azure Databricks. Se você estiver procurando orientação sobre o compartilhamento de dados fora da sua organização, consulte Compartilhar dados e ativos de IA com segurança com usuários de outras organizações.

Quais são os acessos externos que o Azure Databricks suporta?

O Azure Databricks recomenda usar o Catálogo do Unity para controlar todos os seus ativos de dados. O Catálogo do Unity fornece integrações a clientes delta lake usando a API REST do Unity e clientes Apache Iceberg usando o catálogo REST do Iceberg. Para obter uma lista completa de integrações com suporte, consulte as integrações do Catálogo do Unity.

A tabela a seguir fornece uma visão geral dos formatos de suporte e padrões de acesso para objetos do Catálogo do Unity.

* Há suporte apenas para tabelas estrangeiras federadas usando a federação de catálogo . Para garantir novas leituras de mecanismos externos em tabelas estrangeiras, os clientes podem atualizar periodicamente metadados usando trabalhos do Lakeflow.

Para obter mais detalhes sobre esses objetos do Catálogo do Unity, consulte o seguinte:

• Tabelas gerenciadas do Unity Catalog no Azure Databricks para Delta Lake e Apache Iceberg
• Trabalhar com tabelas externas
• O que são os volumes do Catálogo do Unity?

Distribuição de credenciais do Catálogo do Unity

A venda automática de credenciais do Catálogo do Unity permite que os usuários configurem clientes externos para herdar privilégios em dados regidos pelo Azure Databricks. Os clientes Iceberg e Delta podem dar suporte à venda automática de credenciais. Consulte Provisionamento de credenciais do Catálogo do Unity para acesso a sistemas externos.

Leitura de tabelas com clientes Delta

Use a API REST do Unity para ler tabelas gerenciadas e externas do Catálogo do Unity apoiadas pelo Delta Lake de clientes Delta compatíveis. Consulte Ler tabelas do Databricks a partir de clientes Delta.

Ler tabelas com clientes Iceberg

O Azure Databricks fornece aos clientes Iceberg suporte somente leitura para tabelas registradas no Unity Catalog. Os clientes com suporte incluem Apache Spark, Apache Flink, Trino e Snowflake. Consulte "Acesso a tabelas do Azure Databricks de clientes Apache Iceberg".

Compartilhar tabelas somente leitura entre domínios

Você pode usar o Compartilhamento Delta para conceder acesso somente leitura a tabelas Delta gerenciadas ou externas entre domínios e sistemas compatíveis. Os sistemas de software que dão suporte a leituras de cópia zero de tabelas delta Sharing incluem SAP, Amperity e Oracle. Confira Compartilhar dados e ativos de IA com segurança com usuários em outras organizações.

Criar, ler e gravar tabelas Delta externas

Você pode criar, ler e gravar tabelas externas do Catálogo do Unity apoiadas pelo Delta Lake a partir de clientes externos do Delta Lake usando uris e credenciais de armazenamento de objetos de nuvem. Para criar tabelas, consulte Criar tabelas Delta externas de clientes externos.

O Catálogo do Unity não controla leituras e gravações executadas diretamente no armazenamento de objetos na nuvem a partir de sistemas externos, portanto, você deve configurar políticas e credenciais adicionais em sua conta de nuvem para garantir que as políticas de governança de dados sejam respeitadas fora do Azure Databricks.

Acesse dados tabulares que não são do Delta Lake com tabelas externas

As tabelas externas do Catálogo do Unity dão suporte a muitos formatos diferentes do Delta Lake, incluindo Parquet, ORC, CSV e JSON. As tabelas externas armazenam todos os arquivos de dados em diretórios em um local de armazenamento de objetos de nuvem especificado por um URI de nuvem fornecido durante a criação da tabela. Outros sistemas acessam esses arquivos de dados diretamente do armazenamento de objetos na nuvem.

O Catálogo do Unity não controla leituras e gravações executadas diretamente no armazenamento de objetos na nuvem a partir de sistemas externos, portanto, você deve configurar políticas e credenciais adicionais em sua conta de nuvem para garantir que as políticas de governança de dados sejam respeitadas fora do Azure Databricks.

Ler e gravar em tabelas externas de vários sistemas pode levar a problemas de consistência e corrupção de dados, pois nenhuma garantia transacional é fornecida para formatos diferentes do Delta Lake.

O Catálogo do Unity pode não captar novas partições gravadas em tabelas externas apoiadas por formatos diferentes do Delta Lake. O Databricks recomenda executar MSCK REPAIR TABLE table_name regularmente para que o Unity Catalog registre todos os arquivos de dados gravados por sistemas externos.

Acessar dados não tabulares com volumes externos

O Databricks recomenda usar volumes externos para armazenar arquivos de dados não tabulares, que são lidos ou gravados por sistemas externos, além do Azure Databricks. Confira O que são volumes do Unity Catalog?.

O Catálogo do Unity não controla leituras e gravações executadas diretamente no armazenamento de objetos na nuvem a partir de sistemas externos, portanto, você deve configurar políticas e credenciais adicionais em sua conta de nuvem para garantir que as políticas de governança de dados sejam respeitadas fora do Azure Databricks.

Os volumes fornecem APIs, SDKs e outras ferramentas para obter arquivos e colocar arquivos em volumes. Consulte Trabalho com arquivos nos volumes do Unity Catalog.