Ingerir dados do armazenamento de objetos na nuvem

Este artigo lista as maneiras de configurar a ingestão incremental do armazenamento de objetos na nuvem.

Adicionar interface do usuário de dados

Para aprender a utilizar a interface de utilizador para adicionar dados e criar uma tabela gerida a partir de dados no armazenamento de objetos na nuvem, veja Carregar dados usando um local externo do Unity Catalog.

Bloco de anotações ou editor SQL

Esta seção descreve opções para configurar a ingestão incremental do armazenamento de objetos na nuvem usando um bloco de anotações ou o editor SQL do Databricks.

Carregador Automático

O Auto Loader processa de forma incremental e eficiente novos arquivos de dados à medida que chegam ao armazenamento em nuvem sem configuração adicional. O Auto Loader fornece uma fonte de Streaming Estruturado chamada cloudFiles. Dado um caminho de diretório de entrada no armazenamento de arquivos em nuvem, a origem cloudFiles processa automaticamente novos arquivos à medida que chegam, com a opção de também processar arquivos existentes nesse diretório.

COPY INTO

Com COPY INTO, os usuários do SQL podem ingerir dados de forma idempotente e incremental do armazenamento de objetos na nuvem em tabelas Delta. Você pode usar COPY INTO em Databricks SQL, notebooks e Lakeflow Jobs.

Quando usar COPY INTO e quando usar o Auto Loader

Aqui estão algumas coisas a considerar ao escolher entre Auto Loader e COPY INTO:

• Se fores ingerir arquivos na ordem de milhares ao longo do tempo, poderás usar COPY INTO. Se você está esperando arquivos na ordem de milhões ou mais ao longo do tempo, use Auto Loader. O Auto Loader requer menos operações totais para descobrir arquivos em comparação com COPY INTO e pode dividir o processamento em vários lotes, o que significa que o Auto Loader é menos caro e mais eficiente em escala.
• Se o seu esquema de dados vai evoluir com frequência, o Auto Loader fornece melhores tipos de dados primitivos em torno da inferência e evolução do esquema. Consulte Configurar inferência e evolução de esquema no Auto Loader para obter mais detalhes.
• Carregar um subconjunto de arquivos recarregados pode ser um pouco mais fácil de gerir com o COPY INTO. Com o Auto Loader, é mais difícil reprocessar um subconjunto selecionado de arquivos. No entanto, você pode usar COPY INTO para recarregar o subconjunto de arquivos enquanto um fluxo do carregador automático está sendo executado simultaneamente.

• Para uma experiência de ingestão de arquivos ainda mais escalável e robusta, o Auto Loader permite que os usuários do SQL aproveitem as tabelas de streaming. Consulte Utilizar tabelas de streaming no Databricks SQL.

Para uma breve visão geral e demonstração do Auto Loader e COPY INTO, assista ao seguinte vídeo do YouTube (2 minutos).

Automatize o ETL com dutos declarativos Lakeflow Spark e carregador automático

Você pode simplificar a implantação de infraestrutura de ingestão escalável e incremental com Auto Loader e Lakeflow Spark Declarative Pipelines. O Lakeflow Spark Declarative Pipelines não usa a execução interativa padrão encontrada em notebooks, em vez disso, enfatiza a implantação de infraestrutura pronta para produção.

• Tutorial: Construir um pipeline ETL com Lakeflow Spark Declarative Pipelines
• Incorporar dados no Armazenamento do Azure Data Lake

• Tabelas de streaming

Ferramentas de integração de terceiros

O Databricks valida integrações de parceiros de tecnologia que permitem ingerir a partir de várias fontes, incluindo armazenamento de objetos na nuvem. Essas integrações permitem a ingestão de dados escaláveis e de baixo código de várias fontes no Azure Databricks. Consulte Parceiros tecnológicos. Alguns parceiros de tecnologia são apresentados em O que é o Databricks Partner Connect?, que fornece uma interface do usuário que simplifica a conexão de ferramentas de terceiros aos seus dados lakehouse.