Aplica-se a:
SQL Server 2016 (13.x) e versões posteriores
PolyBase vs. servidores vinculados
A tabela a seguir destaca as diferenças entre o PolyBase e os recursos do servidor vinculado:
| PolyBase | Linked Servers |
|---|---|
| Objeto com escopo do banco de dados | Objeto com escopo de instância |
| Usa drivers ODBC | Usa provedores OLEDB |
| Suporta operações somente leitura para todas as fontes de dados e gravação em algumas fontes de dados externas | Suporta operações de leitura e gravação |
| As consultas à fonte de dados remota a partir de uma única conexão podem ser dimensionadas | As consultas à fonte de dados remota a partir de uma única conexão não podem ser dimensionadas |
| Pushdown de predicados é suportado | Pushdown de predicados é suportado |
| Nenhuma configuração separada necessária para o grupo de disponibilidade | Configuração separada necessária para cada instância no grupo de disponibilidade |
| Apenas autenticação básica | Autenticação básica e integrada |
| Adequado para consultas analíticas que processam um grande número de linhas | Adequado para consultas OLTP que retornam uma ou poucas linhas |
| Consultas usando tabela externa não podem participar de transações distribuídas | Consultas distribuídas podem participar de transações distribuídas |
O que há de novo no PolyBase no SQL Server 2022?
O SQL Server 2022 (16.x) agora oferece suporte a arquivos CSV, Parquet e Delta armazenados na Conta de Armazenamento do Azure v2, no Azure Data Lake Storage Gen2 ou em qualquer armazenamento de objetos compatível com o S3 usando a API REST do S3, no local ou na nuvem.
O SQL Server 2022 (16.x) agora pode usar CREATE EXTERNAL TABLE como SELECT (CETAS), juntamente com comandos como OPENROWSET, CREATE EXTERNAL TABLE (CET) e todos os novos aprimoramentos do T-SQL.
Atualmente, o suporte para fontes de dados externas do Hadoop foi removido no SQL Server 2022 (16.x).
A atualização cumulativa 2 do SQL Server 2022 (16.x) agora apresenta suporte para arquivos Oracle TNS. Consulte CREATE EXTERNAL DATA SOURCE para obter mais informações e exemplos.
Leia mais sobre Virtualização de dados com o PolyBase para SQL Server 2022 e revise os aprimoramentos do SQL Server 2022 PolyBase.
O que há de novo no PolyBase no SQL Server 2019?
O PolyBase no SQL Server 2019 (15.x) agora pode ler dados de uma variedade maior de fontes de dados. Os dados dessas fontes de dados externas podem ser armazenados como tabelas externas no SQL Server. O PolyBase também suporta computação pushdown para essas fontes de dados externas, excluindo tipos genéricos ODBC.
Fontes de dados compatíveis
- SQL Server
- Oracle
- Teradata
- MongoDB
- Tipos genéricos ODBC compatíveis
A atualização cumulativa 19 do SQL Server 2019 (15.x) agora apresenta suporte para arquivos Oracle TNS. Consulte CREATE EXTERNAL DATA SOURCE para obter mais informações e exemplos.
Note
O PolyBase pode permitir a conexão com fontes de dados externas usando drivers ODBC de terceiros. Esses drivers não são fornecidos junto com o PolyBase e podem não funcionar como pretendido. Para obter mais informações, consulte Configurar o PolyBase para acessar dados externos com tipos genéricos ODBC.
Que CONNECTION_OPTIONS posso especificar para conexão com fontes de dados de terceiros?
Consulte a CONNECTION_OPTIONS CREATE EXTERNAL DATA SOURCE (Transact-SQL) para obter opções de conexão de provedor de dados com suporte para SQL Server, Oracle, Teradata, a API do MongoDB para Cosmos DB e provedores de dados ODBC genéricos.
Como posso visualizar o plano de execução de consulta remota da computação pushdown do PolyBase?
Isso é possível por meio de alguns métodos, dependendo da versão do SQL Server. Consulte Solução de problemas do PolyBase - Para exibir o plano de consulta do PolyBase.
Como posso saber se a computação pushdown do PolyBase está acontecendo?
Consulte Como saber se ocorreu pushdown externo.
O PolyBase tem suporte no Banco de Dados SQL do Azure?
Não, mas você pode consultar dados nos arquivos colocados no Armazenamento de Blobs do Azure usando a função OPENROWSET ou usar CREATE EXTERNAL TABLE para ler de um pool SQL sem servidor no Synapse Analytics. Para obter mais informações, consulte O SQL do Azure pode ler arquivos de armazenamento do Azure Data Lake usando tabelas externas Synapse SQL.
O PolyBase é suportado na Instância Gerenciada SQL do Azure?
A Instância Gerenciada SQL do Azure tem seus próprios recursos de virtualização de dados para o Azure Data Lake Storage (ADLS) e o Armazenamento de Blobs do Azure como fontes de dados. Para obter mais informações, consulte Virtualização de dados com a Instância Gerenciada SQL do Azure.
Que portas devo permitir através do meu firewall para PolyBase?
Nenhuma porta adicional é necessária para abrir o PolyBase em si, exceto no caso de um grupo de expansão do PolyBase. Sem um grupo de expansão, o serviço PolyBase sozinho não deve exigir nenhuma regra de firewall.
Em servidores Windows, o PolyBase aproveitará as portas usadas pelo SQL Server na seção IPAll das configurações de TCP/IP no SQL Server Configuration Manager. Para obter mais informações, consulte Propriedades de TCP/IP. Em servidores Linux, o PolyBase aproveitará a configuração network.tcpport . Para obter mais informações, consulte Porta TCP.
Para grupos de expansão do PolyBase em vários servidores Windows, consulte as informações de porta na próxima pergunta.
No entanto, você deve permitir outras portas para comunicação com as várias fontes de dados externas usadas pelo PolyBase. Consulte a configuração ODBC, a configuração de recursos do Azure ou a documentação específica da fonte de dados. For example:
| Source platform | Reference |
|---|---|
| Microsoft SQL Server | Portas usadas pelo SQL Server |
| Hortonworks HDP | Administering HDFS |
| Cloudera CDH | Portas usadas pelos componentes CDH |
Quais portas são usadas para o grupo de expansão do PolyBase?
Por padrão, o serviço de movimentação de dados do PolyBase se conecta ao nó principal de um grupo de expansão em um intervalo de portas do TCP 16450-16460, normalmente usando 16450-16453, além da porta 17001. Essas portas só são usadas quando um grupo de expansão do PolyBase está configurado e devem ser permitidas por meio de firewalls de servidor. A Instalação do SQL Server deve criar automaticamente uma regra de firewall local que permita essas portas durante a instalação do recurso. Para obter mais informações, consulte Configurar grupos de expansão do PolyBase no Windows.
Note
Os grupos de expansão do Microsoft SQL Server PolyBase serão desativados. A funcionalidade de grupo de expansão será removida do produto no SQL Server 2022 (16.x).
PolyBase em clusters de Big Data versus PolyBase em instâncias autônomas
Para obter mais informações sobre conexões usando o conector genérico ODBC, visite nosso Guia de instruções para configurar tipos genéricos ODBC.
A tabela a seguir destaca os recursos do PolyBase disponíveis na instalação autônoma do SQL Server 2019 (15.x) e no cluster de big data do SQL Server 2019 (15.x):
| Feature | Cluster de Big Data | Instância autônoma |
|---|---|---|
| Criar fonte de dados externa para SQL Server, Oracle, Teradata e Mongo DB | X | X |
| Criar fonte de dados externa usando um driver ODBC de terceiros compatível | X | |
| Criar fonte de dados externa para fonte de dados HADOOP | X | X |
| Criar fonte de dados externa para o Armazenamento de Blobs do Azure | X | X |
| Criar tabela externa em um pool de dados do SQL Server | X | |
| Criar tabela externa em um pool de armazenamento do SQL Server | X | |
| Execução de consulta em expansão | X | X (apenas Windows) |
Important
O Microsoft SQL Server 2019 Big Data Clusters foi desativado. Para obter mais informações, consulte a postagem de anúncio no blog e as opções de Big Data na plataforma Microsoft SQL Server.