Usar ALTER comandos com conjuntos de dados de pipeline

O SDP (Lakeflow Spark Declarative Pipelines) define pipelines no código-fonte específico do SDP. Você pode editar a origem do pipeline em SQL ou Python, por exemplo, no Editor do Lakeflow Pipelines.

O Azure Databricks também fornece um ambiente SQL chamado SQL do Databricks. Você pode criar exibições materializadas e tabelas de streaming com o Databricks SQL usando a funcionalidade de pipeline fora do SDP (consulte Usar pipelines no Databricks SQL). Normalmente, o DATAbricks SQL não é usado com pipelines declarativos do Lakeflow Spark.

No entanto, você pode usar ALTER instruções SQL no Databricks SQL para modificar as propriedades de um conjunto de dados criado com SDP ou Databricks SQL. Use essas instruções SQL em qualquer ambiente do Databricks SQL, quer você esteja modificando conjuntos de dados SDP ou conjuntos de dados de pipeline do Databricks SQL.

• Tabelas de streaming – ALTER STREAMING TABLE
• Visões materializadas - ALTER MATERIALIZED VIEW

Limitação: atualizações no pipeline e alterações feitas com ALTER

Há casos ALTER em que as instruções entram em conflito com a definição dos conjuntos de dados criados pelo pipeline. O SQL que define uma tabela ou exibição em um pipeline é executado novamente em cada atualização. Isso pode desfazer as alterações que você faz com uma instrução ALTER.

Por exemplo, se você tiver uma instrução SQL que defina uma exibição materializada, como a seguinte:

CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Em seguida, você tenta remover a máscara da ssn coluna usando uma instrução ALTER , desta forma:

ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas na próxima vez que a exibição materializada for atualizada, a definição do SQL a adicionará novamente.

Para remover a máscara com segurança, você deve editar a definição de SQL para remover a máscara e, em seguida, executar o ALTER comando para DROP a máscara.

Recursos adicionais

• Usar pipelines no DATAbricks SQL
• Desenvolver pipelines declarativos do Lakeflow Spark
• Desenvolver código do Lakeflow Spark Declarative Pipelines com SQL