Pular para o conteúdo principal
Última atualização em

Use instruções ALTER com o conjunto de dados pipeline

info

Visualização

Este recurso está em Pré-visualização Pública.

O pipeline declarativo (SDP) LakeFlow Spark define um pipeline no código-fonte que é específico para o SDP. Você pode editar a origem pipeline em SQL ou Python, por exemplo, no EditorLakeFlow Pipelines.

O Databricks também fornece um ambiente SQL chamado Databricks SQL. Você pode criar visualizações materializadas e tabelas de transmissão com Databricks SQL usando a funcionalidade pipeline fora do SDP (consulte Usar pipeline no Databricks SQL). Normalmente, Databricks SQL não é usado com o pipeline declarativo LakeFlow Spark .

No entanto, você pode usar instruções SQL ALTER no Databricks SQL para modificar as propriedades de um dataset criado com SDP ou Databricks SQL. Utilize essas instruções SQL em qualquer ambiente Databricks SQL , seja para modificar um conjunto de dados SDP ou um conjunto de dados pipeline Databricks SQL .

nota

Você não pode modificar o programar ou o gatilho de um dataset definido no SDP com uma instrução ALTER .

Limitação: Atualizações e alterações de pipeline feitas com ALTER​

Existem casos em que as declarações ALTER entram em conflito com a definição do conjunto de dados criado pipeline . O SQL que define uma tabela ou view em um pipeline é reexecutado a cada atualização. Isso pode desfazer as alterações feitas com uma declaração ALTER .

Por exemplo, se você tiver uma instrução SQL que define uma view materializada, como a seguinte:

SQL
CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Em seguida, você tenta remover a máscara da coluna ssn usando uma instrução ALTER , assim:

SQL
ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas na próxima vez que a view materializada for atualizada, a definição SQL a adiciona novamente.

Para remover a máscara com segurança, você deve editar a definição SQL para remover a máscara e, em seguida, executar o comando ALTER para DROP a máscara.

nota

Para editar a definição de um pipeline definido no SDP, edite a origem do seu pipeline usando o editorpipeline. Para editar a definição de um pipeline definido no Databricks SQL, execute a instrução SQL modificada em qualquer ambiente Databricks SQL .

Recursos adicionais​