Pular para o conteúdo principal
Última atualização em

Use instruções ALTER com o conjunto de dados pipeline

O pipeline declarativo (SDP) LakeFlow Spark define um pipeline no código-fonte que é específico para o SDP. Você pode editar a origem pipeline em SQL ou Python, por exemplo, no EditorLakeFlow Pipelines.

LakeFlow Connect cria pipelines que ingerem dados e criam tabelas de transmissão de ingestão.

O Databricks também fornece um ambiente SQL chamado Databricks SQL. Você pode criar visualizações materializadas e tabelas de transmissão com Databricks SQL usando a funcionalidade pipeline fora do SDP (consulte Pipeline independente). Normalmente, Databricks SQL não é usado com o pipeline declarativo LakeFlow Spark .

No entanto, é possível usar ALTER instruções SQL no Databricks SQL para modificar as propriedades de um dataset criado com SDP, Databricks SQL ou LakeFlow Connect. Utilize estas declarações SQL de qualquer ambiente Databricks SQL, quer esteja a modificar conjuntos de dados SDP, conjuntos de dados de pipeline autónomos ou conjuntos de dados LakeFlow Connect.

Para datasets suportados por um pipeline autônomo criado no Databricks SQL, você também pode alterar o proprietário com SET OWNER TO.

nota

Você não pode modificar o programar ou o gatilho de um dataset definido no SDP com uma instrução ALTER .

Limitação: Atualizações e alterações de pipeline feitas com ALTER​

Existem casos em que as declarações ALTER entram em conflito com a definição do conjunto de dados criado pipeline . O SQL que define uma tabela ou view em um pipeline é reexecutado a cada atualização. Isso pode desfazer as alterações feitas com uma declaração ALTER .

Por exemplo, se você tiver uma instrução SQL que define uma view materializada, como a seguinte:

SQL
CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Em seguida, você tenta remover a máscara da coluna ssn usando uma instrução ALTER , assim:

SQL
ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas na próxima vez que a view materializada for atualizada, a definição SQL a adiciona novamente.

Para remover a máscara com segurança, você deve editar a definição SQL para remover a máscara e, em seguida, executar o comando ALTER para DROP a máscara.

nota

Para editar a definição de um pipeline definido no SDP, edite o código-fonte do seu pipeline usando o editor de pipeline. Para editar a definição de um pipeline autônomo, execute a instrução SQL modificada em qualquer ambiente do Databricks SQL.

Recursos adicionais​

Nesta página