Pular para o conteúdo principal
Última atualização em

Use instruções ALTER com o conjunto de dados pipeline

Os Lakeflow pipelines são definidos em código-fonte dedicado que você cria em SQL ou Python, por exemplo, no Editor do Lakeflow Pipelines.

LakeFlow Connect cria pipelines que ingerem dados e criam tabelas de transmissão de ingestão.

O Databricks também oferece um ambiente SQL chamado Databricks SQL. É possível criar views materializadas e tabelas de transmissão com o Databricks SQL usando a funcionalidade de pipeline fora do Lakeflow (consulte Pipelines autônomos). Normalmente, o Databricks SQL não é usado para criar ou atualizar LakeFlow Pipelines.

No entanto, você pode usar instruções ALTER SQL no Databricks SQL para modificar as propriedades de um dataset criado com LakeFlow Pipelines, Databricks SQL ou Lakeflow Connect. Use essas instruções SQL de qualquer ambiente do Databricks SQL, seja modificando datasets de Lakeflow pipeline, datasets de pipelines autônomos ou datasets do Lakeflow Connect.

Para datasets suportados por um pipeline autônomo criado no Databricks SQL, você também pode alterar o proprietário com SET OWNER TO.

nota

Você não pode modificar a agenda ou o trigger de um dataset definido nos LakeFlow Pipelines com uma instrução ALTER.

Limitação: Atualizações e alterações de pipeline feitas com ALTER​

Existem casos em que as declarações ALTER entram em conflito com a definição do conjunto de dados criado pipeline . O SQL que define uma tabela ou view em um pipeline é reexecutado a cada atualização. Isso pode desfazer as alterações feitas com uma declaração ALTER .

Por exemplo, se você tiver uma instrução SQL que define uma view materializada, como a seguinte:

SQL
CREATE OR REPLACE MATERIALIZED VIEW masked_view (
    id int,
    name string,
    region string,
    ssn string MASK catalog.schema.ssn_mask_fn
  )
  WITH ROW FILTER catalog.schema.us_filter_fn ON (region)
  AS SELECT id, name, region, ssn
       FROM employees;

Em seguida, você tenta remover a máscara da coluna ssn usando uma instrução ALTER , assim:

SQL
ALTER MATERIALIZED VIEW masked_view ALTER COLUMN ssn DROP MASK;

A máscara é removida, mas na próxima vez que a view materializada for atualizada, a definição SQL a adiciona novamente.

Para remover a máscara com segurança, você deve editar a definição SQL para remover a máscara e, em seguida, executar o comando ALTER para DROP a máscara.

nota

Para editar a definição de um pipeline definido em LakeFlow Pipelines, edite a origem do seu pipeline usando o editor de pipeline. Para editar a definição de um pipeline autônomo, execute a instrução SQL modificada em qualquer ambiente do Databricks SQL.

Recursos adicionais​

Nesta página