Pular para o conteúdo principal

Referência de propriedades de pipeline declarativasLakeFlow

Este artigo fornece uma referência para a especificação de configuração JSON do pipeline declarativo LakeFlow e propriedades de tabela no Databricks. Para obter mais detalhes sobre o uso dessas várias propriedades e configurações, consulte os seguintes artigos:

Configurações de pipeline declarativasLakeFlow

  • id

    Tipo: string

    Um identificador globalmente exclusivo para este pipeline. O identificador é atribuído pelo sistema e não pode ser alterado.

  • name

    Tipo: string

    Um nome amigável para este pipeline. O nome pode ser usado para identificar o trabalho pipeline na interface do usuário.

  • configuration

    Tipo: object

    Uma lista opcional de configurações para adicionar à configuração do Spark do cluster que executará o pipeline. Essas configurações são lidas pelo tempo de execução do pipeline declarativo LakeFlow e estão disponíveis para consultas pipeline por meio da configuração Spark .

    Os elementos devem ser formatados como pares key:value .

  • libraries

    Tipo: array of objects

    Uma matriz de arquivos de código contendo o código do pipeline e os artefatos necessários.

  • clusters

    Tipo: array of objects

    Uma série de especificações para os clusters executarem o pipeline.

    Se isso não for especificado, o pipeline selecionará automaticamente uma configuração cluster default para o pipeline.

  • development

    Tipo: boolean

    Um sinalizador que indica se o pipeline deve ser executado em Modo development ou production .

    O valor default é true

  • notifications

    Tipo: array of objects

    Uma matriz opcional de especificações para notificações email quando uma atualização pipeline é concluída, falha com um erro que pode ser repetido, falha com um erro que não pode ser repetido ou um fluxo falha.

  • continuous

    Tipo: boolean

    Um sinalizador que indica se o pipeline deve ser executado continuamente.

    O valor default é false.

  • catalog

    Tipo: string

    O nome do catálogo default para o pipeline, onde todos os conjuntos de dados e metadados do pipeline são publicados. Definir esse valor habilita o Unity Catalog para o pipeline.

    Se não for definido, o pipeline será publicado no Hive metastore Hive legado usando o local especificado em storage.

    No modo de publicação legado, especifica o catálogo que contém o esquema de destino onde todos os conjuntos de dados do pipeline atual são publicados. Veja o esquema LIVE (legado).

  • schema

    Tipo: string

    O nome do esquema default para o pipeline, onde todos os conjuntos de dados e metadados para o pipeline são publicados por default. Consulte Definir o catálogo de destino e o esquema.

  • target (legado)

    Tipo: string

    O nome do esquema de destino onde todos os conjuntos de dados definidos no pipeline atual são publicados.

    Definir target em vez de schema configura o pipeline para usar o modo de publicação legado. Veja o esquema LIVE (legado).

  • storage (legado)

    Tipo: string

    Um local no DBFS ou armazenamento cloud onde os dados de saída e metadados necessários para a execução pipeline são armazenados. Tabelas e metadados são armazenados em subdiretórios deste local.

    Quando a configuração storage não for especificada, o sistema usará como default um local em dbfs:/pipelines/.

    A configuração storage não pode ser alterada após a criação de um pipeline.

  • channel

    Tipo: string

    A versão do tempo de execução do pipeline declarativo LakeFlow a ser usada. Os valores suportados são:

    • preview para testar seu pipeline com as próximas alterações na versão do runtime.
    • current para usar a versão atual do runtime.

    O campo channel é opcional. O valor default é current. A Databricks recomenda usar a versão atual do tempo de execução para cargas de trabalho de produção.

  • edition

    Tipo string

    Edição do produto LakeFlow Declarative pipeline para execução do pipeline. Esta configuração permite que você escolha a melhor edição do produto com base nos requisitos do seu pipeline:

    • CORE para execução transmissão ingerir cargas de trabalho.
    • PRO para execução de transmissão de ingest e captura de dados de alterações (CDC) (CDC) cargas de trabalho.
    • ADVANCED para executar cargas de trabalho de ingestão de transmissão, cargas de trabalho CDC e cargas de trabalho que exigem expectativas de pipeline declarativas LakeFlow para impor restrições de qualidade de dados.

    O campo edition é opcional. O valor default é ADVANCED.

  • photon

    Tipo: boolean

    Um sinalizador que indica se deve ser usado O que é Photon? para executar o pipeline. Photon é o mecanismo Spark de alto desempenho da Databricks. Os pipelines habilitados para Photon são cobrados a uma taxa diferente dos pipelines não habilitados para Photon.

    O campo photon é opcional. O valor default é false.

  • pipelines.maxFlowRetryAttempts

    Tipo: int

    Se ocorrer uma falha que pode ser repetida durante uma atualização do pipeline, este é o número máximo de vezes para tentar novamente um fluxo antes que a atualização do pipeline falhe.

    padrão: Duas tentativas de repetição. Quando ocorre uma falha que pode ser repetida, o tempo de execução do pipeline declarativo LakeFlow tenta executar o fluxo três vezes, incluindo a tentativa original.

  • pipelines.numUpdateRetryAttempts

    Tipo: int

    Se ocorrer uma falha que pode ser repetida durante uma atualização, esse será o número máximo de vezes para tentar a atualização novamente antes que ela falhe permanentemente. A nova tentativa é executada como uma atualização completa.

    Este parâmetro se aplica somente ao pipeline em execução no modo de produção. Não serão feitas novas tentativas se o seu pipeline estiver em modo de desenvolvimento ou quando você executar uma atualização Validate .

    padrão:

    • Cinco para pipeline acionado.
    • Ilimitado para pipeline contínuo.

Propriedades da tabela de pipeline declarativaLakeFlow

Além das propriedades de tabela suportadas pelo Delta Lake, você pode definir as seguintes propriedades de tabela.

  • pipelines.autoOptimize.zOrderCols

    padrão: Nenhum

    Uma strings opcional contendo uma lista separada por vírgulas de nomes de coluna para esta tabela em Z-order. Por exemplo, pipelines.autoOptimize.zOrderCols = "year,month"

  • pipelines.reset.allowed

    padrão: true

    Controla se uma refresh completa é permitida para esta tabela.

  • pipelines.autoOptimize.managed

    padrão: true

    Habilita ou desabilita a otimização agendada automaticamente desta tabela.

    Para gerenciamento de pipeline por otimização preditiva, esta propriedade não é usada.

intervalo de disparo do pipeline

Você pode especificar um intervalo de acionamento pipeline para todo o pipeline ou como parte de uma declaração de dataset . Consulte Definir intervalo de disparo para pipeline contínuo.

  • pipelines.trigger.interval

    O default é baseado no tipo de fluxo:

    • Cinco segundos para consultas de transmissão.
    • Um minuto para consultas completas quando todos os dados de entrada são de fontes Delta.
    • Dez minutos para consultas completas quando algumas fontes de dados podem não ser Delta.

    O valor é um número mais a unidade de tempo. As seguintes são as unidades de tempo válidas:

    • second, seconds
    • minute, minutes
    • hour, hours
    • day, days

    Você pode usar a unidade singular ou plural ao definir o valor, por exemplo:

    • {"pipelines.trigger.interval" : "1 hour"}
    • {"pipelines.trigger.interval" : "10 seconds"}
    • {"pipelines.trigger.interval" : "30 second"}
    • {"pipelines.trigger.interval" : "1 minute"}
    • {"pipelines.trigger.interval" : "10 minutes"}
    • {"pipelines.trigger.interval" : "10 minute"}

Atributos de cluster que não podem ser definidos pelo usuário

Como o pipeline declarativo LakeFlow gerencia os ciclos de vida cluster , muitas configurações cluster são definidas pelo pipeline declarativo LakeFlow e não podem ser configuradas manualmente pelos usuários, seja em uma configuração pipeline ou em uma política de cluster usada por um pipeline. A tabela a seguir lista essas configurações e por que elas não podem ser definidas manualmente.

  • cluster_name

    O pipeline declarativo LakeFlow define os nomes dos clusters usados para executar atualizações pipeline . Esses nomes não podem ser substituídos.

  • data_security_mode

    access_mode

    Esses valores são definidos automaticamente pelo sistema.

  • spark_version

    clusters de pipeline declarativos LakeFlow são executados em uma versão personalizada do Databricks Runtime que é continuamente atualizada para incluir os recursos mais recentes. A versão do Spark está incluída na versão do Databricks Runtime e não pode ser substituída.

  • autotermination_minutes

    Como o pipeline declarativo LakeFlow gerencia a lógica de reutilização e o término automático cluster , o tempo de término automático cluster não pode ser substituído.

  • runtime_engine

    Embora você possa controlar esse campo habilitando o Photon para seu pipeline, não é possível definir esse valor diretamente.

  • effective_spark_version

    Este valor é definido automaticamente pelo sistema.

  • cluster_source

    Este campo é definido pelo sistema e é somente leitura.

  • docker_image

    Como o pipeline declarativo LakeFlow gerencia o ciclo de vida cluster , você não pode usar um contêiner personalizado com clusters pipeline .

  • workload_type

    Este valor é definido pelo sistema e não pode ser substituído.