Pular para o conteúdo principal
Última atualização em

referência de propriedades de dutos

Referência para as configurações de configuração de JSON do pipeline e propriedades da tabela. Para obter mais detalhes sobre como usar estas propriedades e configurações, consulte os seguintes artigos:

Configuração de LakeFlow Pipelines e Apache Spark™ Declarative Pipelines​

Os LakeFlow Pipelines são criados com base nos Apache Spark™ Declarative Pipelines (SDP). A configuração do pipeline é, em grande parte, um superconjunto da especificação do projeto SDP. As diferenças no uso das propriedades entre o SDP e os LakeFlow Pipelines são observadas. Para uma comparação dos recursos que os Lakeflow Pipelines e o SDP compartilham, consulte Apache Spark Declarative Pipelines.

Configurações de pipeline​

  • id

    Tipo: string

    Um identificador globalmente exclusivo para este pipeline. O identificador é atribuído pelo sistema e não pode ser alterado.

    Somente Lakeflow pipelines. O SDP não atribui um identificador de pipeline.

  • name

    Tipo: string

    Um nome amigável para este pipeline. O nome pode ser usado para identificar o trabalho pipeline na interface do usuário.

    Disponível no SDP como o campo name obrigatório

  • configuration

    Tipo: object

    Uma lista opcional de configurações para adicionar à configuração do Spark do cluster que executa o pipeline. Essas configurações são lidas pelo runtime de pipeline e ficam disponíveis para queries de pipeline por meio da configuração do Spark.

    Os elementos devem ser formatados como pares key:value .

    Disponível em SDP como configuration

  • parameters

    Tipo: object

info

Beta

Este recurso está em Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Pré-visualizações . Consulte Gerenciar prévias do Databricks.

Um mapa opcional de pares key-value que o código-fonte do pipeline pode referenciar usando a sintaxe de parâmetro nomeado (por exemplo, :source_catalog). Utilize parâmetros para reutilizar o mesmo código-fonte do pipeline em diferentes ambientes ou datasets sem editar a fonte.

Chaves podem conter caracteres alfanuméricos, sublinhados (_), hífens (-) e pontos (.). Valores são sempre strings.

Você pode substituir esses padrões ao iniciar uma atualização, em uma tarefa de pipeline em um Job, ou com parâmetros de Job passados adiante. Parâmetros de pipeline só podem ser referenciados do código-fonte SQL. Consulte Uso de parâmetros com pipelines.

Somente LakeFlow Pipelines

  • libraries

    Tipo: array of objects

    Uma matriz de arquivos de código contendo o código do pipeline e os artefatos necessários.

    Disponível no SDP como libraries, especificado como uma lista de padrões glob de arquivo de origem em vez de um array de objetos de arquivo de código

  • clusters

    Tipo: array of objects

    Uma série de especificações para os clusters executarem o pipeline.

    Se isso não for especificado, os pipelines selecionarão automaticamente uma configuração de cluster default para o pipeline.

    Apenas LakeFlow Pipelines. O SDP não gerencia o compute

  • development

    Tipo: boolean

    Um sinalizador que indica se o pipeline deve ser executado em Modo development ou production .

    O valor default é false.

    Somente LakeFlow Pipelines

  • notifications

    Tipo: array of objects

    Uma matriz opcional de especificações para notificações email quando uma atualização pipeline é concluída, falha com um erro que pode ser repetido, falha com um erro que não pode ser repetido ou um fluxo falha.

    Somente LakeFlow Pipelines

  • continuous

    Tipo: boolean

    Um sinalizador que indica se o pipeline deve ser executado continuamente.

    O valor default é false.

    Somente LakeFlow Pipelines

  • catalog

    Tipo: string

    O nome do catálogo default para o pipeline, onde todos os conjuntos de dados e metadados do pipeline são publicados. Definir esse valor habilita o Unity Catalog para o pipeline.

    Se não for definido, o pipeline será publicado no Hive metastore Hive legado usando o local especificado em storage.

    No modo de publicação legado, especifica o catálogo que contém o esquema de destino onde todos os conjuntos de dados do pipeline atual são publicados. Veja o esquema LIVE (legado).

    Disponível em SDP como catalog

  • schema

    Tipo: string

    O nome do esquema default para o pipeline, onde todos os conjuntos de dados e metadados para o pipeline são publicados por default. Consulte Definir o catálogo de destino e o esquema.

    Disponível no SDP como database, que também aceita o alias schema

  • target (legado)

    Tipo: string

    O nome do esquema default para o pipeline, onde todos os datasets e metadados para o pipeline são publicados por default. Usar schema em vez de target é preferível.

    Somente LakeFlow Pipelines

  • storage (legado)

    Tipo: string

    Um local no DBFS ou armazenamento cloud onde os dados de saída e metadados necessários para a execução pipeline são armazenados. Tabelas e metadados são armazenados em subdiretórios deste local.

    Quando a configuração storage não é especificada, o sistema default para um local em dbfs:/pipelines/.

    A configuração storage não pode ser alterada após a criação de um pipeline.

    Disponível no SDP como o campo storage obrigatório. Nos Lakeflow pipelines, storage é uma configuração legada

  • channel

    Tipo: string

    A versão do runtime de pipeline a ser usada. Os valores compatíveis são:

    • preview para testar seu pipeline com as próximas alterações na versão do runtime.
    • current para usar a versão atual do runtime.

    O campo channel é opcional. O valor default é current. A Databricks recomenda usar a versão atual do tempo de execução para cargas de trabalho de produção.

    Somente LakeFlow Pipelines

  • edition

    Tipo string

    A edição do produto para executar o pipeline. Esta configuração permite escolher a melhor edição do produto com base nos requisitos do seu pipeline:

    • CORE para execução transmissão ingerir cargas de trabalho.
    • PRO para execução de transmissão de ingest e captura de dados de alterações (CDC) (CDC) cargas de trabalho.
    • ADVANCED para execução de cargas de trabalho de ingestão de transmissões, cargas de trabalho CDC e cargas de trabalho que exigem expectativas para impor restrições de qualidade de dados.

    O campo edition é opcional. O valor default é ADVANCED.

    Somente LakeFlow Pipelines

  • photon

    Tipo: boolean

    Um sinalizador que indica se deve ser usado O que é Photon? para executar o pipeline. Photon é o mecanismo Spark de alto desempenho da Databricks. Os pipelines habilitados para Photon são cobrados a uma taxa diferente dos pipelines não habilitados para Photon.

    O campo photon é opcional. O valor default é false.

    Somente LakeFlow Pipelines

  • serverless

    Tipo: boolean

    Um sinalizador que indica se o pipeline usa compute serverless. Consulte Configurar um pipeline serverless.

    Somente LakeFlow Pipelines

  • event_log

    Tipo: object

    Configuração para o destino do log de eventos do pipeline, como um objeto com os campos name, catalog e schema que publicam o log de eventos em uma tabela do Unity Catalog. Consulte Log de eventos do pipeline.

    Somente LakeFlow Pipelines

  • tags

    Tipo: object

    Um mapa opcional de tags definidas pelo usuário para o pipeline. No máximo 25 tags podem ser adicionadas.

    Somente LakeFlow Pipelines

  • budget_policy_id

    Tipo: string

    O ID da política de orçamento Serverless a ser aplicada a este pipeline, usado para atribuir o uso Serverless para acompanhamento de custos. Este campo aparece na configuração JSON ou YAML somente quando você define explicitamente uma política. Se não for definida, a Databricks resolve uma política default automaticamente. A política resolvida é exibida na interface do usuário de configurações do pipeline, mas não é gravada na configuração JSON ou YAML.

    Somente LakeFlow Pipelines

  • root_path

    Tipo: string

    O caminho raiz do pipeline. Quando definido, este diretório é adicionado a sys.path ao executar arquivos de origem Python, para que os módulos possam ser importados em relação a ele.

    Somente LakeFlow Pipelines

  • environment

    Tipo: object

    Uma especificação de ambiente usada para instalar dependências do Python para o pipeline.

    Somente LakeFlow Pipelines

  • pipelines.maxFlowRetryAttempts

    Tipo: int

    Se ocorrer uma falha passível de nova tentativa durante uma atualização do pipeline, este é o número máximo de tentativas que um fluxo pode receber antes que a atualização do pipeline seja considerada falha.

    Use isso para limitar as tentativas em um único fluxo que seja propenso a falhas que podem ser repetidas, para que ele não interrompa uma atualização inteira.

    Default: Duas tentativas de repetição. Quando ocorre uma falha passível de repetição, o runtime do pipeline tenta executar o fluxo três vezes, incluindo a tentativa original.

    Somente LakeFlow Pipelines

  • pipelines.numUpdateRetryAttempts

    Tipo: int

    Se ocorrer uma falha que pode ser repetida durante uma atualização, esse será o número máximo de vezes para tentar a atualização novamente antes que ela falhe permanentemente. A nova tentativa é executada como uma atualização completa.

    Use isso para limitar as tentativas de atualização, de forma que uma atualização travada falhe permanentemente em vez de tentar novamente indefinidamente.

    Este parâmetro aplica-se apenas a pipelines que utilizam comportamento automático de repetição e reinicialização. Não são feitas novas tentativas para execução de atualizações ad-hoc a partir do editor ou quando você executa uma atualização Validate .

    padrão:

    • Cinco para pipeline acionado.
    • Ilimitado para pipeline contínuo.

    Somente LakeFlow Pipelines

Propriedades da tabela de pipeline​

Além das propriedades de tabela suportadas pelo Delta Lake, você pode definir as seguintes propriedades de tabela.

  • pipelines.autoOptimize.zOrderCols

    padrão: Nenhum

    Uma strings opcional contendo uma lista separada por vírgulas de nomes de coluna para esta tabela em Z-order. Por exemplo, pipelines.autoOptimize.zOrderCols = "year,month"

    O Databricks recomenda clusters líquidos em vez de Z-ordering para otimizar a disposição de dados em tabelas pipeline. Para permitir que a Databricks selecione e mantenha as colunas de clustering automaticamente, use CLUSTER BY AUTO (cluster_by_auto=True em Python). Consulte Usar clusters líquidos para tabelas.

    Somente LakeFlow Pipelines

  • pipelines.reset.allowed

    padrão: true

    Controla se uma refresh completa é permitida para esta tabela.

    Disponível em SDP como pipelines.reset.allowed

  • pipelines.autoOptimize.managed

    padrão: true

    Habilita ou desabilita a otimização agendada automaticamente desta tabela.

    Para gerenciamento de pipeline por otimização preditiva, esta propriedade não é usada.

    Somente LakeFlow Pipelines

intervalo de disparo do pipeline​

Você pode especificar um intervalo de acionamento pipeline para todo o pipeline ou como parte de uma declaração de dataset . Consulte Definir intervalo de disparo para pipeline contínuo.

  • pipelines.trigger.interval

    O default é baseado no tipo de fluxo:

    • Cinco segundos para consultas de transmissão.
    • Um minuto para consultas completas quando todos os dados de entrada são de fontes Delta.
    • Dez minutos para consultas completas quando algumas fontes de dados podem não ser Delta.

    O valor é um número mais a unidade de tempo. As seguintes são as unidades de tempo válidas:

    • second, seconds
    • minute, minutes
    • hour, hours
    • day, days

    Você pode usar a unidade singular ou plural ao definir o valor, por exemplo:

    • {"pipelines.trigger.interval" : "1 hour"}
    • {"pipelines.trigger.interval" : "10 seconds"}
    • {"pipelines.trigger.interval" : "30 second"}
    • {"pipelines.trigger.interval" : "1 minute"}
    • {"pipelines.trigger.interval" : "10 minutes"}
    • {"pipelines.trigger.interval" : "10 minute"}

    Somente LakeFlow Pipelines

Atributos de cluster que não são definíveis pelo usuário​

Como os pipelines gerenciam os ciclos de vida dos clusters, muitas configurações de cluster são definidas pelo sistema e não podem ser configuradas manualmente pelos usuários, seja em uma configuração de pipeline ou em uma política de cluster usada por um pipeline. A tabela a seguir lista essas configurações e por que não podem ser definidas manualmente.

Apenas LakeFlow Pipelines. SDP não gerencia compute, portanto, estes atributos de cluster não se aplicam.

  • cluster_name

    O SDP define os nomes dos clusters usados para executar atualizações pipeline . Esses nomes não podem ser alterados.

  • data_security_mode

    access_mode

    Esses valores são definidos automaticamente pelo sistema.

  • spark_version

    O SDP executa clusters em uma versão personalizada do Databricks Runtime , que é continuamente atualizada para incluir os recursos mais recentes. A versão do Spark está incluída na versão do Databricks Runtime e não pode ser substituída.

  • autotermination_minutes

    Como o SDP gerencia a lógica de encerramento automático e reutilização cluster , o tempo de encerramento automático cluster não pode ser alterado.

  • runtime_engine

    Embora você possa controlar esse campo habilitando o Photon para seu pipeline, não é possível definir esse valor diretamente.

  • effective_spark_version

    Este valor é definido automaticamente pelo sistema.

  • cluster_source

    Este campo é definido pelo sistema e é somente leitura.

  • docker_image

    Como o SDP gerencia o ciclo de vida cluster , você não pode usar um contêiner personalizado com clusters pipeline .

  • workload_type

    Este valor é definido pelo sistema e não pode ser substituído.

Opções de origem e de query​

Alguns comportamentos de ingestão e processamento de dados são configurados na fonte de dados ou query, e não como propriedades de pipeline. Esses incluem evolução do esquema, dicas e inferência de esquema, limites de taxa de ingestão e filtragem de arquivos. Para configurá-los, use as opções para read_files e Auto Loader. Para evolução do esquema com from_json, consulte Inferir e evoluir o esquema usando from_json em pipelines.

Nesta página