Configuração gerencial do oleoduto Delta Live Tables

Como o Delta Live Tables automatiza as complexidades operacionais, como gerenciamento de infraestrutura, orquestração de tarefas, recuperação de erros e otimização de desempenho, muitos de seus pipelines podem ser executados com o mínimo de configuração manual. No entanto, o Delta Live Tables também permite que o senhor gerencie a configuração do pipeline que requer configurações que não sejam dodefault ou otimize o desempenho e o uso de recursos. Esses artigos fornecem detalhes sobre o gerenciamento de configurações para o pipeline Delta Live Tables, incluindo configurações que determinam como o pipeline é executado, opções para o compute que executa o pipeline e gerenciamento de dependências externas, como a biblioteca Python.

gerenciar pipeline configurações

A configuração de um pipeline do Delta Live Tables inclui configurações que definem o código-fonte que implementa o pipeline. Ele também inclui configurações que controlam a infraestrutura do pipeline, o gerenciamento de dependências, como as atualizações são processadas e como as tabelas são salvas no workspace. A maioria das configurações é opcional, mas algumas exigem atenção cuidadosa.

Para saber mais sobre as opções de configuração do pipeline e como usá-las, consulte Configure pipeline settings for Delta Live Tables.

Para obter especificações detalhadas das configurações de Delta Live Tables, propriedades que controlam como as tabelas são gerenciadas e opções não configuráveis de compute, consulte Delta Live Tables properties reference.

gerenciar dependências externas para pipelines que usam Python

Delta Live Tables suporta o uso de dependências externas em seu pipeline, como Python pacote e biblioteca. Para saber mais sobre as opções e recomendações de uso de dependências, consulte gerenciar Python dependencies for Delta Live Tables pipeline.

Use os módulos Python armazenados em seu espaço de trabalho do Databricks

Além de implementar seu código Python no Databricks Notebook, o senhor pode usar Databricks Git Folders ou workspace files para armazenar seu código como módulos Python. Armazenar seu código como módulos do Python é especialmente útil quando o senhor tem uma funcionalidade comum que deseja usar em vários pipelines ou vários notebooks no mesmo pipeline. Para saber como usar os módulos Python com o seu pipeline, consulte Importar módulos Python de pastas Git ou arquivos workspace .

Otimizar a utilização da computação do pipeline

Use o Enhanced autoscale para otimizar a utilização do cluster do seu pipeline. A autoescala aprimorada adiciona recursos adicionais somente se o sistema determinar que esses recursos aumentarão a velocidade de processamento do site pipeline. Os recursos são liberados quando não são mais necessários e o site clusters é encerrado assim que todas as atualizações do pipeline são concluídas.

Para saber mais sobre o Enhanced autoscale, incluindo detalhes de configuração, consulte Otimizar a utilização do cluster do pipeline Delta Live Tables com o Enhanced autoscale.