Solucionar problemas de pipelines de ingestão gerenciados

Esta página descreve problemas comuns com pipelines de ingestão gerenciados no Databricks Lakeflow Connect e como resolvê-los. Para solução de problemas específicos do conector, consulte a documentação para seu conector.

Solução de problemas gerais do pipeline

Se uma execução do pipeline falhar, clique no passo que falhou e confirme se a mensagem de erro fornece informações suficientes sobre a natureza do erro.

Você também pode verificar e fazer download dos logs do cluster na página de detalhes do pipeline, clicando em **Update details** no painel direito e, depois, em **Logs**. Verifique os Logs em busca de erros ou exceções.

Seleção de colunas usando Pacotes de Automação Declarativa

Problema : Não é possível usar o recurso de seleção de coluna ao criar um pipeline de ingestão gerenciado usando os Pacotes de Automação Declarativa.

Resolução : Verifique sua versão da CLI do Databricks. Se a versão for abaixo de v0.251.0, reinstale a CLI.

Não consigo editar meu pipeline na IU

Pipelines criados ou atualizados usando Pacotes de Automação Declarativa ou a CLI do Databricks podem incluir campos de configuração que não são suportados no assistente de ingestão. Quando você tenta editar um pipeline com qualquer um desses campos no assistente, um aviso indica que o modo visual não está disponível para o pipeline. Para editar esses pipelines na IU, use o modo de editor de código.

Para alternar os modos, use os botões na parte superior do editor de pipeline ( Wizard , YAML , JSON ).

nota

Se o seu pipeline for gerenciado por um pacote de Pacotes de Automação Declarativa, edite o arquivo de definição do pipeline diretamente no seu pacote. As edições feitas na UI serão sobrescritas na próxima vez que você executar bundle deploy.

NÃO É POSSÍVEL GRAVAR EM TABELAS INATIVAS

CANNOT_WRITE_TO_INACTIVE_TABLES: Table 'XYZ' is marked as inactive and cannot be written to.

Este erro ocorre quando um pipeline tenta gravar em uma tabela de destino que foi marcada como inativa. Uma tabela se torna inativa quando a tabela de origem correspondente é excluída. Para mais contexto sobre como as tabelas inativas funcionam, consulte Perguntas frequentes sobre conectores gerenciados.

Para resolver isso:

• Se quiser retomar a ingestão da tabela de origem (por exemplo, ela foi recriada), execute um refresh completo da tabela afetada.
• Se a tabela de origem foi excluída intencionalmente, descarte a tabela de destino inativa e remova-a do pipeline.