Solucionar problemas de pipelines de ingestão gerenciados

Esta página descreve problemas comuns com pipelines de ingestão gerenciados no Databricks Lakeflow Connect e como resolvê-los. Para solução de problemas específicos do conector, consulte a documentação para seu conector.

Solução de problemas gerais do pipeline

Se uma execução do pipeline falhar, clique no passo que falhou e confirme se a mensagem de erro fornece informações suficientes sobre a natureza do erro.

Você também pode verificar e fazer download dos logs do cluster na página de detalhes do pipeline, clicando em **Update details** no painel direito e, depois, em **Logs**. Verifique os Logs em busca de erros ou exceções.

O pipeline não é retomado após cancelar a exclusão de uma tabela de transmissão

Using UNDROP TABLE to restore a destination transmissão table recovers its metadata and retained data. However, restoring the table does not guarantee that the managed ingestion pipeline can resume from its previous source position. For some connectors, the required source offset might no longer be available.

After restoring a tabela de transmissão, run the pipeline and verify that it completes successfully. If the pipeline cannot resume, you might need to fully refresh the affected target tables. A full refresh resets the restored table state and reprocesses records from the source. Confirm that the source retains all required data histórica before starting a full refresh.

Seleção de colunas usando Pacotes de Automação Declarativa

Problema : Não é possível usar o recurso de seleção de coluna ao criar um pipeline de ingestão gerenciado usando os Pacotes de Automação Declarativa.

Resolução : Verifique sua versão da CLI do Databricks. Se a versão for abaixo de v0.251.0, reinstale a CLI.

Não consigo editar meu pipeline na IU

Pipelines criados ou atualizados usando Pacotes de Automação Declarativa ou a CLI do Databricks podem incluir campos de configuração que não são suportados no assistente de ingestão. Quando você tenta editar um pipeline com qualquer um desses campos no assistente, um aviso indica que o modo visual não está disponível para o pipeline. Para editar esses pipelines na IU, use o modo de editor de código.

Para alternar os modos, use os botões na parte superior do editor de pipeline ( Wizard , YAML , JSON ).

nota

If your pipeline is managed by a Declarative Automation Bundles bundle, edit the pipeline definition file in your bundle directly. Edits made in the UI are overwritten the next time you run bundle deploy.

NÃO É POSSÍVEL GRAVAR EM TABELAS INATIVAS

CANNOT_WRITE_TO_INACTIVE_TABLES: Table 'XYZ' is marked as inactive and cannot be written to.

Este erro ocorre quando um pipeline tenta gravar em uma tabela de destino que foi marcada como inativa. Uma tabela se torna inativa quando a tabela de origem correspondente é excluída. Para mais contexto sobre como as tabelas inativas funcionam, consulte Perguntas frequentes sobre conectores gerenciados.

Para resolver isso:

• Se quiser retomar a ingestão da tabela de origem (por exemplo, ela foi recriada), execute um refresh completo da tabela afetada.
• Se a tabela de origem foi excluída intencionalmente, descarte a tabela de destino inativa e remova-a do pipeline.