Limitações do conector Workday Reports

Esta página lista as limitações e considerações para a ingestão de relatórios do Workday usando Databricks LakeFlow Connect.

Limitações gerais do conector SaaS

As limitações desta seção se aplicam a todos os conectores SaaS em LakeFlow Connect.

• Quando o senhor executa um pipeline agendado, o alerta não é acionado imediatamente. Em vez disso, eles são acionados quando a próxima atualização é executada.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você deve excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do pipeline declarativo do LakeFlow Spark .
• Durante os períodos de manutenção da fonte, a Databricks pode não conseguir acessar seus dados.
• Se um nome de tabela de origem entrar em conflito com um nome de tabela de destino existente, a atualização do pipeline falhará.
• O suporte a pipeline de vários destinos é somente de API.
• Opcionalmente, você pode renomear uma tabela que você ingere. Se o senhor renomear uma tabela no pipeline, ela se tornará um pipeline somente de API e não será mais possível editar o pipeline na interface do usuário.
• Se o senhor selecionar uma coluna depois que um pipeline já tiver começado, o conector não preencherá automaticamente os dados da nova coluna. Para ingerir dados históricos, o senhor deve executar manualmente um refresh completo na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
• O sistema de origem presume que as colunas do cursor estão aumentando monotonicamente.
• O conector ingere dados brutos sem transformações. Use o pipeline declarativo LakeFlow Spark downstream para transformações.

Autenticação

• A Databricks recomenda o uso de um usuário de sistema integrado (ISU) do Workday, mas isso não é obrigatório.
• Normalmente, um token refresh é criado em nome de uma ISU. O senhor pode escolher se deseja permitir que os tokens refresh expirem:
  • Se você definir uma data de expiração, deverá editar a conexão ao atingir essa data.
  • Se o senhor não definir uma data de expiração, os tokens refresh só poderão expirar se a sua organização reduzir o nível de acesso da ISU associada aos tokens.

tubulação

• O conector só pode ingerir relatórios com menos de 2 GB de dados ou menos de 1 milhão de registros. Os limites da API do Workday de sua organização podem ser menores do que isso.
• A ingestão incremental está em Beta e requer uma key primária. Se você configurar uma chave primária para um relatório, o conector ingere apenas as linhas que foram alteradas desde a última execução do pipeline. Se você não configurar uma key primária, o conector faz um refresh completo do relatório toda vez que há uma execução do pipeline.
• O conector não pode ingerir relatórios com chave primária duplicada.

Ingestão incremental

As seguintes limitações se aplicam à ingestão incremental, que está em Beta.

• A coluna do cursor deve aumentar monotonicamente a cada linha nova ou atualizada. Linhas cujo valor do cursor é maior que o último valor do cursor ingerido são ingeridas (inserções e atualizações que avançam o cursor). Linhas excluídas nunca são ingeridas.
• A coluna do cursor deve ser uma coluna de data. Outros tipos de cursor não são compatíveis.
• Os prompts de relatório do Workday usados para ingestão incremental devem ser inclusivos (maior ou igual a / menor ou igual a). O uso de prompts exclusivos (maior que / menor que) pode resultar em dados ausentes. Esta é uma configuração que o proprietário do relatório seleciona ao criar o relatório e seus prompts no Workday.
• Quando você usa current_date() em um valor de prompt, a Databricks o avalia como a data UTC no momento em que o pipeline começa a ser executado. No entanto, o Workday interpreta a data com base no fuso horário das configurações da sua account Workday.