Perguntas frequentes sobre o conector do SQL Server
Esta página responde às perguntas frequentes sobre o conector SQL Server em Databricks LakeFlow Connect.
Perguntas frequentes sobre o conector de gerenciar geral
As respostas nas perguntas frequentes sobre conectores gerenciar se aplicam a todos os conectores gerenciar em LakeFlow Connect. Continue lendo as perguntas frequentes específicas sobre conectores.
Se o pipeline falhar, a ingestão será retomada sem perda de dados?
Sim. O Databricks mantém o controle do que o conector extraiu da origem e aplicou no destino. Se algo acontecer, o Databricks poderá ser retomado nesse ponto, desde que os logs permaneçam no banco de dados de origem. Isso pode ser afetado se o pipeline não for executado antes que o período de retenção do log exclua o logs, exigindo um refresh completo nas tabelas de destino.
O conector captura fusos horários para colunas de data e hora?
Não. A data e a hora são ingeridas no formato UTC.
Posso personalizar a programação do gateway de ingestão?
Não, o gateway de ingestão deve ser executado em modo contínuo para evitar que as alterações sejam descartadas devido à retenção do log. Se as alterações tiverem sido descartadas, será necessário um refresh completo para todas as tabelas.
Como o conector lida com uma tabela sem um primário key?
O conector trata todas as colunas, exceto os objetos grandes, como um pacote primário key. Se houver linhas duplicadas na tabela de origem, essas linhas serão ingeridas como uma única linha na tabela de destino.
Com que frequência posso programar a execução do pipeline de ingestão?
Não há limite para a frequência com que a ingestão pipeline pode ser programada para execução. No entanto, o site Databricks recomenda pelo menos 5 minutos entre os intervalos, pois leva algum tempo para que o serverless compute chegue ao startup. O Databricks não oferece suporte à execução do pipeline de ingestão no modo contínuo.
Por que não estou vendo todas as linhas do meu banco de dados na execução inicial do pipeline?
O gateway de ingestão extrai dados históricos e CDC assim que começa a funcionar. A ingestão pipeline pode ser executada antes que todos esses dados tenham sido extraídos, resultando em uma aplicação parcial dos dados nas tabelas de destino. Pode levar algumas execuções da ingestão pipeline para que todos os dados sejam extraídos e aplicados às tabelas de destino.
Meu gateway de ingestão demora muito para iniciar. Como faço para resolver isso?
Execução de gateways em compute clássica e provisionamento de uma máquina virtual (VM) a cada início. Se startup demorar mais do que alguns minutos, considere o seguinte:
- Mudar para o canal de pipeline atual. Essa é a solução mais comum. As versões de pré-visualização do canal têm tempos startup mais longos. Você pode alterar isso na interface do usuário (nas configurações avançadas do pipeline, em Canal ), no arquivo de recursos do pacote ou na especificação pipeline .
- Não reinicie o gateway entre a execução da ingestão. O gateway foi projetado para execução contínua. Parar e reiniciar o sistema reconfigura o provisionamento da VM a cada reinicialização e acarreta o risco de perda logs de alterações caso a origem os trunque enquanto o gateway estiver inativo.
Se o gateway ficar travado no estado de inicialização por 15 minutos ou mais, crie um chamado de suporte.
Isso se aplica somente a gateways. Execução do pipeline de ingestão em compute sem servidor e início rápido.
Posso ingerir de uma réplica de leitura ou de uma instância secundária?
Não. O suporte é limitado às instâncias primárias do SQL Server. Isso ocorre porque não há suporte para acompanhamento de alterações e captura de dados de alterações (CDC) em réplicas de leitura ou instâncias secundárias.