Limitações para conexões do SQL Server

Prévia

O LakeFlow Connect está em um Public Preview fechado. Para participar da pré-visualização, entre em contato com a equipe do Databricks account .

Este artigo lista as limitações e considerações sobre a conexão e a ingestão de dados do site SQL Server usando o LakeFlow Connect.

Quando o senhor executa um pipeline agendado, o alerta não é acionado imediatamente. Em vez disso, eles são acionados quando a próxima atualização é executada.
Quando uma tabela de origem é excluída, a tabela de destino é automaticamente excluída. Esse comportamento é consistente com o comportamento do Delta Live Tables.
Durante os períodos de manutenção, talvez a Databricks não consiga acessar seus dados.
Se o nome da tabela de origem entrar em conflito com um nome de tabela de destino existente, o fluxo falhará.
O catálogo de teste não pode ser um catálogo estrangeiro.
Para usar o Microsoft captura de dados de alterações (CDC) (CDC), o senhor deve ter o SQL Server 2017 ou superior.
Para usar o Microsoft change acompanhamento, o senhor deve ter o SQL Server 2012 ou o acima.

Variações do banco de dados

Somente o Banco de Dados SQL do Azure e o Amazon RDS para SQL Server são compatíveis.
Somente a autenticação por nome de usuário/senha é suportada.

A Databricks recomenda a ingestão de 50 ou menos tabelas por pipeline. No entanto, não há limite conhecido para o número de linhas ou colunas que são suportadas nesses objetos.
O Databricks não suporta a ingestão de tabelas cujos nomes sensíveis a maiúsculas e minúsculas diferem apenas no caso (por exemplo, MyTable e MYTABLE) em um único pipeline de ingestão. Para dar suporte a esses casos, crie dois pares de pipeline de ingestão de gateway que publiquem em esquemas de destino diferentes.

Não há suporte para a evolução do esquema. As alterações exigem um refresh completo das tabelas de destino.

Os seguintes tipos de dados SQL-92 são suportados:
- Numérico (precisão fixa e ponto flutuante)
- strings e binários
- Data, hora e registro de data e hora
A Databricks não recomenda o uso dos dados de amostra AdventureWorksLT em testes devido às restrições do tipo de dados SQL-92.

Só há suporte para um pipeline de ingestão por gateway. Para cada pipeline de ingestão, o senhor também deve criar um gateway correspondente.
O gateway deve ser executado no modo Classic.
A ingestão pipeline deve ser executada no modo sem servidor.
O pipeline de ingestão não é compatível com mais de um catálogo e esquema de destino. Se o senhor precisar gravar em vários catálogos ou esquemas de destino, crie vários pares de gateway-ingestion pipeline.
Somente o modo acionado para executar o pipeline de ingestão é suportado.