Limitações para conexões do SQL Server

info

Visualização

O conector do Microsoft SQL Server está em uma versão prévia pública fechada. Para participar da pré-visualização, entre em contato com a equipe do Databricks account .

Este artigo lista as limitações e considerações para conexão e ingestão de dados de SQL Server usando LakeFlow Connect.

• Quando o senhor executa um pipeline agendado, o alerta não é acionado imediatamente. Em vez disso, eles são acionados quando a próxima atualização é executada.
• Quando uma tabela de origem é excluída, a tabela de destino é excluída automaticamente. Esse comportamento é consistente com o comportamento do DLT.
• Durante os períodos de manutenção, talvez a Databricks não consiga acessar seus dados.
• Se o nome da tabela de origem entrar em conflito com um nome de tabela de destino existente, o fluxo falhará.
• O catálogo de teste não pode ser um catálogo estrangeiro.
• Para usar o Microsoft captura de dados de alterações (CDC) (CDC), o senhor deve ter o SQL Server 2017 ou superior.
• Para usar o Microsoft change acompanhamento, o senhor deve ter o SQL Server 2012 ou o acima.

Variações do banco de

• O conector é compatível com os bancos de dados SQL do Azure SQL e do Amazon RDS. Isso inclui o SQL Server em execução nas máquinas virtuais (VMs) do Azure e no Amazon EC2. O conector também oferece suporte ao SQL Server no local usando o Azure ExpressRoute e a rede AWS Direct Connect.
• Somente a autenticação por nome de usuário/senha é suportada.

Tabelas

• A Databricks recomenda a ingestão de 50 ou menos tabelas por pipeline. No entanto, não há limite conhecido para o número de linhas ou colunas suportadas nesses objetos.
• O Databricks não suporta a ingestão de tabelas cujos nomes que diferenciam maiúsculas de minúsculas diferem apenas no caso (por exemplo, MyTable e MYTABLE) em um único pipeline de ingestão. Para dar suporte a esses casos, crie dois pares de pipeline de ingestão e gateway que publiquem em esquemas de destino diferentes.

evolução do esquema

Não há suporte para a evolução do esquema. As alterações exigem um refresh completo das tabelas de destino.

Tipos de dados

• Os seguintes tipos de dados SQL-92 são suportados:

  • Numérico (precisão fixa e ponto flutuante)
  • strings e binários
  • Data, hora e carimbo de data/hora

• A Databricks não recomenda o uso dos dados de amostra do site AdventureWorksLT em testes devido às restrições do tipo de dados SQL-92.

tubulação

• Só há suporte para um pipeline de ingestão por gateway. Para cada pipeline de ingestão, o senhor também deve criar um gateway correspondente.
• O gateway deve ser executado no modo Classic .
• A ingestão pipeline deve ser executada no modo sem servidor .
• O pipeline de ingestão não é compatível com mais de um catálogo e esquema de destino. Se o senhor precisar gravar em vários catálogos ou esquemas de destino, crie vários pares de gateway-ingestion pipeline.
• Somente o modo acionado para executar o pipeline de ingestão é suportado.