Conector de ingestão do PostgreSQL

info

Visualização

O conector PostgreSQL está em versão prévia pública. Entre em contato com a equipe da sua account Databricks para solicitar acesso.

Esta página ajuda você a entender o fluxo de trabalho de ingestão PostgreSQL , incluindo os fatores que determinam sua abordagem de configuração e os passos envolvidos para diferentes perfis de usuário.

O que você precisa saber antes de começar.

tópico	Por que isso importa
Perfil do usuário do Databricks	O fluxo de trabalho depende do seu perfil de usuário do Databricks: Usuário único: Um usuário administrador configura o banco de dados de origem e cria uma conexão com Unity Catalog , um gateway de ingestão e um pipeline de ingestão. Multiusuário: Um usuário administrador configura o banco de dados de origem e cria uma conexão para que usuários sem privilégios de administrador possam criar pares de gateway e pipeline.
Ambiente de implantação	A configuração do banco de dados de origem depende do ambiente de implantação do PostgreSQL.
Método de autenticação	Os passos para criar uma conexão dependem do método de autenticação escolhido.
Interface	Os passos para criar uma conexão, um gateway e um pipeline dependem da interface.
Frequência de ingestão	A programação pipeline depende dos seus requisitos de latência e custo.
Padrões comuns	Dependendo das suas necessidades de ingestão, o pipeline pode usar configurações como acompanhamento de história, seleção de coluna e filtragem de linha. As configurações suportadas variam de acordo com o conector. Consulte a disponibilidade do recurso.

começar a ingerir do PostgreSQL

A tabela a seguir fornece uma visão geral do fluxo de trabalho de ingestão do PostgreSQL de ponta a ponta, com base no tipo de usuário:

Usuário	os passos
Administrador	Configure o PostgreSQL para ingestão no Databricks. Qualquer: Use o Catalog Explorer para criar uma conexão que permita que usuários sem privilégios de administrador criem pares de gateway e pipeline. See PostgreSQL. Utilize a interface de ingestão de dados para criar uma conexão, um gateway e um pipeline. Consulte Ingerir dados do PostgreSQL.
Não administrativo	Utilize qualquer interface compatível para criar um gateway e um pipeline. Consulte Ingerir dados do PostgreSQL.

Disponibilidade do recurso

Recurso	Disponibilidade
Criação pipeline baseada em interface de usuário	Apoiado
Criação pipeline baseada em API	Apoiado
Pacotes de Automação Declarativa	Apoiado
Ingestão incremental	Apoiado
Governança Unity Catalog	Apoiado
orquestração usando Databricks Workflows	Apoiado
SCD tipo 2	Apoiado
Seleção e deseleção de colunas baseadas em API	Apoiado
Filtragem de linhas baseada em API	Não suportado
Evolução automatizada do esquema: Colunas novas e excluídas	Apoiado
Evolução automatizada do esquema: mudanças no tipo de dados	Não suportado
Evolução automatizada do esquema: renomeação de colunas	Não suportado Requer uma refresh completa.
Evolução automatizada do esquema: Novas tabelas	Apoiado Se você ingerir todo o esquema. Veja as limitações quanto ao número de tabelas por pipeline.
Número máximo de tabelas por pipeline	250

Métodos de autenticação

Método de autenticação	Disponibilidade
OAuth U2M	Não suportado
OAuth M2M	Não suportado
OAuth (tokens refresh manual)	Não suportado
Autenticação básica (nome de usuário/senha)	Apoiado
Autenticação básica ( key API )	Não suportado
Autenticação básica ( key JSON da account )	Não suportado