Referência do conector PostgreSQL

info

Visualização

O conector PostgreSQL para LakeFlow Connect está em versão prévia pública. Entre em contato com a equipe da sua account Databricks para se inscrever na Prévia Pública.

Esta página contém material de referência para o conector PostgreSQL no Databricks LakeFlow Connect.

transformações automáticas de dados

O Databricks transforma automaticamente os seguintes tipos de dados do PostgreSQL em tipos de dados compatíveis com Delta:

Tipo PostgreSQL	Tipo Delta
BOOLEAN	BOOLEAN
SMALLINT	SMALLINT
INTEGER	INT
BIGINT	BIGINT
DECIMAL(p,s)	DECIMAL(p,s)
NUMERIC(p,s)	DECIMAL(p,s)
REAL	FLOAT
DOUBLE PRECISION	DOUBLE
SMALLSERIAL	SMALLINT
SERIAL	INT
BIGSERIAL	BIGINT
MONEY	STRING
CHAR(n)	STRING
VARCHAR(n)	STRING
TEXT	STRING
BYTEA	BINARY
DATE	DATE
TIME	STRING
TIME WITH TIME ZONE	STRING
TIMESTAMP	STRING
TIMESTAMP WITH TIME ZONE	TIMESTAMP
INTERVAL	STRING
UUID	BINARY
JSON	STRING
JSONB	STRING
XML	STRING
ARRAY	STRING
CIDR	STRING
INET	STRING
MACADDR	STRING
BIT(n)	BINARY
BIT VARYING(n)	BINARY

Observações importantes sobre tipos de data e hora

• DATE O tipo de dados ingerido é o tipo Delta DATE . O intervalo de datas completo do PostgreSQL é suportado. Os valores Inf e -Inf são convertidos em null. As datas a.C. são armazenadas usando a numeração de anos astronômicos. Por exemplo, 1 a.C. corresponde ao ano 0 e 2 a.C. corresponde a -1.
• TIMESTAMP Os dados (sem fuso horário) são recebidos como strings. Os valores Inf e -Inf são preservados como strings.
• TIMESTAMP WITH TIME ZONE O tipo de dados ingerido é o tipo Delta TIMESTAMP . O intervalo suportado pelo PostgreSQL é 4713-01-01 00:00:00.000000 BC a 294276-12-31 23:59:59.999999 AD, enquanto o intervalo suportado pelo Databricks é de -290308-12-21 BCE 19:59:06 GMT a +294247-01-10 CE 04:00:54 GMT. Os timestamps acima do timestamp máximo suportado pelo Databricks são convertidos para null. As datas a.C. são armazenadas usando a numeração de anos astronômicos. Por exemplo, 1 a.C. corresponde ao ano 0 e 2 a.C. corresponde a -1. Os valores Inf e -Inf são convertidos para null.
• TIMEOs tipos de dados TIME WITH TIME ZONE e INTERVAL são ingeridos como strings em seu formato original. Você pode usar as funções Databricks SQL para analisar essas strings e convertê-las nas representações de tempo apropriadas, se necessário. Para o tipo de dados INTERVAL , os valores infinitos são mapeados para 0 years 0 mins 0 days 0 hours 0 mins 0.0 secs.

Tipos de dados definidos pelo usuário e de terceiros

Tipos definidos pelo usuário e tipos de dados de extensões PostgreSQL de terceiros são inseridos como strings. Caso precise transformar esses tipos, você pode usar as funções Databricks SQL para analisar as representações em string no processamento subsequente.

Tipos compostos

Os tipos compostos do PostgreSQL (também conhecidos como tipos de linha) são ingeridos como strings. A representação de strings segue o formato de tipo composto do PostgreSQL: (value1,value2,value3).