Referência do conector Smartsheet

Esta página contém documentação de referência para o conector de gerenciamento Smartsheet no LakeFlow Connect.

Mapeamento de tipos

O conector Smartsheet mapeia os tipos de coluna do Smartsheet para os tipos do Spark durante a ingestão. A tabela a seguir descreve o mapeamento para cada tipo de coluna compatível.

tipo de coluna Smartsheet	tipo de alvo Spark	Lógica/transformações comportamentais
TEXT_NUMBER	STRING	Sempre mapeado para STRING.
DATE	DATE	Cadeias de data formatadas em ISO-8601 da API do Smartsheet.
DATETIME	TIMESTAMP	Carimbo de data/hora UTC da API do Smartsheet.
CHECKBOX	BOOLEAN	Mapeia true para true e false para false.
CONTACT_LIST	STRUCT<name: STRING, email: STRING>	name e email são extraídos do valor do objeto de contato.
MULTI_CONTACT_LIST	ARRAY<STRUCT<name: STRING, email: STRING>>	Cada contato da lista é extraído como uma estrutura (struct).
PICKLIST (Suspenso)	STRING	O valor de exibição da opção selecionada é inserido.
MULTI_PICKLIST	ARRAY<STRING>	Cada opção selecionada é inserida como um elemento na matriz.
DURATION	STRING	O formato legível por humanos (por exemplo, 3d 4h) é preservado como uma string.
PREDECESSOR	STRING	A representação da dependência de tarefas é preservada como uma string.
AUTO_NUMBER	STRING	Rótulo de linha com incremento automático gerado pelo sistema. Somente leitura.
ABSTRACT_DATETIME	TIMESTAMP	Utilizado para colunas do sistema (por exemplo, Criado em). Com base no UTC.
CREATED_DATE / MODIFIED_DATE	TIMESTAMP	Utilizado para colunas do sistema, como "Criado em". Com base no UTC.
CREATED_BY / MODIFIED_BY	STRUCT<name: STRING, email: STRING>	Metadados de auditoria em nível de linha. Com base no UTC.
Fórmulas	[Derivado]	O valor de exibição avaliado é recebido e convertido para o tipo de destino declarado da coluna. strings de fórmulas (por exemplo, =SUM(...)) nunca são ingeridas.

Parâmetros de configuração do pipeline

As tabelas a seguir descrevem todos os parâmetros disponíveis para configurar um pipeline de ingestão do Smartsheet.

Parâmetros de conexão

Parâmetro	Obrigatório	Descrição
connection_name	Sim	Nome da conexão Unity Catalog para o Smartsheet.

Parâmetros de origem

Parâmetro	Obrigatório	Descrição
source_schema	Sim	Sempre "default".
source_table	Sim	O ID da planilha ou do relatório do Smartsheet, com 16 dígitos.

Parâmetros de destino

Parâmetro	Obrigatório	Descrição
destination_catalog	Sim	Catálogo Target Unity Catalog .
destination_schema	Sim	Esquema de destino dentro do catálogo.
destination_table	Não	Nome da tabela de destino. Por padrão, utiliza-se o ID da planilha ou do relatório do Smartsheet.

table_configuration opções

Parâmetro	Obrigatório	Padrão	Descrição
row_filter	Não	Todas as linhas	Expressão de filtro DBSQL para ingestão seletiva de linhas. Consulte Filtragem de linhas.
include_columns	Não	Todas as colunas	Lista de nomes de colunas a serem incluídas na tabela de entrada. Se especificado, somente as colunas listadas serão importadas.
exclude_columns	Não	Nenhuma	Lista de nomes de colunas a serem excluídas da tabela de entrada. Não pode ser usado em conjunto com include_columns.

connector_options

Parâmetro	Obrigatório	Descrição
enforce_schema	Não	Quando true (default), mapeia as colunas para seus tipos declarados pelo Smartsheet; células não conformes são definidas como NULL. Quando false, todas as colunas são ingeridas como STRING.

Comportamentoenforce_schema

A opção enforce_schema controla como o conector mapeia os tipos de coluna do Smartsheet para os tipos do Spark durante a ingestão. Está definido em connector_options e o valor padrão é true.

• enforce_schema: true (default) — Cada coluna é mapeada para o seu tipo declarado no Smartsheet de acordo com a tabela de mapeamento de tipos acima. As células que não estão em conformidade com o tipo declarado são definidas como NULL em vez de causar falha no pipeline. Use esta configuração para planilhas com dados consistentes e bem digitados.

• enforce_schema: false — Todas as colunas são ingeridas como STRING, independentemente do seu tipo Smartsheet declarado. Use essa configuração para planilhas com dados irregulares, tipos de coluna frequentemente substituídos ou quando sistemas subsequentes lidam com a conversão de tipos.

  JSON

  "connector_options": {
    "enforce_schema": false
  }

Filtragem de linhas

Use a opção row_filter em table_configuration para importar um subconjunto de linhas de uma planilha ou relatório. As linhas são referenciadas por row_number (baseado em 1) ou por qualquer valor de coluna usando o título Smartsheet da coluna.

Operadores suportados: =, !=, <, <=, >, >=, AND, OR, IN, BETWEEN, LIKE

Para obter mais informações, consulte Filtragem de linhas.