Référence du connecteur Smartsheet

Cette page contient la documentation de référence pour le connecteur Smartsheet géré dans Lakeflow Connect.

Mappage des types

Le connecteur Smartsheet mappe les types de colonnes Smartsheet aux types Spark pendant l'ingestion. Le tableau suivant décrit le mappage pour chaque type de colonne pris en charge.

Type de colonne Smartsheet	Type de cible Spark	Logique / comportement de transformation
TEXT_NUMBER	STRING	Toujours mappé à STRING.
DATE	DATE	Chaîne de date au format ISO-8601 de l'API Smartsheet.
DATETIME	TIMESTAMP	Timestamp UTC de l'API Smartsheet.
CHECKBOX	BOOLEAN	Associe true à true et false à false.
CONTACT_LIST	STRUCT<name: STRING, email: STRING>	name et email sont extraits de la valeur de l'objet contact.
MULTI_CONTACT_LIST	ARRAY<STRUCT<name: STRING, email: STRING>>	Chaque contact de la liste est extrait en tant que structure.
PICKLIST (Menu déroulant)	STRING	La valeur d'affichage de l'option sélectionnée est ingérée.
MULTI_PICKLIST	ARRAY<STRING>	Chaque option sélectionnée est ingérée en tant qu’élément dans le tableau.
DURATION	STRING	Le format lisible par l'homme (par exemple, 3d 4h) est conservé comme une chaîne de caractères.
PREDECESSOR	STRING	La représentation de la dépendance de tâche est conservée sous forme de chaîne.
AUTO_NUMBER	STRING	Étiquette de ligne à incrémentation automatique générée par le système. Lecture seule.
ABSTRACT_DATETIME	TIMESTAMP	Utilisé pour les colonnes système (par exemple, Created At). Basé sur l'UTC.
CREATED_DATE / MODIFIED_DATE	TIMESTAMP	Utilisé pour les colonnes système telles que Date de création. Basé sur l'UTC.
CREATED_BY / MODIFIED_BY	STRUCT<name: STRING, email: STRING>	Métadonnées d'audit au niveau des lignes. Basé sur l'UTC.
Formules	[Dérivé]	La valeur d'affichage évaluée est ingérée et convertie en type cible déclaré de la colonne. Les chaînes de formule (par exemple, =SUM(...)) ne sont jamais ingérées.

Type de colonne Smartsheet	Type de cible Spark	Logique / comportement de transformation
TEXT_NUMBER	STRING	Toujours mappé à STRING.
DATE	DATE	Chaîne de date au format ISO-8601 de l'API Smartsheet.
DATETIME	TIMESTAMP	Timestamp UTC de l'API Smartsheet.
CHECKBOX	BOOLEAN	Associe true à true et false à false.
CONTACT_LIST	STRUCT<name: STRING, email: STRING>	name et email sont extraits de la valeur de l'objet contact.
MULTI_CONTACT_LIST	ARRAY<STRUCT<name: STRING, email: STRING>>	Chaque contact de la liste est extrait en tant que structure.
PICKLIST (Menu déroulant)	STRING	La valeur d'affichage de l'option sélectionnée est ingérée.
MULTI_PICKLIST	ARRAY<STRING>	Chaque option sélectionnée est ingérée en tant qu’élément dans le tableau.
DURATION	STRING	Le format lisible par l'homme (par exemple, 3d 4h) est conservé comme une chaîne de caractères.
PREDECESSOR	STRING	La représentation de la dépendance de tâche est conservée sous forme de chaîne.
AUTO_NUMBER	STRING	Étiquette de ligne à incrémentation automatique générée par le système. Lecture seule.
ABSTRACT_DATETIME	TIMESTAMP	Utilisé pour les colonnes système (par exemple, Created At). Basé sur l'UTC.
CREATED_DATE / MODIFIED_DATE	TIMESTAMP	Utilisé pour les colonnes système telles que Date de création. Basé sur l'UTC.
CREATED_BY / MODIFIED_BY	STRUCT<name: STRING, email: STRING>	Métadonnées d'audit au niveau des lignes. Basé sur l'UTC.
Formules	[Dérivé]	La valeur d'affichage évaluée est ingérée et convertie en type cible déclaré de la colonne. Les chaînes de formule (par exemple, =SUM(...)) ne sont jamais ingérées.

Paramètres de configuration du pipeline

Les tableaux suivants décrivent tous les paramètres disponibles pour la configuration d'un pipeline d'ingestion Smartsheet.

Paramètres de connexion

parameter	Obligatoire	Description
connection_name	Oui	Nom de la connexion Unity Catalog pour Smartsheet.

parameter	Obligatoire	Description
connection_name	Oui	Nom de la connexion Unity Catalog pour Smartsheet.

parameters source

parameter	Obligatoire	Description
source_schema	Oui	Toujours "default".
source_table	Oui	L'ID de feuille ou de rapport Smartsheet à 16 chiffres.

parameter	Obligatoire	Description
source_schema	Oui	Toujours "default".
source_table	Oui	L'ID de feuille ou de rapport Smartsheet à 16 chiffres.

Paramètres de destination

parameter	Obligatoire	Description
destination_catalog	Oui	Catalogue Unity Catalog cible.
destination_schema	Oui	Schéma cible dans le catalogue.
destination_table	Non	Nom de la table cible. Default to the Smartsheet sheet or report ID.

parameter	Obligatoire	Description
destination_catalog	Oui	Catalogue Unity Catalog cible.
destination_schema	Oui	Schéma cible dans le catalogue.
destination_table	Non	Nom de la table cible. Default to the Smartsheet sheet or report ID.

table_configuration options

parameter	Obligatoire	Par défaut	Description
row_filter	Non	Toutes les lignes	Expression de filtre DBSQL pour l'ingestion sélective de lignes. Voir le filtrage des lignes.
include_columns	Non	Toutes les colonnes	Liste des noms de colonne à inclure dans la table ingérée. Si spécifié, seules les colonnes listées sont ingérées.
exclude_columns	Non	Aucun	Liste des noms de colonnes à exclure de la table ingérée. Ne peut pas être utilisé conjointement avec include_columns.

parameter	Obligatoire	Par défaut	Description
row_filter	Non	Toutes les lignes	Expression de filtre DBSQL pour l'ingestion sélective de lignes. Voir le filtrage des lignes.
include_columns	Non	Toutes les colonnes	Liste des noms de colonne à inclure dans la table ingérée. Si spécifié, seules les colonnes listées sont ingérées.
exclude_columns	Non	Aucun	Liste des noms de colonnes à exclure de la table ingérée. Ne peut pas être utilisé conjointement avec include_columns.

connector_options

parameter	Obligatoire	Description
enforce_schema	Non	Lorsque true (default), les colonnes sont mappées à leurs types déclarés par Smartsheet ; les cellules non conformes sont définies sur NULL. Lorsque false, toutes les colonnes sont ingérées en tant que STRING.

parameter	Obligatoire	Description
enforce_schema	Non	Lorsque true (default), les colonnes sont mappées à leurs types déclarés par Smartsheet ; les cellules non conformes sont définies sur NULL. Lorsque false, toutes les colonnes sont ingérées en tant que STRING.

enforce_schema comportement

L'option enforce_schema contrôle la manière dont le connecteur mappe les types de colonnes Smartsheet aux types Spark lors de l'ingestion. Il est défini dans connector_options et est par default true.

• enforce_schema: true ** (default)** — Chaque colonne est mappée à son type déclaré par Smartsheet conformément au tableau de mappage des types ci-dessus. Les cellules qui ne sont pas conformes au type déclaré sont définies à NULL plutôt que de provoquer l'échec du pipeline. Utilisez ce paramètre pour les feuilles avec des données cohérentes et bien typées.

• enforce_schema: false — Toutes les colonnes sont ingérées en tant que STRING, quel que soit leur type Smartsheet déclaré. Utilisez ce paramètre pour les feuilles contenant des données irrégulières, des types de colonnes fréquemment remplacés, ou lorsque les systèmes en aval gèrent le transtypage.

  JSON

  "connector_options": {
    "enforce_schema": false
  }

Filtrage des lignes

Utilisez l'option row_filter dans table_configuration pour ingérer un sous-ensemble de lignes à partir d'une feuille ou d'un rapport. Les lignes sont référencées par row_number (base 1) ou par toute valeur de colonne en utilisant le titre Smartsheet de la colonne.

Opérateurs pris en charge : =, !=, <, <=, >, >=, AND, OR, IN, BETWEEN, LIKE

Pour plus d'informations, consultez Filtrage des lignes.