Sélectionner les colonnes à ingérer

S'applique à : connecteurs SaaS connecteurs de base de données connecteurs basés sur la query

By default, les connecteurs gérés dans Lakeflow Connect ingèrent toutes les colonnes actuelles et futures dans les tables spécifiées. Vous pouvez éventuellement utiliser l'une des propriétés de configuration de table suivantes dans votre définition de pipeline pour sélectionner ou désélectionner des colonnes spécifiques pour l'ingestion :

Propriété	Description
include_columns	Vous pouvez éventuellement spécifier une liste de colonnes à inclure pour l'ingestion. Si vous utilisez cette option pour inclure explicitement des colonnes, le pipeline exclut automatiquement les colonnes qui sont ajoutées à la source à l'avenir. Pour ingérer les futures colonnes, vous devez les ajouter à la liste.
exclude_columns	Spécifiez facultativement une liste de colonnes à exclure de l'ingestion. Si vous utilisez cette option pour exclure explicitement des colonnes, le pipeline inclut automatiquement les colonnes qui sont ajoutées à la source à l'avenir.

Propriété	Description
include_columns	Vous pouvez éventuellement spécifier une liste de colonnes à inclure pour l'ingestion. Si vous utilisez cette option pour inclure explicitement des colonnes, le pipeline exclut automatiquement les colonnes qui sont ajoutées à la source à l'avenir. Pour ingérer les futures colonnes, vous devez les ajouter à la liste.
exclude_columns	Spécifiez facultativement une liste de colonnes à exclure de l'ingestion. Si vous utilisez cette option pour exclure explicitement des colonnes, le pipeline inclut automatiquement les colonnes qui sont ajoutées à la source à l'avenir.

Les définitions de pipeline d'exemple sur cette page montrent comment sélectionner trois colonnes spécifiques pour l'ingestion, en fonction de l'interface de création de pipeline. Pour désélectionner des colonnes spécifiques à la place, spécifiez exclude_columns dans la configuration de la table.

Exemple : Google analytique

Declarative Automation Bundles

YAML

resources:
  pipelines:
    pipeline_ga4:
      name: <pipeline-name>
      catalog: <target-catalog>
      schema: <target-schema>
      ingestion_definition:
        connection_name: <connection-name>
        objects:
          - table:
              source_url: <project-id>
              source_schema: <property-name>
              destination_catalog: <destination-catalog>
              destination_schema: <destination-schema>
              table_configuration:
                include_columns:
                  - <column_a>
                  - <column_b>
                  - <column_c>

Databricks notebook

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "objects": [
      {
        "table": {
          "source_catalog": "<project-id>",
          "source_schema": "<property-name>",
          "source_table": "<source-table>",
          "destination_catalog": "<target-catalog>",
          "destination_schema": "<target-schema>",
          "table_configuration": {
            "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
          }
        }
      }
    ]
  }
}
"""

Databricks CLI

JSON

{
  "resources": {
    "pipelines": {
      "pipeline_ga4": {
        "name": "<pipeline-name>",
        "catalog": "<target-catalog>",
        "schema": "<target-schema>",
        "ingestion_definition": {
          "connection_name": "<connection-name>",
          "objects": [
            {
              "table": {
                "source_url": "<project-id>",
                "source_schema": "<property-name>",
                "destination_catalog": "<destination-catalog>",
                "destination_schema": "<destination-schema>",
                "table_configuration": {
                  "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
                }
              }
            }
          ]
        }
      }
    }
  }
}

Exemple : Salesforce

Declarative Automation Bundles

YAML

resources:
  pipelines:
    pipeline_sfdc:
      name: <pipeline-name>
      catalog: <target-catalog>
      schema: <target-schema>
      ingestion_definition:
        connection_name: <connection-name>
        objects:
          - table:
              source_schema: <source-schema>
              source_table: <source-table>
              destination_catalog: <destination-catalog>
              destination_schema: <destination-schema>
              table_configuration:
                include_columns:
                  - <column_a>
                  - <column_b>
                  - <column_c>

Databricks notebook

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "objects": [
      {
        "table": {
          "source_catalog": "<source-catalog>",
          "source_schema": "<source-schema>",
          "source_table": "<source-table>",
          "destination_catalog": "<target-catalog>",
          "destination_schema": "<target-schema>",
          "table_configuration": {
            "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
          }
        }
      }
    ]
  }
}
"""

Databricks CLI

JSON

{
  "resources": {
    "pipelines": {
      "pipeline_sfdc": {
        "name": "<pipeline-name>",
        "catalog": "<target-catalog>",
        "schema": "<target-schema>",
        "ingestion_definition": {
          "connection_name": "<connection-name>",
          "objects": [
            {
              "table": {
                "source_schema": "<source-schema>",
                "source_table": "<source-table>",
                "destination_catalog": "<destination-catalog>",
                "destination_schema": "<destination-schema>",
                "table_configuration": {
                  "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
                }
              }
            }
          ]
        }
      }
    }
  }
}

Exemple : Jour ouvré

Declarative Automation Bundles

YAML

resources:
  pipelines:
    pipeline_workday:
      name: <pipeline-name>
      catalog: <target-catalog>
      schema: <target-schema>
      ingestion_definition:
        connection_name: <connection-name>
        objects:
          - report:
              source_url: <report-url>
              destination_catalog: <destination-catalog>
              destination_schema: <destination-schema>
              table_configuration:
                include_columns:
                  - <column_a>
                  - <column_b>
                  - <column_c>

Databricks notebook

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<connection-name>",
    "objects": [
      {
        "report": {
          "source_url": "<report-url>",
          "destination_catalog": "<target-catalog>",
          "destination_schema": "<target-schema>",
          "table_configuration": {
            "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
          }
        }
      }
    ]
  }
}
"""

Databricks CLI

JSON

{
  "resources": {
    "pipelines": {
      "pipeline_workday": {
        "name": "<pipeline-name>",
        "catalog": "<target-catalog>",
        "schema": "<target-schema>",
        "ingestion_definition": {
          "connection_name": "<connection-name>",
          "objects": [
            {
              "report": {
                "source_url": "<report-url>",
                "destination_catalog": "<destination-catalog>",
                "destination_schema": "<destination-schema>",
                "table_configuration": {
                  "include_columns": ["<column_a>", "<column_b>", "<column_c>"]
                }
              }
            }
          ]
        }
      }
    }
  }
}