Crie um pipeline de ingestão de Meta Ads.

info

Beta

O conector Meta Ads está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

Este artigo descreve como criar um pipeline de ingestão de Meta Ads usando Databricks LakeFlow Connect. As seguintes interfaces são suportadas:

• Databricks Asset Bundles
• APIs do Databricks
• SDKs do Databricks
• CLI do Databricks

O conector Meta Ads não suporta atualmente a criação pipeline baseada em interface de usuário.

Antes de começar

Para criar um pipeline de ingestão, você deve atender aos seguintes requisitos:

• Seu workspace deve estar habilitado para o Unity Catalog.

• compute sem servidor (serverless compute) deve estar habilitado para seu workspace. Consulte os requisitos compute sem servidor.

• Se você planeja criar uma nova conexão: Você deve ter privilégios CREATE CONNECTION no metastore.

  Se o conector suportar a criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline simultaneamente, concluindo os passos desta página. No entanto, se os usuários que criam pipelines utilizarem a criação pipeline baseada em API ou não forem administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Consulte Conectar para gerenciar fontes de ingestão.

• Se você planeja usar uma conexão existente: Você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

• Você deve ter privilégios USE CATALOG no catálogo de destino.

• Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

Para importar dados de Meta Ads, consulte Configurar Meta Ads como fonte de dados.

Objetos suportados

O conector Meta Ads suporta a ingestão dos seguintes objetos:

• ads
• ad_sets
• campaigns
• ad_images
• ad_insights
• ad_creatives
• custom_audiences
• ad_videos
• custom_conversions

Para o objeto ad_insights , você pode configurar detalhamentos e detalhamentos de ação para analisar dados de desempenho em diferentes níveis de granularidade (account, campanha, conjunto de anúncios ou anúncio).

Crie o pipeline de ingestão.

Permissões necessárias: USE CONNECTION ou ALL PRIVILEGES em uma conexão.

Este passo descreve como criar o pipeline de ingestão. Cada tabela ingerida é gravada em uma tabela de transmissão com o mesmo nome.

Databricks notebook

1. Importe o seguinte Notebook para seu workspace:

Crie um pipeline de ingestão de Meta Ads.

Open notebook in new tab

2. Deixe os valores default na célula 1. Não modifique esta célula.

3. Se você deseja importar todos os objetos da sua account Meta Ads, modifique a especificação do esquema na célula 2. Se você deseja importar apenas objetos específicos, exclua a célula 2 e modifique a especificação da tabela na célula 3.

   Não modifique channel. Isto deve ser PREVIEW.

   Valores da célula 2 a serem modificados:

   • nameUm nome único para o pipeline.
   • connection_nameA conexão Unity Catalog que armazena os detalhes de autenticação para Meta Ads.
   • source_schema: Seu ID account Meta Ads.
   • destination_catalog: Um nome para o catálogo de destino que conterá os dados ingeridos.
   • destination_schema: Um nome para o esquema de destino que conterá os dados ingeridos.
   • scd_type: O método SCD a ser usado: SCD_TYPE_1 ou SCD_TYPE_2. O default é o tipo 1 SCD . Para mais informações, consulte Habilitar história acompanhamento (SCD tipo 2).

   Valores da célula 3 a serem modificados:

   • nameUm nome único para o pipeline.
   • connection_nameA conexão Unity Catalog que armazena os detalhes de autenticação para Meta Ads.
   • source_schema: Seu ID account Meta Ads.
   • source_table: O nome do objeto a ser ingerido (por exemplo, ads, campaigns ou ad_insights).
   • destination_catalog: Um nome para o catálogo de destino que conterá os dados ingeridos.
   • destination_schema: Um nome para o esquema de destino que conterá os dados ingeridos.
   • scd_type: O método SCD a ser usado: SCD_TYPE_1 ou SCD_TYPE_2. O default é o tipo 1 SCD . Para mais informações, consulte Habilitar história acompanhamento (SCD tipo 2).

   Para ad_insights, você pode configurar parâmetros adicionais:

   • breakdown: Dimensões de decomposição opcionais (por exemplo, age, gender, country).
   • action_breakdown: Dimensões opcionais de detalhamento da ação (por exemplo, action_type, action_destination).
   • granularity: Nível de granularidade para percepções: account, campaign, ad_set ou ad. O valor padrão é ad.

4. Clique em Executar tudo .

Databricks CLI

execute o seguinte comando:

databricks pipelines create --json "<pipeline definition or json file path>"

definição de dutos

Se você deseja importar todos os objetos da sua account Meta Ads, use o formato de especificação de esquema para a definição do seu pipeline . Se você deseja ingerir apenas objetos específicos, use o formato de definição de especificação de tabela. Não modifique channel. Isto deve ser PREVIEW.

Valores de especificação de esquema a serem modificados:

• nameUm nome único para o pipeline.
• connection_nameA conexão Unity Catalog que armazena os detalhes de autenticação para Meta Ads.
• source_schema: Seu ID account Meta Ads.
• destination_catalog: Um nome para o catálogo de destino que conterá os dados ingeridos.
• destination_schema: Um nome para o esquema de destino que conterá os dados ingeridos.
• scd_type: O método SCD a ser usado: SCD_TYPE_1 ou SCD_TYPE_2. O default é o tipo 1 SCD . Para mais informações, consulte Habilitar história acompanhamento (SCD tipo 2).

Especificação de esquema padrão:

JSON

{
  "name": "<YOUR_PIPELINE_NAME>",
  "ingestion_definition": {
    "connection_name": "<YOUR_CONNECTION_NAME>",
    "objects": [
      {
        "schema": {
          "source_schema": "<YOUR_META_ADS_ACCOUNT_ID>",
          "destination_catalog": "<YOUR_DATABRICKS_CATALOG>",
          "destination_schema": "<YOUR_DATABRICKS_SCHEMA>",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1"
          }
        }
      }
    ]
  },
  "channel": "PREVIEW"
}

Valores de especificação da tabela a serem modificados:

• nameUm nome único para o pipeline.
• connection_nameA conexão Unity Catalog que armazena os detalhes de autenticação para Meta Ads.
• source_schema: Seu ID account Meta Ads.
• source_table: O nome do objeto a ser ingerido (por exemplo, ads, campaigns ou ad_insights).
• destination_catalog: Um nome para o catálogo de destino que conterá os dados ingeridos.
• destination_schema: Um nome para o esquema de destino que conterá os dados ingeridos.
• scd_type: O método SCD a ser usado: SCD_TYPE_1 ou SCD_TYPE_2. O default é o tipo 1 SCD . Para mais informações, consulte Habilitar história acompanhamento (SCD tipo 2).

Especificação da mesa padrão:

JSON

{
  "name": "<YOUR_PIPELINE_NAME>",
  "ingestion_definition": {
    "connection_name": "<YOUR_CONNECTION_NAME>",
    "objects": [
      {
        "table": {
          "source_schema": "<YOUR_META_ADS_ACCOUNT_ID>",
          "source_table": "<OBJECT_NAME>",
          "destination_catalog": "<YOUR_DATABRICKS_CATALOG>",
          "destination_schema": "<YOUR_DATABRICKS_SCHEMA>",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1"
          }
        }
      }
    ]
  },
  "channel": "PREVIEW"
}

Para ad_insights, você pode adicionar opções de configuração:

JSON

{
  "name": "<YOUR_PIPELINE_NAME>",
  "ingestion_definition": {
    "connection_name": "<YOUR_CONNECTION_NAME>",
    "objects": [
      {
        "table": {
          "source_schema": "<YOUR_META_ADS_ACCOUNT_ID>",
          "source_table": "ad_insights",
          "destination_catalog": "<YOUR_DATABRICKS_CATALOG>",
          "destination_schema": "<YOUR_DATABRICKS_SCHEMA>",
          "table_configuration": {
            "scd_type": "SCD_TYPE_1",
            "breakdown": ["age", "gender"],
            "action_breakdown": ["action_type"],
            "granularity": "ad"
          }
        }
      }
    ]
  },
  "channel": "PREVIEW"
}

Comando CLI adicional

Para editar o pipeline:

databricks pipelines update --json "<pipeline definition or json file path>"

Para obter a definição do pipeline:

databricks pipelines get "<pipeline-id>"

Para excluir o pipeline:

databricks pipelines delete "<pipeline-id>"

Para mais informações, execução:

databricks pipelines --help
databricks pipelines <create|update|get|delete|...> --help

Próximos passos

• começar, programar e definir alerta em seu pipeline.

Recursos adicionais

• Limitações do conector

• solução de problemas em dutos

• Referência do conector

• Perguntas frequentes sobre conectores

• Padrões comuns:

  • Selecione as colunas a serem ingeridas.
  • refresh completamente as tabelas de destino
  • Habilitar história envio (SCD tipo 2)
  • Criar um pipeline com múltiplos destinos
  • Tarefa comum de manutenção pipeline
  • Renomear uma tabela ingerida