Ingerir dados do Google analítica 4

Aprenda como importar dados do Google Analytics 4 para o Databricks usando LakeFlow Connect e o Google BigQuery.

Requisitos

• Para criar um pipeline de ingestão, você deve primeiro atender aos seguintes requisitos:

  • Seu workspace deve estar habilitado para o Unity Catalog.

  • O compute sem servidor deve estar habilitado para o seu workspace. Consulte os requisitos do compute sem servidor.

  • Se você planeja criar uma nova conexão: Você deve ter privilégios CREATE CONNECTION no metastore. Consulte a seção sobre privilégios de gerenciamento no Unity Catalog.

    Se o conector oferecer suporte à criação pipeline baseada em interface de usuário, um administrador poderá criar a conexão e o pipeline ao mesmo tempo, concluindo os passos nesta página. No entanto, se os usuários que criam o pipeline usarem a criação pipeline baseada em API ou não forem usuários administradores, um administrador deverá primeiro criar a conexão no Catalog Explorer. Veja Conectar às fontes de ingestão de gerenciar.

  • Se você planeja usar uma conexão existente: você deve ter privilégios USE CONNECTION ou ALL PRIVILEGES no objeto de conexão.

  • Você deve ter privilégios USE CATALOG no catálogo de destino.

  • Você deve ter privilégios USE SCHEMA e CREATE TABLE em um esquema existente ou privilégios CREATE SCHEMA no catálogo de destino.

• Para ingerir a partir do GA4 usando BigQuery, consulte Configurar o Google analítica 4 e o Google BigQuery para ingerir Databricks.

Configurar a rede

Quando o controle de saída serverless estiver habilitado e o acesso à rede for restrito a destinos específicos, você deverá definir regras de saída na sua política de rede. Consulte Configurar políticas de rede.

Crie um pipeline de ingestão.

Cada tabela ingerida é gravada em uma tabela de transmissão.

info

Beta

Você pode filtrar linhas durante a ingestão para melhorar o desempenho e reduzir a duplicação de dados. Consulte Selecionar linhas para ingestão.

Databricks UI

1. Na barra lateral do site Databricks workspace, clique em ingestão de dados .

2. Na página Add data (Adicionar dados) , em Databricks connectors (conectores ), clique em Google analítica 4 .

3. Na página Conexão do assistente de ingestão, selecione a conexão que armazena suas credenciais de acesso do Google Analytics 4. Se você tiver o privilégio CREATE CONNECTION no metastore, poderá clicar. Crie uma conexão para criar uma nova conexão com os detalhes de autenticação em Configurar o Google Analytics 4 e o Google BigQuery para ingestão Databricks.

   A interface do usuário do Databricks suporta apenas o OAuth para conexões GA4. No entanto, o senhor pode usar a autenticação básica ao criar a conexão usando as APIs da Databricks. Consulte Google analítica dados brutos.

4. Clique em Avançar .

5. Na página de configuração de ingestão , insira um nome exclusivo para o pipeline.

6. Selecione um catálogo e um esquema para gravar logs de eventos. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.

7. Clique em Create pipeline (Criar pipeline) e continue .

8. Na página Origem , selecione as tabelas que deseja importar.

9. Clique em Salvar e continuar .

10. Na página Destino , selecione um catálogo e um esquema para carregar os dados. Se você tiver privilégios USE CATALOG e CREATE SCHEMA no catálogo, poderá clicar. Para criar um novo esquema, clique em "Criar esquema" no menu suspenso.

11. Clique em Salvar e continuar .

12. (Opcional) Na página de programação e notificações , clique em Criar programar . Defina a frequência de refresh das tabelas de destino.

13. (Opcional) Clique Adicione uma notificação para configurar notificações email para operações pipeline bem-sucedidas ou com falha e, em seguida, clique em Salvar e execute pipeline .

Databricks Asset Bundles

Use pacotes de automação declarativa para gerenciar o pipeline analítico 4 do Google como código. Os pacotes podem conter definições YAML de Job e tarefa, são gerenciados usando a CLI Databricks e podem ser compartilhados e executados em diferentes espaços de trabalho de destino (como desenvolvimento, teste e produção). Para mais informações, consulte O que são pacotes de automação declarativa?.

1. Crie um novo pacote usando a CLI do Databricks:

   Bash

   databricks bundle init

2. Adicione dois novos arquivos de recursos ao pacote:

   • Um arquivo de definição de pipeline (por exemplo, resources/ga4_pipeline.yml). Consulte pipeline.ingestion_definition e exemplos.
   • Um arquivo de definição de trabalho que controla a frequência de ingestão de dados (por exemplo, resources/ga4_job.yml).

3. Implante o pipeline usando a CLI Databricks :

   Bash

   databricks bundle deploy

Databricks notebook

1. Importe o seguinte Notebook para o seu workspace Databricks :

Abrir notebook em uma nova aba

2. Deixe a célula um como está.

3. Modifique a célula três com os detalhes da configuração do seu pipeline. Consulte pipeline.ingestion_definition e exemplos.

4. Clique em Executar tudo .

Exemplos

Utilize esses exemplos para configurar seu pipeline.

Ingerir uma única tabela de origem

Databricks Asset Bundles

O seguinte arquivo de definição de pipeline ingere uma única tabela de origem:

YAML

variables:
  dest_catalog:
    default: main
  dest_schema:
    default: ingest_destination_schema

# The main pipeline for ga4_dab
resources:
  pipelines:
    pipeline_ga4:
      name: ga4_pipeline
      catalog: ${var.dest_catalog}
      schema: ${var.dest_schema}
      ingestion_definition:
        connection_name: <ga4-connection>
        objects:
          # An array of objects to ingest from GA4. This example ingests the events table from the analytics_XXXXXXXXX dataset.
          - table:
              source_schema: analytics_XXXXXXXXX
              source_table: events
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}

Databricks notebook

A seguinte especificação de pipeline ingere uma única tabela de origem:

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<ga4-connection>",
    "objects": [
      {
        "table": {
          "source_schema": "analytics_XXXXXXXXX",
          "source_table": "events",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      }
    ]
  }
}
"""
create_pipeline(pipeline_spec)

Ingerir várias tabelas de origem

Databricks Asset Bundles

O seguinte arquivo de definição de pipeline ingere várias tabelas de origem:

YAML

variables:
  dest_catalog:
    default: main
  dest_schema:
    default: ingest_destination_schema

# The main pipeline for ga4_dab
resources:
  pipelines:
    pipeline_ga4:
      name: ga4_pipeline
      catalog: ${var.dest_catalog}
      schema: ${var.dest_schema}
      ingestion_definition:
        connection_name: <ga4-connection>
        objects:
          # An array of objects to ingest from GA4. This example ingests the events and events_intraday tables.
          - table:
              source_schema: analytics_XXXXXXXXX
              source_table: events
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}
          - table:
              source_schema: analytics_XXXXXXXXX
              source_table: events_intraday
              destination_catalog: ${var.dest_catalog}
              destination_schema: ${var.dest_schema}

Databricks notebook

A seguinte especificação de pipeline ingere várias tabelas de origem:

Python

pipeline_spec = """
{
  "name": "<pipeline-name>",
  "ingestion_definition": {
    "connection_name": "<ga4-connection>",
    "objects": [
      {
        "table": {
          "source_schema": "analytics_XXXXXXXXX",
          "source_table": "events",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      },
      {
        "table": {
          "source_schema": "analytics_XXXXXXXXX",
          "source_table": "events_intraday",
          "destination_catalog": "main",
          "destination_schema": "ingest_destination_schema"
        }
      }
    ]
  }
}
"""
create_pipeline(pipeline_spec)

Arquivo de definição de trabalho de pacote

Segue abaixo um exemplo de arquivo de definição de tarefa para uso com pacotes de automação declarativa. A execução do trabalho ocorre todos os dias, exatamente um dia após a última execução.

YAML

resources:
  jobs:
    ga4_dab_job:
      name: ga4_dab_job

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      email_notifications:
        on_failure:
          - <email-address>

      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.pipeline_ga4.id}

Padrões comuns

Para configurações avançadas pipeline , consulte Padrões comuns para gerenciar pipeline de ingestão.

Próximos passos

começar, programar e definir alerta em seu pipeline. Consulte Tarefa comum de manutenção pipeline.

Recurso adicional

• Perguntas frequentes sobre o conector Google analítica dados brutos
• Limitações do conector Google analítica dados brutos
• Referência do conector Google analítica dados brutos
• Solucionar problemas de ingestão do Google Analítica