Referência do conector do Google Search Console

info

Beta

Este recurso está em Beta. To use it, a workspace admin must turn on Lakeflow Connect for Google Search Console from the Previews page. See Gerenciar Databricks previews.

O conector gerenciado do Google Search Console no Lakeflow Connect suporta 15 tabelas de origem no esquema default: 2 tabelas de site, 12 tabelas de relatório pré-construídas e uma tabela custom_report. As tabelas de site são sincronizadas com um refresh completo e as tabelas de relatório são sincronizadas incrementalmente. O campo de cursor é date para tabelas de relatório diárias e custom_report, e hour para tabelas de relatório horárias.

Tabelas de origem compatíveis

O conector do Google Search Console oferece suporte às seguintes tabelas de origem, todas sob o esquema de origem default. As tabelas de site contêm metadados sobre suas propriedades verificadas do Google Search Console. Cada tabela de relatório executa um relatório de desempenho de pesquisa por meio da Search analítica API e agrupa os resultados por um conjunto fixo de dimensões. As tabelas de relatório pré-criadas são organizadas por granularidade de tempo:

• Tabelas do site
• Tabelas de relatórios diários
• Tabelas de relatório por hora
• Tabela de relatório personalizada

Para definições de cada dimensão e métricas, consulte Search Analítica: query na documentação do Google.

Tabelas do site

Estas tabelas contêm metadados sobre suas propriedades verificadas do Google Search Console. Elas não contêm métricas de desempenho de pesquisa e são totalmente atualizadas a cada execução do pipeline.

Tabela de origem	Chave primária	Descrição	Modo de sincronização
sites	site_url	Propriedades de site verificadas registradas no Google Search Console, incluindo o nível de permissão.	Apenas refresh completo
sitemaps	site_url, path	Sitemaps enviados ao Google Search Console para cada propriedade verificada.	Apenas refresh completo

Tabela de origem	Chave primária	Descrição	Modo de sincronização
sites	site_url	Propriedades de site verificadas registradas no Google Search Console, incluindo o nível de permissão.	Apenas refresh completo
sitemaps	site_url, path	Sitemaps enviados ao Google Search Console para cada propriedade verificada.	Apenas refresh completo

Tabelas de relatórios pré-criadas

As tabelas de relatórios pré-criadas contêm dados de cliques, impressões, taxa de cliques (CTR) e posição da API Search Analítica do Google Search Console. Todas as tabelas de relatórios pré-criadas são sincronizadas incrementalmente.

Cada tabela retorna as mesmas quatro métricas (clicks, impressions, ctr e position), mas difere em relação às dimensões nas quais os dados são agregados e ao tipo de agregação que o Google aplica antes de retornar os resultados. Veja Tipo de agregação.

Tabelas de relatório diário

Estas tabelas agregam dados de desempenho de pesquisa por dia civil. O campo do cursor é date.

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
search_analytics_all_fields	data, país, dispositivo, página, query	Automático	web, notícias, imagem, vídeo	site_url, date, country, device, page, query, search_type	date
search_analytics_by_country	data, país	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, country, search_type	date
search_analytics_by_date	Data	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, search_type	date
search_analytics_by_device	data, dispositivo	Automático	web, notícias, imagem, vídeo, googleNews	site_url, date, device, search_type	date
search_analytics_by_page	data, página	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, page, search_type	date
search_analytics_by_query	data, query	Automático	web, notícias, imagem, vídeo	site_url, date, query, search_type	date
search_analytics_page_report	data, país, dispositivo, página	Automático	web, notícias, imagem, vídeo, googleNews	site_url, date, country, device, page, search_type	date
search_analytics_site_report_by_page	data, país, dispositivo	porPágina	web, notícias, imagem, vídeo, googleNews	site_url, date, country, device, search_type	date
search_analytics_site_report_by_site	data, país, dispositivo	byProperty	web, notícias, imagem, vídeo	site_url, date, country, device, search_type	date

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
search_analytics_all_fields	data, país, dispositivo, página, query	Automático	web, notícias, imagem, vídeo	site_url, date, country, device, page, query, search_type	date
search_analytics_by_country	data, país	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, country, search_type	date
search_analytics_by_date	Data	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, search_type	date
search_analytics_by_device	data, dispositivo	Automático	web, notícias, imagem, vídeo, googleNews	site_url, date, device, search_type	date
search_analytics_by_page	data, página	Automático	web, notícias, imagem, vídeo, descobrir, googleNews	site_url, date, page, search_type	date
search_analytics_by_query	data, query	Automático	web, notícias, imagem, vídeo	site_url, date, query, search_type	date
search_analytics_page_report	data, país, dispositivo, página	Automático	web, notícias, imagem, vídeo, googleNews	site_url, date, country, device, page, search_type	date
search_analytics_site_report_by_page	data, país, dispositivo	porPágina	web, notícias, imagem, vídeo, googleNews	site_url, date, country, device, search_type	date
search_analytics_site_report_by_site	data, país, dispositivo	byProperty	web, notícias, imagem, vídeo	site_url, date, country, device, search_type	date

Tabelas de relatório por hora

Essas tabelas agregam dados de desempenho de pesquisa por hora. Eles usam apenas o estado de dados hourly_all e não são afetados pela opção de conector data_state. O campo de cursor é hour. Os tipos de pesquisa disponíveis estão limitados a web e googleNews.

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
hourly_search_analytics_page_report	hora, país, dispositivo, página	Automático	web, googleNews	site_url, hour, country, device, page, search_type	hour
hourly_search_analytics_site_report_by_page	hora, país, dispositivo	porPágina	web, googleNews	site_url, hour, country, device, search_type	hour
hourly_search_analytics_site_report_by_site	hora, país, dispositivo	byProperty	web, googleNews	site_url, hour, country, device, search_type	hour

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
hourly_search_analytics_page_report	hora, país, dispositivo, página	Automático	web, googleNews	site_url, hour, country, device, page, search_type	hour
hourly_search_analytics_site_report_by_page	hora, país, dispositivo	porPágina	web, googleNews	site_url, hour, country, device, search_type	hour
hourly_search_analytics_site_report_by_site	hora, país, dispositivo	byProperty	web, googleNews	site_url, hour, country, device, search_type	hour

Tabela de relatório personalizada

A tabela custom_report faz a execução de um relatório diário com as dimensões, tipos de pesquisa e tipo de agregação que você especifica nas opções do seu conector. Veja Relatórios personalizados.

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
custom_report	date, mais os valores de dimensions	O valor de aggregation_type	Os valores de search_types	site_url, date, os valores de dimensions, e search_type	date

Tabela de origem	Dimensões	Tipo de agregação	Tipos de pesquisa	Chave primária	Campo do cursor
custom_report	date, mais os valores de dimensions	O valor de aggregation_type	Os valores de search_types	site_url, date, os valores de dimensions, e search_type	date

Opções de conector

O conector do Google Search Console é compatível com as seguintes opções de configuração. Consulte Exemplos para obter informações sobre o uso.

Opção	Tipo	Escopo	Obrigatório	Aplica-se a	Descrição
site_urls	array de strings JSON	Pipeline	Sim	Todas as tabelas	Um ou mais URLs de propriedade do Google Search Console verificados para ingerir. Cada URL deve ser uma propriedade que você verificou no Google Search Console (por exemplo, https://example.com/ ou sc-domain:example.com).
start_date	String (yyyy-MM-dd)	Pipeline	Não	Todas as tabelas incrementais (search_analytics_*, hourly_search_analytics_*, custom_report)	Data mais antiga a partir da qual ingerir dados, no formato yyyy-MM-dd. O default é de 500 dias antes da primeira sincronização. Não tem efeito em sites ou sitemaps (refresh completo).
data_state	String	Tabela	Não	Tabelas de desempenho de pesquisa diária (search_analytics_*) e custom_report	Atualidade dos dados para tabelas de desempenho de pesquisa diária e custom_report. all (default) inclui dados finalizados e recentes. final inclui apenas dados finalizados. Defina-o apenas em objetos search_analytics_* e custom_report. As tabelas sites, sitemaps e hourly_search_analytics_* não aceitam essa opção.
dimensions	array de strings JSON	Tabela	Sim	custom_report apenas	As dimensões para agrupar o relatório, por exemplo, '["country", "device"]'. Os valores permitidos são date, country, device, page e query. O conector inclui date mesmo se você não listá-lo.
search_types	array de strings JSON	Tabela	Sim	custom_report apenas	Os tipos de pesquisa para a execução do relatório, por exemplo, '["web", "image"]'. Os valores permitidos são web, image, video, news, discover e googleNews. O conector faz a execução do relatório uma vez para cada tipo de pesquisa e grava o tipo de pesquisa na coluna search_type.
aggregation_type	String	Tabela	Não	custom_report apenas	Como o Google Search Console agrega métricas. Um de auto (default), byPageou byProperty. Consulte Tipo de agregação.

Opção	Tipo	Escopo	Obrigatório	Aplica-se a	Descrição
site_urls	array de strings JSON	Pipeline	Sim	Todas as tabelas	Um ou mais URLs de propriedade do Google Search Console verificados para ingerir. Cada URL deve ser uma propriedade que você verificou no Google Search Console (por exemplo, https://example.com/ ou sc-domain:example.com).
start_date	String (yyyy-MM-dd)	Pipeline	Não	Todas as tabelas incrementais (search_analytics_*, hourly_search_analytics_*, custom_report)	Data mais antiga a partir da qual ingerir dados, no formato yyyy-MM-dd. O default é de 500 dias antes da primeira sincronização. Não tem efeito em sites ou sitemaps (refresh completo).
data_state	String	Tabela	Não	Tabelas de desempenho de pesquisa diária (search_analytics_*) e custom_report	Atualidade dos dados para tabelas de desempenho de pesquisa diária e custom_report. all (default) inclui dados finalizados e recentes. final inclui apenas dados finalizados. Defina-o apenas em objetos search_analytics_* e custom_report. As tabelas sites, sitemaps e hourly_search_analytics_* não aceitam essa opção.
dimensions	array de strings JSON	Tabela	Sim	custom_report apenas	As dimensões para agrupar o relatório, por exemplo, '["country", "device"]'. Os valores permitidos são date, country, device, page e query. O conector inclui date mesmo se você não listá-lo.
search_types	array de strings JSON	Tabela	Sim	custom_report apenas	Os tipos de pesquisa para a execução do relatório, por exemplo, '["web", "image"]'. Os valores permitidos são web, image, video, news, discover e googleNews. O conector faz a execução do relatório uma vez para cada tipo de pesquisa e grava o tipo de pesquisa na coluna search_type.
aggregation_type	String	Tabela	Não	custom_report apenas	Como o Google Search Console agrega métricas. Um de auto (default), byPageou byProperty. Consulte Tipo de agregação.

Relatórios personalizados

Use a tabela custom_report para ingerir uma combinação de dimensões, tipos de pesquisa e tipo de agregação que as tabelas pré-criadas não cobrem. Cada objeto custom_report em um pipeline faz uma execução de um relatório em relação a cada URL de site em site_urls.

O conector solicita as dimensões em dimensions, mais date se dimensions ainda não o incluir. O relatório é agregado por dia, portanto, a tabela custom_report não oferece suporte à dimensão hour. Para ingerir dados por hora, use as tabelas de relatórios por hora.

Para ingerir mais de um relatório personalizado, adicione um objeto custom_report para cada relatório, cada um com um destination_table diferente. Consulte Ingerir um relatório personalizado.

Tipo de agregação

A opção aggregation_type define como o Google Search Console agrega as métricas do relatório personalizado. Cada tabela de relatório pré-criada usa um tipo de agregação fixo, listado em sua linha de tabela.

aggregation_type	Agregação
auto	O Google Search Console escolhe a agregação. Este é o default.
byPage	Agrega métricas por página.
byProperty	Agrega métricas por propriedade. Não oferece suporte à dimensão page nem aos tipos de pesquisa discover e googleNews.

aggregation_type	Agregação
auto	O Google Search Console escolhe a agregação. Este é o default.
byPage	Agrega métricas por página.
byProperty	Agrega métricas por propriedade. Não oferece suporte à dimensão page nem aos tipos de pesquisa discover e googleNews.

Como cada tipo de agregação conta os cliques de forma diferente, os totais de cliques em tabelas com tipos de agregação diferentes não coincidem entre si ou com a interface do Google Search Console para o mesmo intervalo de datas. Para mais detalhes, consulte aggregationType na documentação do Google.

Esquemas de tabela de destino

Cada tabela de relatório, incluindo custom_report, inclui as seguintes colunas que o conector adiciona:

• site_url (STRING): A URL da propriedade do Google Search Console de onde a linha veio.
• search_type (STRING): o tipo de pesquisa de onde a linha veio.
• ingestion_timestamp (TIMESTAMP): O momento em que o conector ingeriu a linha.

sites

Chave primária: site_url Modo de sincronização: Apenas refresh completo

campo	Tipo de dados
site_url	STRING
permission_level	STRING

campo	Tipo de dados
site_url	STRING
permission_level	STRING

sitemaps

Key primária: site_url, path Modo de sincronização: Apenas refresh completo

campo	Tipo de dados
site_url	STRING
path	STRING
last_submitted	STRING
is_pending	BOOLEAN
is_sitemaps_index	BOOLEAN
type	STRING
last_downloaded	STRING
warnings	BIGINT
errors	BIGINT
contents	ARRAY<STRUCT<type: STRING, submitted: BIGINT, indexed: BIGINT>>

campo	Tipo de dados
site_url	STRING
path	STRING
last_submitted	STRING
is_pending	BOOLEAN
is_sitemaps_index	BOOLEAN
type	STRING
last_downloaded	STRING
warnings	BIGINT
errors	BIGINT
contents	ARRAY<STRUCT<type: STRING, submitted: BIGINT, indexed: BIGINT>>

search_analytics_all_fields

Dimensões: date, country, device, page, query Tipo de agregação: auto Tipos de pesquisa: web, news, image, video Chave primária: site_url, date, country, device, page, query, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
page	STRING
query	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
page	STRING
query	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_by_country

Dimensões: date, country Tipo de agregação: auto Tipos de pesquisa: web, news, image, video, discover, googleNews Chave primária: site_url, date, country, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_by_date

Dimensões: date Tipo de agregação: auto Tipos de pesquisa: web, news, image, video, discover, googleNews Chave primária: site_url, date, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_by_device

Dimensões: date, device Tipo de agregação: auto Tipos de pesquisa: web, news, image, video, googleNews Primary key: site_url, date, device, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_by_page

Dimensões: date, page Tipo de agregação: auto Tipos de pesquisa: web, news, image, video, discover, googleNews Chave primária: site_url, date, page, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_by_query

Dimensões: date, query Tipo de agregação: auto Tipos de pesquisa: web, news, image, video Chave primária: site_url, date, query, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
query	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
query	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_page_report

Dimensões: date, country, device, page Tipo de agregação: auto Tipos de pesquisa: web, news, image, video, googleNews Primary key: site_url, date, country, device, page, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_site_report_by_page

Dimensões: date, country, device Tipo de agregação: byPage Tipos de pesquisa: web, news, image, video, googleNews Chave primária: site_url, date, country, device, search_type Campo do cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

search_analytics_site_report_by_site

Dimensões: date, country, device Tipo de agregação: byProperty Tipos de pesquisa: web, news, image, video Primary key: site_url, date, country, device, search_type Campo de cursor: date

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

hourly_search_analytics_page_report

Dimensões: hour, country, device, page Tipo de agregação: auto Tipos de pesquisa: web, googleNews Primary key: site_url, hour, country, device, page, search_type Campo de cursor: hour

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
page	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

hourly_search_analytics_site_report_by_page

Dimensões: hour, country, device Tipo de agregação: byPage Tipos de pesquisa: web, googleNews Chave primária: site_url, hour, country, device, search_type Campo do cursor: hour

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

hourly_search_analytics_site_report_by_site

Dimensões: hour, country, device Tipo de agregação: byProperty Tipos de pesquisa: web, googleNews Primary key: site_url, hour, country, device, search_type Campo de cursor: hour

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
hour	STRING
country	STRING
device	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

custom_report

Dimensões: date, mais os valores de dimensions Tipo de agregação: O valor de aggregation_type Tipos de pesquisa: Os valores de search_types Key primária: site_url, date, os valores de dimensions e search_type Campo de cursor: date

A tabela inclui as seguintes colunas. Também inclui uma coluna STRING para cada um dos country, device, page e query que você listar em dimensions.

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

campo	Tipo de dados
site_url	STRING
search_type	STRING
date	STRING
clicks	DOUBLE
impressions	DOUBLE
ctr	DOUBLE
position	DOUBLE
ingestion_timestamp	TIMESTAMP

Permissões OAuth necessárias

O conector do Google Search Console solicita o escopo https://www.googleapis.com/auth/webmasters.readonly. Este escopo concede acesso somente leitura a todos os dados do Google Search Console para propriedades às quais a identidade autenticada tem acesso.

Permissão	Obrigatório para
https://www.googleapis.com/auth/webmasters.readonly	Todas as tabelas

Permissão	Obrigatório para
https://www.googleapis.com/auth/webmasters.readonly	Todas as tabelas