execução de consultas federadas no Google BigQuery

Visualização

Esse recurso está em visualização pública.

Este artigo descreve como configurar o Lakehouse Federation para executar consultas federadas nos dados do site BigQuery que não são gerenciados pelo site Databricks. Para saber mais sobre a lakehouse Federation, consulte O que é a lakehouse Federation?

Para se conectar ao banco de dados do BigQuery usando lakehouse Federation, você deve criar o seguinte no metastore do Catálogo do Databricks Unity:

Uma conexão com seu banco de dados do BigQuery.
Um catálogo externo que espelha seu banco de dados do BigQuery no Unity Catalog para que você possa usar a sintaxe query do Unity Catalog e as ferramentas de governança de dados para gerenciar o acesso do usuário do Databricks ao banco de dados.

Antes de começar

requisitos workspace :

workspace habilitado para o Unity Catalog.

requisitos compute :

Conectividade de rede dos clusters Databricks Runtime ou SQL warehouse para os sistemas de banco de dados de destino. Consulte Recomendações de rede para a Federação lakehouse .
Databricks clusters deve usar Databricks Runtime 13.3 LTS ou acima e modo de acesso compartilhado ou de usuário único.
SQL warehouse deve ser Pro ou serverless.

Permissões necessárias:

Para criar uma conexão, você deve ser um administrador do metastore ou um usuário com o privilégio CREATE CONNECTION no metastore do Unity Catalog anexado ao workspace.
Para criar um catálogo externo, você deve ter a permissão CREATE CATALOG no metastore e ser o proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Requisitos de permissão adicionais são especificados em cada seção baseada em tarefas a seguir.

Crie uma conexão

Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Catalog Explorer ou o CREATE CONNECTION comando SQL em um do Databricks Notebook ou no Databricks SQL query editor .

Observação

O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar uma conexão. Veja POST /api/2.1/unity-catalog/connections e Unity Catalog comando.

Permissões necessárias: administrador do metastore ou usuário com privilégio CREATE CONNECTION .

No seu workspace do Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone Add e selecione Add a connection (Adicionar uma conexão ) no menu.

Como alternativa, na página Quick access (Acesso rápido ), clique no botão External data (Dados externos) >, acesse Connections (Conexões ) tab e clique em Create connection (Criar conexão).
Insira um nome de conexão amigável.
Selecione um tipo de conexão do BigQuery.

Insira a seguinte propriedade de conexão para sua instância do BigQuery.

GoogleServiceAccountKeyJson: um objeto JSON bruto usado para especificar o projeto do BigQuery e fornecer autenticação. Você pode gerar esse objeto JSON e downloads -lo na página de detalhes account de serviço nas clouds do Google em ' key'. A account de serviço precisa ter as permissões adequadas concedidas no BigQuery, incluindo BigQuery User e BigQuery Data Viewer. O seguinte é um exemplo.

{
  "type": "service_account",
  "project_id": "PROJECT_ID",
  "private_key_id": "KEY_ID",
  "private_key": "-----BEGIN PRIVATE KEY-----\nPRIVATE_KEY\n-----END PRIVATE KEY-----\n",
  "client_email": "SERVICE_ACCOUNT_EMAIL",
  "client_id": "CLIENT_ID",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://accounts.google.com/o/oauth2/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
  "universe_domain": "googleapis.com"
}

(Opcional) Insira a seguinte propriedade de conexão para sua instância do BigQuery:

Id do projeto: Um nome para o projeto BigQuery usado para o faturamento de todas as consultas executadas nessa conexão. padrão para o ID do projeto de seu serviço account.
(Opcional) Clique em Testar conexão para confirmar a conectividade de rede. Esta ação não testa a autenticação.
(Opcional) Adicione um comentário.
Clique em Criar.

execute o seguinte comando em um Notebook ou no Databricks SQL query editor . Substitua <GoogleServiceAccountKeyJson> por um objeto JSON bruto que especifique o projeto do BigQuery e forneça autenticação. Você pode gerar esse objeto JSON e downloads -lo na página de detalhes account de serviço nas clouds do Google em ' key'. A account de serviço precisa ter as permissões adequadas concedidas no BigQuery, incluindo BigQuery User e BigQuery Data Viewer. Para obter um exemploview de objeto JSON, a Catalog Explorer tab nesta página.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

Recomendamos que utilize segredos do Databricks em vez de strings caracteres de texto simples para valores sensíveis como credenciais. Por exemplo:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Para obter informações sobre como configurar segredos, consulte Gerenciamento de segredos.

Crie um catálogo estrangeiro

Um catálogo externo espelha um banco de dados em um sistema de dados externo para que você possa query e gerenciar o acesso aos dados nesse banco de dados usando Databricks e Unity Catalog. Para criar um catálogo externo, utilize uma conexão com a fonte de dados já definida.

Para criar um catálogo externo, você pode usar o Catalog Explorer ou CREATE FOREIGN CATALOG em um do Databricks Notebook ou no Databricks SQL query editor .

Observação

O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar um catálogo. Veja POST /api/2.1/unity-catalog/catalogs ou Unity Catalog comando.

Permissões necessárias: permissão CREATE CATALOG no metastore e propriedade da conexão ou privilégio CREATE FOREIGN CATALOG na conexão.

Em seu site Databricks workspace, clique em Catalog para abrir o Catalog Explorer.
Na parte superior do painel Catalog (Catálogo ), clique no ícone Add (Adicionar ) e selecione Add a catalog (Adicionar um catálogo ) no menu.

Como alternativa, na página de acesso rápido, clique no botão Catalogs (Catálogos ) e, em seguida, clique no botão Create catalog (Criar catálogo ).
(Opcional) Insira a seguinte propriedade do catálogo:

Id do projeto de dados: Um nome para o projeto do BigQuery que contém dados que serão mapeados para esse catálogo. padrão para o ID do projeto de faturamento definido no nível da conexão.
Siga as instruções para criar catálogos estrangeiros em Criar catálogos.

execute o seguinte comando SQL em um Notebook ou no editor Databricks SQL . Os itens entre colchetes são opcionais. Substitua os valores do espaço reservado.

<catalog-name>: nome do catálogo no Databricks.
<connection-name>: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdowns suportados

Os seguintes pushdowns são suportados:

Filtros
Projeções
Limite
Funções: parciais, apenas para expressões de filtro. funções strings , funções matemáticas, funções de dados, hora e carimbo de data/hora e outras funções diversas, como Alias, Cast, SortOrder)
Agregados
Classificação, quando usada com limite

Os seguintes pushdowns não são suportados:

join
Funções do Windows

Mapeamentos de tipo de dados

A tabela a seguir mostra o mapeamento de tipos de dados do BigQuery para Spark.

Tipo do BigQuery	Tipo Spark
grande numérico, numérico	Tipo Decimal
int64	LongType
float64	Tipo Duplo
array, geografia, intervalo, JSON, strings, struct	VarcharType
bytes	TipoBinário
bool	BooleanType
Data	Tipo de data
data e hora, hora, carimbo de data/hora	TimestampType/TimestampNTZType

Quando você lê no BigQuery, o BigQuery Timestamp é mapeado para Spark TimestampType se preferTimestampNTZ = false (default). O BigQuery Timestamp será mapeado para TimestampNTZType se preferTimestampNTZ = true.