Use o conector Databricks para se conectar a outro Databricks workspace

Este artigo fornece exemplos de sintaxe do uso do conector Databricks para conectar-se a outro Databricks workspace. Esse conector aproveita o driver Databricks JDBC , que está incluído em Databricks Runtime 13.3 LTS e acima.

important

Para a maioria das operações de compartilhamento de dados, a Databricks recomenda o Delta Sharing. Consulte O que é Delta Sharing? O senhor também pode preferir o Lakehouse Federation para gerenciar consultas de dados em outro espaço de trabalho Databricks. Veja o que é Lakehouse Federation?

Conectando-se a outro site Databricks workspace

O conector Databricks Spark permite que o senhor se conecte ao compute recurso configurado em outro Databricks workspace e retorne os resultados para o seu Databricks workspace atual. O senhor deve ter acesso ao site compute ativo em ambos os espaços de trabalho para que as consultas sejam bem-sucedidas.

O driver JDBC está registrado para jdbc:databricks:// URLs. O senhor deve configurar e usar um token de acesso pessoal que lhe conceda permissões no recurso workspace que está sendo acessado remotamente. Consulte o gerenciamento de tokens API.

nota

Se o senhor tiver uma Databricks JDBC biblioteca anexada ao seu clustering, a versão da biblioteca anexada ao seu clustering será usada em vez da versão incluída em Databricks Runtime.

Ler dados de outro site Databricks workspace

O senhor pode especificar o formato databricks para usar o conector Databricks Spark quando estiver lendo dados, como no exemplo a seguir:

Python

df = (spark.read
  .format("databricks")
  .option("host", "<host-name>.cloud.databricks.com")
  .option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
  .option("personalAccessToken", "<auth-token>")
  .option("dbtable", "<table-name>")
  .load()
)

Criar uma tabela externa em outro site Databricks workspace

O senhor pode registrar uma tabela externa em um Databricks workspace vinculado a um Databricks workspace separado.

O exemplo a seguir demonstra essa sintaxe, usando a função secret para obter credenciais armazenadas com os segredos do Databricks:

nota

Para obter mais informações sobre os segredos do Databricks, consulte secret function.

SQL

CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
  host '<host-name>.cloud.databricks.com',
  httpPath '/sql/1.0/warehouses/<warehouse-id>',
  personalAccessToken secret('<scope>', '<token>'),
  dbtable '<table-name>'
);