Pular para o conteúdo principal
Última atualização em

Ler dados compartilhados utilizando o Compartilhamento Aberto Databricks-para-Compartilhamento Aberto com tokens de portador

Esta página descreve como ler dados compartilhados com você usando o protocolo de *compartilhamento aberto* OpenSharing com tokens de portador. Inclui instruções para ler dados compartilhados utilizando as seguintes ferramentas:

Neste modelo de compartilhamento Databricks-to-Open, utiliza-se um arquivo de credenciais, compartilhado com um membro da equipe pelo provedor de dados, para obter acesso de leitura seguro a dados compartilhados. O acesso persiste enquanto a credencial for válida e o provedor continuar a compartilhar os dados. Provedores gerenciam a expiração e a rotação de credenciais. As atualizações dos dados estão disponíveis em tempo quase real. É possível ler e fazer cópias dos dados compartilhados, mas não é possível modificar os dados de origem.

nota

Se os dados foram compartilhados com você usando Databricks-to-Databricks OpenSharing, você não precisa de um arquivo de credencial para acessar os dados, e esta página não se aplica a você. Em vez disso, consulte Ler dados compartilhados usando o Databricks-to-Databricks OpenSharing (para destinatários).

nota

No compartilhamento Databricks-para-Open, os recursos de bucket de armazenamento e de credenciais (escopo, expiração, leitura vs. leitura/gravação) são determinados pelo provedor. Montar um compartilhamento aberto em um workspace de Secure Egress Gateway (SEG) permite automaticamente o acesso de saída do bucket do provedor — verifique o provedor antes de montar.

As seções a seguir descrevem como usar clientes Databricks, Apache Spark, pandas, Power BI e Iceberg para acessar e ler dados compartilhados usando o arquivo de credenciais. Para obter uma lista completa de conectores OpenSharing e informações sobre como usá-los, consulte a documentação de código aberto do OpenSharing. Se surgirem dificuldades no acesso aos dados compartilhados, entre em contato com o provedor de dados.

Antes de começar​

Um membro da equipe deve fazer o download do arquivo de credencial compartilhado pelo provedor de dados e usar um canal seguro para o compartilhamento desse arquivo ou de sua localização. Consulte Obter acesso no modelo de compartilhamento Databricks-para-Open.

Para documentação específica do conector, consulte a página de downloads de credenciais.

Databricks: ler dados compartilhados usando conectores de compartilhamento aberto Databricks-to-Open​

Esta seção descreve como importar um provedor e como consultar os dados compartilhados no Catalog Explorer ou em um Notebook Python:

  • Se o seu workspace do Databricks estiver habilitado para o Unity Catalog, use a interface de usuário do provedor de Importação no Catalog Explorer. Você pode fazer o seguinte sem precisar armazenar ou especificar um arquivo de credenciais:

    • Crie catálogos a partir de compartilhamentos com o clique de um botão.
    • Use os controles de acesso do Unity Catalog para conceder acesso a tabelas compartilhadas.
    • Consulte o uso compartilhado de dados usando a sintaxe padrão do Unity Catalog.
    • Aplicar uma credencial rotacionada ao objeto de provedor existente sem recriar o catálogo. Consulte Girar credenciais para destinatários abertos.

  • Se seu workspace do Databricks não estiver habilitado para o Unity Catalog, use as instruções do Notebook Python como exemplo.

**Permissões necessárias**: Um administrador de metastore ou um usuário que tenha os CREATE PROVIDER USE PROVIDER privilégios e para seu metastore do Unity Catalog.

  1. No seu workspace do Databricks, clique em Ícone de dados. Catálogo para abrir o Catalog Explorer.

  2. Na parte superior do painel **Catálogo**, clique ícone de engrenagem. em e selecione **Abrir Compartilhamento**.

    Alternativamente, no canto superior direito, clique em **Share > OpenSharing**.

  3. Na **tab Shared with me**, clique em **Instalar compartilhamento**.

  4. Insira o nome do provedor.

    O nome não pode incluir espaços.

  5. Faça upload do arquivo de credencial que o provedor compartilhou com você.

    Muitos provedores têm suas próprias redes OpenSharing das quais você pode receber compartilhamentos. Para obter mais informações, consulte Configurações específicas do provedor.

  6. (Opcional) Insira um comentário.

    Importe diretamente o arquivo de credencial de um provedor.

  7. Clique em Importar .

  8. Crie catálogos a partir dos dados compartilhados.

    Na guia Compartilhamentos , clique em Criar catálogo na linha do compartilhamento.

    Para obter informações sobre como usar SQL ou a CLI do Databricks para criar um catálogo a partir de um compartilhamento, consulte Criar um catálogo a partir de um compartilhamento.

  9. Conceder acesso aos catálogos.

    Consulte Como faço para disponibilizar dados compartilhados à minha equipe? e Gerenciar permissões para os esquemas, tabelas e volumes em um catálogo OpenSharing.

  10. Leia os objetos de dados compartilhados da mesma forma que faria com qualquer objeto de dados registrado no Unity Catalog.

    Para obter detalhes e exemplos, consulte Acessar dados em uma tabela ou volume compartilhado.

Clientes Iceberg: Lêem dados compartilhados​

Use clientes Iceberg externos, como Snowflake, Trino, Flink e Spark, para ler ativos de dados compartilhados com acesso de cópia zero usando a API de Catálogo REST do Apache Iceberg.

Obter credenciais de conexão​

Antes de acessar ativos de dados compartilhados com clientes Iceberg externos, colete as seguintes credenciais:

  • O endpoint do Catálogo REST do Iceberg
  • Um token do portador válido
  • O nome do compartilhamento
  • (Opcional) O nome do namespace ou esquema
  • (Opcional) O nome da tabela

O endpoint do Catálogo REST do Iceberg (icebergEndpoint) e o token Bearer são encontrados no arquivo de credenciais compartilhado com você por seu provedor de dados. Para obter mais informações, consulte Antes de começar. O nome do compartilhamento, namespace e nome da tabela podem ser descobertos programaticamente usando APIs do OpenSharing.

importante

O icebergEndpoint é encontrado no arquivo de credenciais e tem o formato <workspace-url>/api/2.0/delta-sharing/metastores/<metastore-id>/iceberg.

Os exemplos a seguir mostram como obter as credenciais adicionais. Insira o endpoint, o endpoint Iceberg e o token Bearer do arquivo de credenciais, quando necessário:

Shell
// List shares
curl -X GET "<endpoint>/shares" \
   -H "Authorization: Bearer <bearerToken>"

// List namespaces
curl -X GET "<icebergEndpoint>/v1/shares/<share>/namespaces" \
   -H "Authorization: Bearer <bearerToken>"

// List tables
curl -X GET "<icebergEndpoint>/v1/shares/<share>/namespaces/<namespace>/tables" \
   -H "Authorization: Bearer <bearerToken>"
nota

Este método sempre recupera a lista de ativos mais atualizada. No entanto, exige acesso à internet e pode ser mais difícil de integrar em ambientes sem código.

Configurar catálogo Iceberg​

Após obter as credenciais de conexão necessárias, configure seu cliente para usar os endpoints do Catálogo REST do Iceberg para criar e consultar tabelas.

  1. Para cada compartilhamento, crie uma integração de catálogo.

    SQL
    USE ROLE ACCOUNTADMIN;

    CREATE OR REPLACE CATALOG INTEGRATION <CATALOG_PLACEHOLDER>
    CATALOG_SOURCE = ICEBERG_REST
    TABLE_FORMAT = ICEBERG
    REST_CONFIG = (
       CATALOG_URI = '<icebergEndpoint>',
       WAREHOUSE = '<share_name>',
       ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
    )
    REST_AUTHENTICATION = (
       TYPE = BEARER,
       BEARER_TOKEN = '<bearerToken>'
    )
    ENABLED = TRUE;

  2. Opcionalmente, adicione REFRESH_INTERVAL_SECONDS para manter os metadados atualizados. Defina o valor com base na frequência de atualização do seu catálogo.

    SQL
    REFRESH_INTERVAL_SECONDS = 30

  3. Após o catálogo ser configurado, crie um banco de dados a partir do catálogo. Isto cria automaticamente todos os esquemas e tabelas nesse catálogo.

    SQL
    CREATE DATABASE <DATABASE_PLACEHOLDER>
    LINKED_CATALOG = (
       CATALOG = <CATALOG_PLACEHOLDER>
    );

  4. Para confirmar que o compartilhamento foi bem-sucedido, consulte uma tabela no banco de dados. Será possível ver os dados compartilhados do Databricks.

Se o resultado estiver vazio ou ocorrer um erro, siga estas etapas comuns de solução de problemas:

  • Verifique novamente os privilégios, o status de geração de Snapshot e as credenciais REST.
  • Entre em contato com seu provedor de dados.
  • Consulte a documentação específica para seu cliente Iceberg.

Exemplo: Acessar tabelas compartilhadas usando diferentes clientes Iceberg​

Os exemplos a seguir mostram como acessar tabelas compartilhadas usando clientes Iceberg externos, como Snowflake, Apache Spark, PyIceberg e API REST, após obter suas credenciais de conexão. Para saber mais sobre como obter credenciais de conexão, consulte Antes de começar.

Para ler ativos de dados compartilhados no Snowflake, faça o upload do arquivo de credencial que você baixou e gere o comando SQL necessário:

  1. Do seu link de ativação do OpenSharing, clique no ícone do Snowflake.

  2. Na página de integração do Snowflake, faça upload do arquivo de credencial que você recebeu do provedor de dados.

    Fazer upload do arquivo de credencial no Snowflake

  3. Após carregar a credencial, escolha o compartilhamento que você deseja acessar no Snowflake.

  4. Clique em Gerar SQL após selecionar os ativos desejados.

    Gere o comando SQL para Snowflake

  5. Copie e cole o SQL gerado em sua planilha do Snowflake. Substitua CATALOG_PLACEHOLDER pelo nome do catálogo que deseja usar e DATABASE_PLACEHOLDER pelo nome do banco de dados que deseja usar.

Limitações

A conexão com o Catálogo REST do Iceberg no Snowflake tem as seguintes limitações:

  • O arquivo de metadados não é atualizado automaticamente com o Snapshot mais recente. É necessário contar com o Refresh automático ou com os refreshes manuais.
  • R2 não é compatível.
  • Todas as limitações do cliente Iceberg aplicam-se.

Limitações do cliente Iceberg​

Aplicam-se as seguintes limitações ao consultar dados OpenSharing de clientes Iceberg:

  • Ao listar tabelas em um namespace, se o namespace contiver mais de 100 views compartilhadas, a resposta é limitada às primeiras 100 views.

Apache Spark: Ler dados compartilhados​

Siga estes passos para acessar o uso compartilhado de dados Spark 3.x ouacima.

Estas instruções assumem que você tem acesso ao arquivo de credencial que foi compartilhado pelo provedor de dados. Consulte Obter acesso no modelo de compartilhamento Databricks-para-Open.

importante

Certifique-se de que seu arquivo de credencial esteja acessível pelo Apache Spark usando um caminho absoluto. O caminho pode se referir a um objeto cloud ou a um volume do Unity Catalog.

nota

Se você estiver usando Spark em um workspace do Databricks habilitado para Unity Catalog, e tiver usado a interface do usuário de importação do provedor para importar o provedor e o compartilhamento, as instruções nesta seção não se aplicam a você. É possível acessar tabelas compartilhadas assim como qualquer outra tabela registrada no Unity Catalog. Não é necessário instalar o conector Python delta-sharing ou fornecer o caminho para o arquivo de credenciais. Consulte Databricks: Ler dados compartilhados utilizando conectores de compartilhamento aberto Databricks-to-Open.

Instalar os conectores OpenSharing Python e Spark​

Para acessar metadados relacionados aos dados compartilhados, como a lista de tabelas compartilhadas com você, faça o seguinte. Este exemplo usa Python.

  1. Instale o conector Python de compartilhamento Delta. Para obter informações sobre as limitações do conector Python, consulte Limitações do conector Python do OpenSharing.

    Bash
    pip install delta-sharing

  2. Instale o conector Apache Spark.

Listar tabelas compartilhadas usando Spark​

Listar as tabelas no compartilhamento. No exemplo a seguir, substitua <profile-path> pelo local do arquivo de credencial.

Python
import delta_sharing

client = delta_sharing.SharingClient(f"<profile-path>/config.share")

client.list_all_tables()

O resultado é um array de tabelas, juntamente com os metadados para cada tabela. A seguinte saída mostra duas tabelas:

Console
Out[10]: [Table(name='example_table', share='example_share_0', schema='default'), Table(name='other_example_table', share='example_share_0', schema='default')]

Se a saída estiver vazia ou não contiver as tabelas esperadas, contate o provedor de dados.

Acessar dados compartilhados usando Spark​

Execute o seguinte, substituindo estas variáveis:

  • <profile-path>: o local do arquivo de credenciais.
  • <share-name>: o valor de share= para a tabela.
  • <schema-name>: o valor de schema= para a tabela.
  • <table-name>: o valor de name= para a tabela.
  • <version-as-of>: opcional. A versão da tabela para carregar os dados. Só funciona se o provedor de dados compartilhar a história da tabela. Requer delta-sharing-spark 0.5.0 ouacima.
  • <timestamp-as-of>: opcional. Carregue os dados na versão anterior ou no carimbo de data/hora fornecido. Só funciona se o provedor de dados compartilhar a história da tabela. Requer delta-sharing-spark 0.6.0 ouacima.
Python
delta_sharing.load_as_spark(f"<profile-path>#<share-name>.<schema-name>.<table-name>", version=<version-as-of>)

spark.read.format("deltaSharing")\
.option("versionAsOf", <version-as-of>)\
.load("<profile-path>#<share-name>.<schema-name>.<table-name>")\
.limit(10)

delta_sharing.load_as_spark(f"<profile-path>#<share-name>.<schema-name>.<table-name>", timestamp=<timestamp-as-of>)

spark.read.format("deltaSharing")\
.option("timestampAsOf", <timestamp-as-of>)\
.load("<profile-path>#<share-name>.<schema-name>.<table-name>")\
.limit(10)

Acessar feed de dados de alteração compartilhado usando Spark​

Se a história da tabela foi compartilhada e o feed de dados alterados (CDF) está habilitado na tabela de origem, acesse o feed de dados alterados executando o seguinte e substituindo essas variáveis. Requer delta-sharing-spark 0.5.0 ou acima.

Um parâmetro de início deve ser fornecido.

  • <profile-path>: o local do arquivo de credenciais.
  • <share-name>: o valor de share= para a tabela.
  • <schema-name>: o valor de schema= para a tabela.
  • <table-name>: o valor de name= para a tabela.
  • <starting-version>: opcional. A versão inicial da query, inclusiva. Especifique como um Long.
  • <ending-version>: opcional. A versão final da consulta, inclusive. Se a versão final não for fornecida, a API usa a versão mais recente da tabela.
  • <starting-timestamp>: opcional. O carimbo de data/hora inicial da consulta, que é convertido em uma versão criada maior ou igual a este carimbo de data/hora. Especifique como uma string no formato yyyy-mm-dd hh:mm:ss[.fffffffff].
  • <ending-timestamp>: opcional. O carimbo de data/hora final da consulta, que é convertido em uma versão criada antes ou igual a este carimbo de data/hora. Especifique como uma string no formato yyyy-mm-dd hh:mm:ss[.fffffffff]
Python
delta_sharing.load_table_changes_as_spark(f"<profile-path>#<share-name>.<schema-name>.<table-name>",
  starting_version=<starting-version>,
  ending_version=<ending-version>)

delta_sharing.load_table_changes_as_spark(f"<profile-path>#<share-name>.<schema-name>.<table-name>",
  starting_timestamp=<starting-timestamp>,
  ending_timestamp=<ending-timestamp>)

spark.read.format("deltaSharing").option("readChangeFeed", "true")\
.option("startingVersion", <starting-version>)\
.option("endingVersion", <ending-version>)\
.load("<profile-path>#<share-name>.<schema-name>.<table-name>")

spark.read.format("deltaSharing").option("readChangeFeed", "true")\
.option("startingTimestamp", <starting-timestamp>)\
.option("endingTimestamp", <ending-timestamp>)\
.load("<profile-path>#<share-name>.<schema-name>.<table-name>")

Se a saída estiver vazia ou não contiver os dados esperados, entre em contato com o provedor de dados.

Acesse uma tabela compartilhada usando Spark transmissão estructurada​

Se a história da tabela for compartilhada com você, você poderá ler os dados compartilhados por transmissão. Requer delta-sharing-spark 0.6.0 ouacima.

Opções compatíveis:

  • ignoreDeletes: Ignora transações que excluem dados.
  • ignoreChanges: Reprocessar atualizações se os arquivos foram reescritos na tabela de origem devido a uma operação de alteração de dados, como UPDATE, MERGE INTO, DELETE (dentro de partições) ou OVERWRITE. Linhas inalteradas ainda podem ser emitidas. Portanto, os consumidores downstream devem ser capazes de lidar com as duplicidades. As exclusões não são propagadas downstream. ignoreChanges subsume ignoreDeletes. Portanto, se usar ignoreChanges, sua transmissão não é interrompida por exclusões nem por atualizações na tabela de origem.
  • startingVersion: A versão da tabela compartilhada de onde começar. Todas as alterações da tabela a partir desta versão (inclusive) são lidas pela fonte de transmissão.
  • startingTimestamp: O timestamp de onde começar. Todas as alterações da tabela confirmadas no ou após o timestamp (inclusive) são lidas pela origem de transmissão. Exemplo: "2023-01-01 00:00:00.0".
  • maxFilesPerTrigger: O número de arquivos novos a serem considerados em cada micro-batch.
  • maxBytesPerTrigger: A quantidade de dados processada em cada micro-lote. Essa opção define um "soft max", o que significa que um lote processa aproximadamente essa quantidade de dados e pode processar mais do que o limite para fazer a consulta de transmissão avançar nos casos em que a menor unidade de entrada é maior que esse limite.
  • readChangeFeed: Leia por transmissão o feed de dados de alteração da tabela compartilhada.

Opções não compatíveis:

  • Trigger.availableNow

Exemplos de consultas de transmissão estructurada​

Python
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.load("<profile-path>#<share-name>.<schema-name>.<table-name>")

Consulte também conceitos de transmissão estructurada.

Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado​

info

Visualização

Esse recurso está em Prévia Pública.

Vetores de exclusão são um recurso de otimização de armazenamento que seu provedor pode habilitar em tabelas Delta compartilhadas. Consulte Vetores de exclusão no Databricks.

A Databricks também oferece suporte ao mapeamento de colunas para tabelas Delta. Consulte Renomear e eliminar colunas com o mapeamento de colunas do Delta Lake.

Se o seu provedor compartilhou uma tabela com vetores de exclusão ou mapeamento de coluna ativado, você pode ler a tabela usando o compute que está executando delta-sharing-spark 3.1 ou acima. Se você estiver usando clusters Databricks, poderá executar leituras em lotes usando um cluster executando o Databricks Runtime 14.1 ou superior. Consultas CDF e de transmissão exigem o Databricks Runtime 14.2 ou acima.

Você pode executar consultas em lote como estão, porque elas podem resolver automaticamente responseFormat com base nos recursos da tabela compartilhada.

Para ler um feed de dados de alteração (CDF) ou para executar consultas de transmissão em tabelas compartilhadas com vetores de exclusão ou mapeamento de coluna ativado, você deve definir a opção adicional responseFormat=delta.

Os exemplos a seguir mostram consultas de lotes, CDF e transmissão:

Scala
import org.apache.spark.sql.SparkSession

val spark = SparkSession
        .builder()
        .appName("...")
        .master("...")
        .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
        .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
        .getOrCreate()

val tablePath = "<profile-file-path>#<share-name>.<schema-name>.<table-name>"

// Batch query
spark.read.format("deltaSharing").load(tablePath)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .load(tablePath)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").load(tablePath)

Ler colunas de acompanhamento de linha em tabelas compartilhadas​

Se o provedor de dados habilitou o acompanhamento de linha em uma tabela compartilhada, você pode consultar as colunas de metadados de acompanhamento de linha usando Scala Spark. Consulte Acompanhamento de linha no Databricks para obter uma lista de colunas disponíveis.

Você deve definir a opção responseFormat como delta.

Scala
spark.read.format("deltaSharing")
  .option("responseFormat", "delta")
  .load("<profile-path>#<share-name>.<schema-name>.<table-name>")
  .select("_metadata.row_id")
  .show()
nota

Apenas o formato de resposta delta é suportado para consultar colunas de acompanhamento de linha no cliente Spark. Conectores de dump não são suportados.

Pandas: Ler dados compartilhados​

Siga estes passos para acessar dados compartilhados em pandas 0.25.3 ou acima.

Estas instruções assumem que você tem acesso ao arquivo de credencial que foi compartilhado pelo provedor de dados. Consulte Obter acesso no modelo de compartilhamento Databricks-para-Open.

nota

Se você estiver usando pandas em um workspace do Databricks que esteja habilitado para o Unity Catalog, e você usou a UI de importação do provedor para importar o provedor e o compartilhamento, as instruções nesta seção não se aplicam a você. É possível acessar tabelas compartilhadas assim como qualquer outra tabela registrada no Unity Catalog. Não é necessário instalar o delta-sharing conector Python nem fornecer o caminho para o arquivo de credencial. Consulte Databricks: Ler dados compartilhados usando conectores de compartilhamento Databricks-to-Open.

Instale o Conector Python do OpenSharing​

Para acessar metadados relacionados aos dados compartilhados, como a lista de tabelas compartilhadas com você, você deve instalar o conector Python delta-sharing. Para obter informações sobre as limitações do conector Python, consulte Limitações do conector Python do OpenSharing.

Bash
pip install delta-sharing

Listar tabelas compartilhadas usando pandas​

Para listar as tabelas no compartilhamento, execute o seguinte, substituindo <profile-path>/config.share pelo local do arquivo de credencial.

Python
import delta_sharing

client = delta_sharing.SharingClient(f"<profile-path>/config.share")

client.list_all_tables()

Se a saída estiver vazia ou não contiver as tabelas esperadas, contate o provedor de dados.

Acessar dados compartilhados usando pandas​

Para acessar dados compartilhados em pandas usando Python, execute o seguinte, substituindo as variáveis da seguinte forma:

  • <profile-path>: o local do arquivo de credenciais.
  • <share-name>: o valor de share= para a tabela.
  • <schema-name>: o valor de schema= para a tabela.
  • <table-name>: o valor de name= para a tabela.
Python
import delta_sharing
delta_sharing.load_as_pandas(f"<profile-path>#<share-name>.<schema-name>.<table-name>")

Acessar um feed de dados de alteração compartilhado usando pandas​

Para acessar o feed de dados alterados para uma tabela compartilhada em pandas usando Python, execute o seguinte, substituindo as variáveis da seguinte forma. Um feed de dados alterados pode não estar disponível, dependendo se o provedor de dados compartilhou ou não o feed de dados alterados para a tabela.

  • <starting-version>: opcional. A versão inicial da query, inclusive.
  • <ending-version>: opcional. A versão final da consulta, inclusiva.
  • <starting-timestamp>: opcional. O carimbo de data/hora inicial da consulta. Isso é convertido para uma versão criada maior ou igual a este carimbo de data/hora.
  • <ending-timestamp>: opcional. O carimbo de data/hora final da consulta. Isso é convertido para uma versão criada antes ou igual a este carimbo de data/hora.
Python
import delta_sharing
delta_sharing.load_table_changes_as_pandas(
  f"<profile-path>#<share-name>.<schema-name>.<table-name>",
  starting_version=<starting-version>,
  ending_version=<ending-version>)

delta_sharing.load_table_changes_as_pandas(
  f"<profile-path>#<share-name>.<schema-name>.<table-name>",
  starting_timestamp=<starting-timestamp>,
  ending_timestamp=<ending-timestamp>)

Se a saída estiver vazia ou não contiver os dados esperados, entre em contato com o provedor de dados.

Power BI: Ler dados compartilhados​

O conector Power BI OpenSharing permite que os usuários descubram, analisem e visualizem conjuntos de dados compartilhados com eles por meio do protocolo OpenSharing.

Requisitos​

Conectar ao Databricks​

Para conectar-se ao Databricks usando o conector OpenSharing, faça o seguinte:

  1. Abra o arquivo de credencial compartilhado com um editor de texto para recuperar a URL do endpoint e o token.
  2. Inicie o Power BI Desktop.
  3. No menu **Obter Dados**, procure por **OpenSharing**.
  4. Selecione o conector e clique em Conectar .
  5. Insira a URL do endpoint que você copiou do arquivo de credenciais no campo URL do Servidor OpenSharing .
  6. Opcionalmente, na **tab** **Opções Avançadas**, defina um **Limite de linha** para o número máximo de linhas que você pode baixar. Isso é definido como 1 milhão de linhas por default.
  7. Clique em OK .
  8. Para Autenticação , copie o token recuperado do arquivo de credenciais em Token do portador .
  9. Clique em Conectar .

Limitações do conector de Compartilhamento Aberto do Power BI​

O Conector de Compartilhamento Aberto do Power BI apresenta as seguintes limitações:

  • Os dados que o conector carrega devem caber na memória da sua máquina. Para gerenciar este requisito, o conector limita o número de linhas importadas ao **Limite de Linhas** que você definiu na tab Opções Avançadas no Power BI Desktop.

Tableau: Ler dados compartilhados​

O conector Tableau OpenSharing permite descobrir, analisar e visualizar datasets que são compartilhados com você por meio do protocolo aberto OpenSharing.

Requisitos​

Conectar ao Databricks​

Para conectar-se ao Databricks usando o conector OpenSharing, faça o seguinte:

  1. Acesse Tableau Exchange, siga as instruções para baixar o OpenSharing Connector e coloque-o em uma pasta de área de trabalho apropriada.
  2. Abra o Tableau Desktop.
  3. Na página **Conectores**, procure por “OpenSharing by Databricks”.
  4. Selecione Upload Share file e escolha o arquivo de credencial que foi compartilhado pelo provedor.
  5. Clique em **Obter Dados**.
  6. No Data Explorer, selecione a tabela.
  7. Opcionalmente, adicione filtros SQL ou limites de linha.
  8. Clique em **Obter Dados da Tabela**.

Limitações​

O Conector Tableau OpenSharing apresenta as seguintes limitações:

  • Os dados que o conector carrega devem caber na memória da sua máquina. Para gerenciar este requisito, o conector limita o número de linhas importadas ao limite de linha que você definiu no Tableau.
  • Todas as colunas são retornadas como tipo String.
  • O filtro SQL só funciona se o seu servidor de Compartilhamento aberto oferecer suporte a predicateHint.
  • Vetores de exclusão não são suportados.
  • Mapeamento de coluna não é compatível.

Limitações do conector Python do OpenSharing​

Estas limitações são específicas para o conector Python OpenSharing:

  • O conector Python do OpenSharing 1.1.0+ Suporta consultas de Snapshot em tabelas com mapeamento de coluna, mas as consultas CDF em tabelas com mapeamento de coluna não são suportadas.
  • O conector Python do OpenSharing falha em consultas CDF com use_delta_format=True se o esquema foi alterado durante o intervalo de versão consultado.

Limitações da tabela de transmissão​

É possível ler apenas o Snapshot atual de uma tabela de transmissão compartilhada. Os seguintes recursos não são compatíveis para tabelas de transmissão no compartilhamento Databricks-to-Open.

  • Consultando os dados de história da tabela
  • Consultando o feed de dados de alteração (CDF) da tabela.
  • Usando a tabela como fonte para transmissão estruturada do Spark

Limitações da visualização materializada​

Só é possível ler o instantâneo atual de uma view materializada compartilhada. O uso de uma view materializada como fonte para transmissão estructurada do Spark não é compatível no compartilhamento Databricks-para-Open.

Solicitar uma nova credencial​

Se sua URL de ativação de credencial ou credencial baixada for perdida, corrompida ou comprometida, ou se sua credencial expirar sem que seu provedor envie uma nova, entre em contato com seu provedor para solicitar uma nova credencial.

Se for um destinatário Databricks que importou a credencial como um objeto de provedor no Unity Catalog, aplique a nova credencial usando a API REST Databricks. Consulte Girar credenciais para destinatários abertos.

Nesta página