Pular para o conteúdo principal

execução de consultas federadas sobre Snowflake

Este artigo descreve como configurar o Lakehouse Federation para executar consultas federadas nos dados do site Snowflake que não são gerenciados pelo site Databricks. Para saber mais sobre a lakehouse Federation, consulte O que é a lakehouse Federation?

Para se conectar ao banco de dados Snowflake usando a Lakehouse Federation, o senhor deve criar o seguinte no metastore Databricks Unity Catalog :

  • Uma conexão com o banco de dados do Snowflake.
  • Um catálogo externo que espelha o banco de dados do Snowflake no Unity Catalog para que o senhor possa usar a sintaxe de consulta do Unity Catalog e as ferramentas de governança de dados para gerenciar o acesso do usuário do Databricks ao banco de dados.

Antes de começar​

Requisitos do workspace:

  • Espaço de trabalho preparado para o Catálogo do Unity.

Requisitos de computação:

  • Conectividade de rede do seu recurso compute para os sistemas de banco de dados de destino. Veja as recomendações do Networking para a Lakehouse Federation.
  • Databricks compute O senhor deve usar Databricks Runtime 13.3 LTS ou acima e o modo de acesso Standard ou Dedicated .
  • Os SQL warehouse devem ser Pro ou Serverless e devem utilizar a versão 2023.40 ou superior.

Permissões necessárias:

  • Para criar uma conexão, é preciso ser administrador de metastore ou usuário com o privilégio CREATE CONNECTION no metastore do Unity Catalog anexado ao espaço de trabalho.
  • Para criar um catálogo externo é preciso ter a permissão CREATE CATALOG no metastore e ser proprietário da conexão ou ter o privilégio CREATE FOREIGN CATALOG na conexão.

Outros requisitos de permissão são definidos em cada seção baseada em tarefa a seguir.

  • Se planeja autenticar usando o OAuth, crie uma integração de segurança no console do Snowflake.
  • Se o senhor planeja se autenticar usando tokens de acesso OAuth, também deve solicitar tokens de acesso.

(Opcional) Crie uma integração de segurança no console do Snowflake​

Se o senhor quiser se autenticar usando o OAuth, siga esta etapa antes de criar uma conexão Snowflake. Para autenticar usando um nome de usuário e senha em vez disso, pule esta seção.

nota

Somente a integração Snowflake's integrada OAuth é suportada. Não há suporte para integrações OAuth externas, como Okta ou Microsoft Entra ID.

No console Snowflake, execute CREATE SECURITY INTEGRATION. Substitua os seguintes valores:

  • <integration-name>: Um nome exclusivo para sua integração OAuth.

  • <workspace-url>: A Databricks workspace URL. O senhor deve definir OAUTH_REDIRECT_URI como https://<workspace-url>/login/oauth/snowflake.html, em que <workspace-url> é o URL exclusivo do site Databricks workspace onde criará a conexão Snowflake.

  • <duration-in-seconds>: Uma duração de tempo para refresh tokens.

important

OAUTH_REFRESH_TOKEN_VALIDITY é um campo personalizado que é definido como 90 dias por default. Depois que os tokens refresh expirarem, o senhor deverá autenticar novamente a conexão. Defina o campo para um período de tempo razoável.

CREATE SECURITY INTEGRATION <integration-name>
TYPE = oauth
ENABLED = true
OAUTH_CLIENT = custom
OAUTH_CLIENT_TYPE = 'CONFIDENTIAL'
OAUTH_REDIRECT_URI = 'https://<workspace-url>/login/oauth/snowflake.html'
OAUTH_ISSUE_REFRESH_TOKENS = TRUE
OAUTH_REFRESH_TOKEN_VALIDITY = <duration-in-seconds>
OAUTH_ENFORCE_PKCE = TRUE;

(Opcional) Solicite um OAuth access tokens​

Siga How To: Generate and use an OAuth tokens using Snowflake OAuth for custom clients na base de conhecimento Snowflake.

Crie uma conexão​

A conexão especifica um caminho e as credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Catalog Explorer ou o comando CREATE CONNECTION do SQL em um Notebook do Databricks ou no editor de consultas SQL do Databricks.

nota

O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar uma conexão. Veja POST /api/2.1/unity-catalog/connections e Unity Catalog comando.

Permissões necessárias: Administrador do Metastore ou usuário com o privilégio CREATE CONNECTION.

  1. Em seu site Databricks workspace, clique em Ícone de catálogo Catalog .

  2. Na parte superior do painel Catálogo , clique no ícone Ícone de adicionar ou ícone de mais Adicionar e selecione Adicionar uma conexão no menu.

    Como alternativa, na página de acesso rápido , clique no botão Dados externos >, acesse a tab Conexões e clique em Criar conexão .

  3. Na página Noções básicas de conexão do assistente de configuração de conexão , insira um nome de conexão fácil de usar.

  4. Selecione um tipo de conexão do Snowflake .

  5. Em Tipo de autenticação , selecione Username and password (autenticação básica), OAuth access token, PEM Private Key ou OAuth no menu suspenso.

  6. (Opcional) Adicione um comentário.

  7. Clique em Avançar .

  8. Insira os seguintes detalhes de autenticação e conexão para o seu depósito do Snowflake. As propriedades específicas do método de autenticação selecionado são precedidas pelo Auth type entre parênteses.

    • Anfitrião : Por exemplo, snowflake-demo.east-us-2.azure.snowflakecomputing.com

    • Porto : Por exemplo, 443

    • Usuário : Por exemplo, snowflake-user

    • (Autenticação básica) Senha : Por exemplo, password123

    • (OAuth access tokens) Access tokens : Access tokens from (Opcional) Solicite um OAuth access tokens.

    • (OAuth access tokens) Expira em segundos : O tempo de expiração (em segundos) para os tokens de acesso de (Opcional) Solicite um OAuth access tokens (expires_in).

    • (OAuth) ID do cliente : No console Snowflake, execute SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') para recuperar o ID do cliente para a integração de segurança.

    • (OAuth) Segredo do cliente : no console Snowflake, execute SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security-integration-name>') para recuperar o segredo do cliente para a integração de segurança.

    • ( OAuth) Escopo do OAuth : refresh_token session:role:<role-name>. Especifique a função do Snowflake a ser usada em <role-name>.

    • (OAuth) Faça login com o Snowflake : Clique e faça login no Snowflake usando suas credenciais OAuth.

    • (PEM Private key) PEM private key : Privada key de RSA key par no formato HEX64.

    • (Chave privada PEM) Expira em segundos : O tempo de expiração (em segundos) da conexão feita com uma chave privada key.

      Após o login bem-sucedido, você será direcionado de volta ao assistente de configuração de conexão .

  9. Clique em Criar conexão .

  10. (Autenticação básica) Na página de detalhes da conexão , especifique o seguinte:

    • Snowflake armazém : Por exemplo, my-snowflake-warehouse
    • (Opcional) Host do proxy: host do proxy usado para se conectar ao Snowflake. Você também deve selecionar Usar proxy e especificar Porta proxy .
    • (Opcional) Usar proxy : Se o senhor deve se conectar ao Snowflake usando um servidor proxy.
    • (Opcional) Porta do proxy : Porta do proxy usado para se conectar ao Snowflake. Você também deve selecionar Usar proxy e especificar Host proxy .
    • (Opcional) Snowflake role : A função de segurança default a ser usada para a sessão após a conexão.

  11. Clique em Avançar .

  12. Na página Noções básicas do catálogo , insira um nome para o catálogo estrangeiro. Um catálogo externo espelha um banco de dados em um sistema de dados externo para que o senhor possa consultar e gerenciar o acesso aos dados desse banco de dados usando o Databricks e o Unity Catalog.

  13. (Opcional) Clique em Testar conexão para confirmar se está funcionando.

  14. Clique em Criar catálogo .

  15. Na página Access (Acesso) , selecione o espaço de trabalho no qual os usuários podem acessar o catálogo que o senhor criou. O senhor pode selecionar All workspace have access (Todos os espaços de trabalho têm acesso ) ou clicar em Assign to workspace (Atribuir ao espaço de trabalho), selecionar o espaço de trabalho e clicar em Assign (Atribuir ).

  16. Altere o proprietário que poderá gerenciar o acesso a todos os objetos no catálogo. começar a digitar um diretor na caixa de texto e, em seguida, clicar no diretor nos resultados retornados.

  17. Conceda privilégios no catálogo. Clique em Conceder :

    1. Especifique os diretores que terão acesso aos objetos no catálogo. começar a digitar um diretor na caixa de texto e, em seguida, clicar no diretor nos resultados retornados.

    2. Selecione as predefinições de privilégios a serem concedidas a cada diretor. Todos os usuários de account recebem BROWSE por default.

      • Selecione Leitor de dados no menu suspenso para conceder privilégios read em objetos no catálogo.
      • Selecione Editor de dados no menu suspenso para conceder os privilégios read e modify aos objetos no catálogo.
      • Selecione manualmente os privilégios a serem concedidos.

    3. Clique em Conceder .

  18. Clique em Avançar .

  19. Na página Metadata (Metadados ), especifique as tags em key-value. Para obter mais informações, consulte Apply tags to Unity Catalog securable objects.

  20. (Opcional) Adicione um comentário.

  21. Clique em Salvar .

Crie um catálogo estrangeiro​

nota

Se o senhor usar a interface do usuário para criar uma conexão com a fonte de dados, a criação do catálogo externo estará incluída e o senhor poderá ignorar essa etapa.

Um catálogo externo espelha um banco de dados em um sistema de dados externo para você consultar e gerenciar o acesso aos dados nesse banco de dados com Databricks e Unity Catalog. Para criar um catálogo externo, utiliza-se uma conexão com a fonte de dados que já foi definida.

Para criar um catálogo externo, o senhor pode usar o Catalog Explorer ou o comando CREATE FOREIGN CATALOG SQL em um Notebook Databricks ou o editor de consultas SQL. O senhor também pode usar a API REST da Databricks ou a CLI da Databricks para criar um catálogo. Veja POST /api/2.1/unity-catalog/catalogs e Unity Catalog comando.

Permissões necessárias: permissão CREATE CATALOG na metastore e propriedade da conexão ou o privilégio CREATE FOREIGN CATALOG na conexão.

  1. Em seu site Databricks workspace, clique em Ícone de catálogo Catalog para abrir o Catalog Explorer.

  2. Na parte superior do painel Catálogo , clique no ícone Ícone de adicionar ou ícone de mais Adicionar e selecione Adicionar um catálogo no menu.

    Como alternativa, na página de acesso rápido , clique no botão Catálogos e no botão Criar catálogo .

  3. Siga as instruções para criar catálogos estrangeiros em Criar catálogos.

Identificadores de banco de dados que diferenciam maiúsculas​

O campo database do catálogo externo mapeia para um identificador de banco de dados do Snowflake. Se o identificador do banco de dados do Snowflake não diferenciar maiúsculas de minúsculas, a caixa que o senhor usa no catálogo externo <database-name> será preservada. No entanto, se o identificador do banco de dados do Snowflake diferenciar maiúsculas de minúsculas, o senhor deverá colocar o catálogo externo <database-name> entre aspas duplas para preservar as maiúsculas e minúsculas.

Por exemplo:

  • database é convertido em DATABASE

  • "database" é convertido em database

  • "database""" é convertido em database"

    Para escapar de uma aspa dupla, use outra aspa dupla.

  • "database"" resulta em um erro porque as aspas duplas não são escapadas corretamente.

Para obter mais informações, consulte os requisitos do identificador na documentação do site Snowflake.

Pushdowns suportados​

Os seguintes pushdowns são suportados:

  • Filtros
  • Projeções
  • Limite
  • unir-se
  • Agregados (média, Corr, população de CoV, amostra de COV, contagem, máximo, mínimo, stdDevPop, stdDevSamp, Sum, VariancePop, VarianceAMP)
  • Funções (funções de cadeias de caracteres, funções matemáticas, funções de dados, tempo e registro de data e hora e outras funções diversas, como Alias, Cast, SortOrder)
  • Funções do Windows (DenseRank, Rank, RowNumber)
  • Classificação

Mapeamentos de tipos de dados​

Quando o senhor lê do Snowflake para o Spark, os tipos de dados são mapeados da seguinte forma:

Snowflake tipo

Spark tipo

decimal, número, numérico

Tipo decimal

bigint, byteint, int, inteiro, smallint, tinyint

Tipo de número inteiro

flutuar, flutuar 4, flutuar 8

Tipo de flutuação

dupla, dupla precisão, real

Tipo duplo

char, character, strings, text, time, varchar

Tipo de string

binário

Tipo binário

boolean

Tipo booleano

Data

Tipo de data

data e hora, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz

timestampType

Limitações do OAuth​

A seguir, as limitações de suporte do OAuth:

  • O endpoint do Snowflake OAuth deve ser acessível a partir dos IPs do plano de controle do Databricks. Veja os endereços IP e domínios para Databricks serviço e ativo. O Snowflake oferece suporte à configuração de políticas de rede no nível de integração de segurança, o que permite uma política de rede separada que possibilita a conectividade direta do plano de controle do Databricks com o endpoint OAuth para autorização.
  • Não há suporte para as opções de configuração Use Proxy , Proxy host , Proxy port e Snowflake role. Especifique a função do Snowflake como parte do escopo do OAuth.

PEM privado key limitações​

A seguir, as limitações de suporte do PEM private key:

  • Snowflake JDBC O driver não oferece suporte à autenticação com chave privada criptografada. Para evitar erros, gere um key com a opção -nocrypt adicionada, da seguinte forma:

    openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt

Recurso adicional​

Consulte os artigos a seguir na documentação do Snowflake:

Última atualização em