Crie uma credencial de armazenamento para se conectar ao Cloudflare R2

Este artigo descreve como criar uma credencial de armazenamento em Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos Cloudflare R2 não incorre em taxas de saída. A replicação ou migração de dados compartilhados para o R2 permite que o senhor compartilhe dados em clouds e regiões sem incorrer em taxas de saída.

Observação

Unity Catalog suporta duas opções de armazenamento cloud para Databricks on AWS: AWS S3 buckets e Cloudflare R2 buckets. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar as taxas de saída de dados do provedor cloud. O S3 é adequado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar os custos de saída do Delta Sharing (para provedores) e Criar uma credencial de armazenamento para conexão com o AWS S3.

Para usar um bucket R2 como local de armazenamento para dados gerenciados por Unity Catalog, o senhor deve criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e criar um local externo que faça referência à credencial de armazenamento e ao caminho do bucket:

  • As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que oferece acesso ao armazenamento na nuvem.

  • Os locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento na nuvem.

Este artigo se concentra na criação de uma credencial de armazenamento.

Para obter mais informações, consulte gerenciar o acesso ao armazenamento cloud usando Unity Catalog.

Requisitos

  • Um workspace do Databricks ativado para o Unity Catalog.

  • Databricks Runtime 14.3 ou acima, ou SQL warehouse 2024.15 ou acima.

    Se o senhor encontrar a mensagem de erro No FileSystem for scheme "r2”, provavelmente o site compute está em uma versão sem suporte.

  • Cloudflare account. Consulte https://dash.cloudflare.com/sign-up.

  • Função de administrador do Cloudflare R2. Veja a documentação das funções da Cloudflare.

  • CREATE STORAGE CREDENTIAL privilégio no metastore do Unity Catalog anexado ao workspace. Os administradores de contas e administradores do metastore têm esse privilégio por padrão.

Configurar um bucket R2

  1. Crie um bucket do Cloudflare R2.

    Você pode usar o painel da Cloudflare ou a ferramenta Cloudflare Wrangler.

    Consulte a documentação do Cloudflare R2 "Get começar" ou a documentação do Wrangler.

  2. Crie um R2 API tokens e aplique-o ao bucket.

    Consulte a documentação de autenticação da API do Cloudflare R2.

    Defina as seguintes propriedades de tokens:

    • Permissões: Object Read & Write.

      Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para o R2.

      Se o senhor quiser impor o acesso somente leitura de Databricks ao bucket R2, poderá criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente para leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

    • (Opcional) TTL: o período em que você deseja compartilhar os dados do bucket com os destinatários dos dados.

    • (Opcional) Filtragem de endereços IP do cliente: selecione se você quiser limitar o acesso à rede aos endereços IP de destinatários especificados. Se essa opção estiver ativada, o senhor deverá especificar os endereços IP dos destinatários e listar o endereço IP NAT do plano de controle Databricks para a região workspace.

    Consulte IPs de saída do plano de controle do Databricks.

  3. Copie os valores dos tokens do R2 API:

    • ID da chave de acesso

    • Chave de acesso secreta

    Importante

    Os valores dos tokens são mostrados apenas uma vez.

  4. Na página inicial do R2, vá para os detalhes da conta e copie o ID do R2 account.

Crie a credencial de armazenamento

  1. Em Databricks, log in para o seu workspace.

  2. Clique em Ícone de catálogo Catálogo.

  3. Na página Quick access (Acesso rápido ), clique no botão External data (Dados externos), acesse Credentials (Credenciais ) tab e selecione Create credential (Criar credencial).

  4. Selecione Credencial de armazenamento.

  5. Selecione um Credential Type dos tokens do Cloudflare API .

  6. Insira um nome para a credencial e os seguintes valores que você copiou ao configurar o bucket R2:

    • ID da conta

    • ID da chave de acesso

    • Chave de acesso secreta

  7. (Opcional) Se você quiser que os usuários tenham acesso somente para leitura às external locations que usam essa credencial de armazenamento, em Opções avançadas, selecione Somente leitura.

    Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que você está usando como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para R2.

    Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.

  8. Clique em Criar.

  9. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

  10. (Opcional) Vincule a credencial de armazenamento a workspaces específicos.

    Pelo site default, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer workspace anexado ao metastore. Se o senhor quiser permitir o acesso somente a partir de um espaço de trabalho específico, vá para o espaço de trabalho tab e atribua o espaço de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.