Criar uma credencial de armazenamento para se conectar ao Cloudflare R2

Este artigo descreve como criar uma credencial de armazenamento no Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos R2 da Cloudflare não incorre em taxas de saída. A replicação ou migração de dados compartilhados para o R2 permite que o senhor compartilhe dados em clouds e regiões sem incorrer em taxas de saída.

Observação

Unity Catalog suporta duas opções de armazenamento cloud para Databricks on AWS: AWS S3 buckets e Cloudflare R2 buckets. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar as taxas de saída de dados do provedor cloud. O S3 é adequado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar os custos de saída do Delta Sharing (para provedores) e Criar uma credencial de armazenamento para conexão com o AWS S3.

Para usar um bucket R2 como local de armazenamento de dados gerenciados pelo Unity Catalog, o senhor deve criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e criar um local externo que faça referência à credencial de armazenamento e ao caminho do bucket:

  • As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que oferece acesso ao armazenamento em nuvem.

  • Locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento em nuvem.

Este artigo se concentra na criação de uma credencial de armazenamento.

Para obter mais informações, consulte Conectar-se ao armazenamento de objetos em nuvens usando o Unity Catalog.

Requisitos

  • Databricks workspace ativado para o Unity Catalog.

  • Databricks Runtime 14.3 ou acima, ou SQL warehouse 2024.15 ou acima.

    Se o senhor encontrar a mensagem de erro No FileSystem for scheme "r2”, provavelmente o site compute está em uma versão sem suporte.

  • Cloudflare account. Consulte https://dash.cloudflare.com/sign-up.

  • Função de administrador do Cloudflare R2. Consulte a documentação das funções do Cloudflare.

  • CREATE STORAGE CREDENTIAL no metastore do Unity Catalog anexado ao site workspace. account Os administradores e os administradores de metastore têm esse privilégio em default.

Configurar um bucket R2

  1. Crie um bucket R2 do Cloudflare.

    O senhor pode usar o painel de controle do Cloudflare ou a ferramenta Cloudflare Wrangler.

    Consulte a documentação "Get começar" do Cloudflare R2 ou a documentação do Wrangler.

  2. Crie um token de API R2 e aplique-o ao bucket.

    Consulte a documentação de autenticação da API do Cloudflare R2.

    Defina as seguintes propriedades de tokens:

    • Permissões: Object Read & Write.

      Essa permissão concede acesso de leitura e gravação, o que é necessário quando o senhor usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

      Se quiser impor o acesso somente leitura do Databricks ao bucket R2, o senhor pode criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois o senhor pode marcar a credencial de armazenamento como somente leitura, e qualquer acesso de gravação concedido por essa permissão será ignorado.

    • (Opcional) TTL: o período de tempo que o senhor deseja compartilhar os dados do bucket com os destinatários dos dados.

    • (Opcional) Client IP Address Filtering (Filtragem de endereço IP do cliente): Selecione se o senhor deseja limitar o acesso à rede a endereços IP de destinatários especificados. Se essa opção estiver ativada, o senhor deve especificar os endereços IP dos destinatários e deve permitir o endereço IP NAT do plano de controle do Databricks para a região workspace.

    Consulte IPs de saída do plano de controle do Databricks.

  3. Copie os valores dos tokens da API R2:

    • ID da chave de acesso

    • Chave de acesso secreta

    Importante

    Os valores dos tokens são mostrados apenas uma vez.

  4. Na página inicial do R2, acesse account details e copie o R2 account ID.

Criar a credencial de armazenamento

  1. Na Databricks, acesse log in em seu site workspace.

  2. Clique em Ícone do catálogo Catalog.

  3. Na parte superior do painel Catálogo, clique no ícone Ícone de adição ou de mais Add e selecione Add a storage credential (Adicionar uma credencial de armazenamento ) no menu.

    Essa opção não aparecerá se o senhor não tiver o privilégio CREATE STORAGE CREDENTIAL.

    Como alternativa, na página Acesso rápido, clique no botão Dados externos >, acesse Credenciais de armazenamento tab e selecione Criar credencial.

  4. Selecione um Credential Type de tokens de API da Cloudflare.

  5. Digite um nome para a credencial e os seguintes valores que o senhor copiou ao configurar o bucket R2:

    • ID da conta

    • ID da chave de acesso

    • Chave de acesso secreta

  6. (Opcional) Se quiser que os usuários tenham acesso somente leitura aos locais externos que usam essa credencial de armazenamento, selecione Read only (Somente leitura) em Advanced options (Opções avançadas).

    Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que está sendo usado como destino de replicação, conforme descrito em Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2.

    Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.

  7. Clique em Criar.

  8. Na caixa de diálogo Credencial de armazenamento criada, copie a ID externa.

  9. (Opcional) Vincular a credencial de armazenamento a um espaço de trabalho específico.

    Pelo site default, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer workspace anexado ao metastore. Se o senhor quiser permitir o acesso somente a partir de um espaço de trabalho específico, acesse o espaço de trabalho tab e atribua o espaço de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.