Crie uma credencial de armazenamento para se conectar ao Cloudflare R2

Este artigo descreve como criar uma credencial de armazenamento em Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos Cloudflare R2 não incorre em taxas de saída. A replicação ou migração dos dados que você compartilha para o R2 permite que você compartilhe dados entre nuvens e regiões sem incorrer em taxas de saída.

nota

Unity Catalog oferece suporte a duas opções de armazenamento em nuvem para Databricks on Google Cloud: buckets Google Cloud Storage (GCS) e buckets Cloudflare R2. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar taxas de saída de dados do provedor de nuvem. O GCS é adequado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar os custos de saída do Delta Sharing (para provedores) e Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage.

Para usar um bucket R2 como local de armazenamento para dados gerenciados por Unity Catalog, o senhor deve criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e criar um local externo que faça referência à credencial de armazenamento e ao caminho do bucket:

• As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que oferece acesso ao armazenamento na nuvem.
• Os locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento na nuvem.

Este artigo se concentra na criação de uma credencial de armazenamento.

Para obter mais informações, consulte gerenciar o acesso ao armazenamento em nuvem usando Unity Catalog.

Requisitos

• Um workspace do Databricks ativado para o Unity Catalog.

• Databricks Runtime 14.3 ou acima, ou SQL warehouse 2024.15 ou acima.

  Se o senhor encontrar a mensagem de erro No FileSystem for scheme "r2”, provavelmente o site compute está em uma versão sem suporte.

• Cloudflare account. Consulte https://dash.cloudflare.com/sign-up.

• Função de administrador do Cloudflare R2. Veja a documentação das funções da Cloudflare.

• CREATE STORAGE CREDENTIAL privilégio no metastore do Unity Catalog anexado ao workspace. Os administradores de contas e administradores do metastore têm esse privilégio por padrão.

Configurar um bucket R2

1. Crie um bucket do Cloudflare R2.

   Você pode usar o painel da Cloudflare ou a ferramenta Cloudflare Wrangler.

   Consulte a documentação "Get começar" do Cloudflare R2 ou a documentação do Wrangler.

2. Crie um R2 API tokens e aplique-o ao bucket.

   Consulte a documentação de autenticação da API do Cloudflare R2.

   Defina as seguintes propriedades de tokens:

   • Permissões : Object Read & Write.

     Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para o R2.

     Se o senhor quiser impor o acesso somente leitura de Databricks ao bucket R2, poderá criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente para leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.

   • (Opcional) TTL : o período em que você deseja compartilhar os dados do bucket com os destinatários dos dados.

   • (Opcional) Filtragem de endereços IP do cliente : selecione se você quiser limitar o acesso à rede aos endereços IP de destinatários especificados. Se essa opção estiver ativada, o senhor deverá especificar os endereços IP dos destinatários e listar o endereço IP NAT do plano de controle Databricks para a região workspace.

   Veja os endereços IP e domínios para Databricks serviço e ativo.

3. Copie os valores dos tokens do R2 API:

   • ID da chave de acesso

   • Chave de acesso secreta

important

Os valores dos tokens são mostrados apenas uma vez.

4. Na página inicial do R2, vá para os detalhes da conta e copie o ID do R2 account.

Crie a credencial de armazenamento

1. Em Databricks, log in para o seu workspace.

2. Clique em Catálogo .

3. Na página Quick access (Acesso rápido ), clique no botão External data (Dados externos) > , acesse Credentials (Credenciais ) tab e selecione Create credential (Criar credencial ).

4. Selecione Credencial de armazenamento .

5. Selecione um Credential Type dos tokens do Cloudflare API .

6. Insira um nome para a credencial e os seguintes valores que você copiou ao configurar o bucket R2:

   • ID da conta
   • ID da chave de acesso
   • Chave de acesso secreta

7. (Opcional) Se você quiser que os usuários tenham acesso somente para leitura às external locations que usam essa credencial de armazenamento, em Opções avançadas , selecione Somente leitura .

   Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que você está usando como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para R2.

   Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.

8. Clique em Criar .

9. Na caixa de diálogo Credencial de armazenamento criada , copie a ID externa .

10. (Opcional) Vincule a credencial de armazenamento a workspaces específicos.

    Pelo site default, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer workspace anexado ao metastore. Se o senhor quiser permitir o acesso somente a partir de um espaço de trabalho específico, acesse o espaço de trabalho tab e atribua o espaço de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a um espaço de trabalho específico.

Próxima etapa: criar o local externo

Consulte Criar um local externo para conectar o armazenamento em nuvem à Databricks.