Crie uma credencial de armazenamento para se conectar ao Cloudflare R2
Este artigo descreve como criar uma credencial de armazenamento em Unity Catalog para se conectar ao Cloudflare R2. O armazenamento de objetos Cloudflare R2 não incorre em taxas de saída. A replicação ou migração dos dados que você compartilha para o R2 permite que você compartilhe dados entre nuvens e regiões sem incorrer em taxas de saída.
Unity Catalog oferece suporte a duas opções de armazenamento em nuvem para Databricks on Google Cloud: buckets Google Cloud Storage (GCS) e buckets Cloudflare R2. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing em que o senhor deseja evitar taxas de saída de dados do provedor de nuvem. O GCS é adequado para a maioria dos outros casos de uso. Consulte Monitorar e gerenciar os custos de saída do Delta Sharing (para provedores) e Criar uma credencial de armazenamento para se conectar ao Google Cloud Storage.
Para usar um bucket R2 como local de armazenamento para dados gerenciados por Unity Catalog, o senhor deve criar uma credencial de armazenamento que autorize o acesso ao bucket R2 e criar um local externo que faça referência à credencial de armazenamento e ao caminho do bucket:
- As credenciais de armazenamento encapsulam uma credencial de nuvem de longo prazo que oferece acesso ao armazenamento na nuvem.
- Os locais externos contêm uma referência a uma credencial de armazenamento e um caminho de armazenamento na nuvem.
Este artigo se concentra na criação de uma credencial de armazenamento.
Para obter mais informações, consulte gerenciar o acesso ao armazenamento em nuvem usando Unity Catalog.
Requisitos
-
Um workspace do Databricks ativado para o Unity Catalog.
-
Databricks Runtime 14.3 ou acima, ou SQL warehouse 2024.15 ou acima.
Se o senhor encontrar a mensagem de erro
No FileSystem for scheme "r2”
, provavelmente o site compute está em uma versão sem suporte. -
Cloudflare account. Consulte https://dash.cloudflare.com/sign-up.
-
Função de administrador do Cloudflare R2. Veja a documentação das funções da Cloudflare.
-
CREATE STORAGE CREDENTIAL
privilégio no metastore do Unity Catalog anexado ao workspace. Os administradores de contas e administradores do metastore têm esse privilégio por padrão.
Configurar um bucket R2
-
Crie um bucket do Cloudflare R2.
Você pode usar o painel da Cloudflare ou a ferramenta Cloudflare Wrangler.
Consulte a documentação "Get começar" do Cloudflare R2 ou a documentação do Wrangler.
-
Crie um R2 API tokens e aplique-o ao bucket.
Consulte a documentação de autenticação da API do Cloudflare R2.
Defina as seguintes propriedades de tokens:
-
Permissões : Object Read & Write.
Essa permissão concede acesso de leitura e gravação, que é necessário quando você usa o armazenamento R2 como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para o R2.
Se o senhor quiser impor o acesso somente leitura de Databricks ao bucket R2, poderá criar um token que conceda somente acesso de leitura. No entanto, isso pode ser desnecessário, pois você pode marcar a credencial de armazenamento como somente para leitura e qualquer acesso de gravação concedido por essa permissão será ignorado.
-
(Opcional) TTL : o período em que você deseja compartilhar os dados do bucket com os destinatários dos dados.
-
(Opcional) Filtragem de endereços IP do cliente : selecione se você quiser limitar o acesso à rede aos endereços IP de destinatários especificados. Se essa opção estiver ativada, o senhor deverá especificar os endereços IP dos destinatários e listar o endereço IP NAT do plano de controle Databricks para a região workspace.
Veja os endereços IP e domínios para Databricks serviço e ativo.
-
-
Copie os valores dos tokens do R2 API:
-
ID da chave de acesso
-
Chave de acesso secreta
-
Os valores dos tokens são mostrados apenas uma vez.
- Na página inicial do R2, vá para os detalhes da conta e copie o ID do R2 account.
Crie a credencial de armazenamento
-
Em Databricks, log in para o seu workspace.
-
Clique em
Catálogo .
-
Na página Quick access (Acesso rápido ), clique no botão External data (Dados externos) > , acesse Credentials (Credenciais ) tab e selecione Create credential (Criar credencial ).
-
Selecione Credencial de armazenamento .
-
Selecione um Credential Type dos tokens do Cloudflare API .
-
Insira um nome para a credencial e os seguintes valores que você copiou ao configurar o bucket R2:
- ID da conta
- ID da chave de acesso
- Chave de acesso secreta
-
(Opcional) Se você quiser que os usuários tenham acesso somente para leitura às external locations que usam essa credencial de armazenamento, em Opções avançadas , selecione Somente leitura .
Não selecione essa opção se quiser usar a credencial de armazenamento para acessar o armazenamento R2 que você está usando como destino de replicação, conforme descrito em Usar réplicas R2 da Cloudflare ou migrar o armazenamento para R2.
Para obter mais informações, consulte Marcar uma credencial de armazenamento como somente leitura.
-
Clique em Criar .
-
Na caixa de diálogo Credencial de armazenamento criada , copie a ID externa .
-
(Opcional) Vincule a credencial de armazenamento a workspaces específicos.
Pelo site default, uma credencial de armazenamento pode ser usada por qualquer usuário privilegiado em qualquer workspace anexado ao metastore. Se o senhor quiser permitir o acesso somente a partir de um espaço de trabalho específico, acesse o espaço de trabalho tab e atribua o espaço de trabalho. Consulte (Opcional) Atribuir uma credencial de armazenamento a um espaço de trabalho específico.
Próxima etapa: criar o local externo
Consulte Criar um local externo para conectar o armazenamento em nuvem à Databricks.