armazenamento padrão no Databricks

Esta página explica como funciona o armazenamento default no Databricks e como criar catálogos e objetos de dados que o utilizam.

O que é armazenamento default ?

O armazenamento padrão é uma plataforma de armazenamento de objetos totalmente padronizada que fornece armazenamento pronto para uso em sua account Databricks . Alguns recursos Databricks usam o armazenamento default como alternativa ao armazenamento externo.

O espaço de trabalho sem servidor usa o armazenamento default para armazenamento interno e workspace , bem como para o catálogo default que é criado com o workspace. Em um espaço de trabalho serverless , você pode criar catálogos adicionais no armazenamento default ou em seu próprio armazenamento de objetoscloud.

Tanto no espaço de trabalho clássico quanto no espaço de trabalho serverless , o armazenamento default é usado pelo recurso para armazenar itens como metadados do plano de controle, dados derivados, modelos e outros artefatos. Por exemplo, Clean Rooms, Data Classification, detecção de anomalia e restauração automática de sessão para Notebook serverless utilizam o armazenamento default de um workspace. Consulte a documentação do recurso individual para obter detalhes sobre o que cada repositório de recursos está no armazenamento default .

nota

Para obter informações sobre como monitorar os custos de armazenamento default em sua account, consulte Monitorar custos de armazenamento default.

Requisitos

• A criação de catálogos no armazenamento default só está disponível no espaço de trabalhoserverless.
• Por default, os catálogos que usam o armazenamento default só podem ser acessados a partir do workspace onde foram criados. Você pode conceder acesso a outros espaços de trabalho, incluindo o espaço de trabalho clássico, mas eles devem usar compute serverless para acessar os dados no catálogo. Consulte a vinculação workspace-catalog.
• Você precisa ter privilégios CREATE CATALOG para criar um catálogo com armazenamento default . Consulte a referência de privilégiosUnity Catalog.
• Se o seu cliente estiver usando o driver ODBC Databricks para acessar um catálogo de armazenamento default por trás de um firewall, você deverá configurar o firewall para permitir o acesso aos gateways de armazenamento regionais Databricks . Para obter detalhes sobre o endereço IP e o nome de domínio do armazenamento default , consulte Endereços IP e domínios para Databricks serviço e ativo.

Criar um novo catálogo

Conclua as etapas a seguir para criar um novo catálogo usando o armazenamento default:

1. Clique em Catálogo na barra lateral. O Catalog Explorer é exibido.
2. Clique em Criar catálogo . A caixa de diálogo Criar um novo catálogo é exibida.
3. Forneça um nome de catálogo que seja exclusivo em seu site account.
4. Selecione a opção para Usar o armazenamento default .
5. Clique em Criar .

No espaço de trabalho serverless, o senhor também pode usar o seguinte comando SQL para criar um novo catálogo no armazenamento default. Você não precisa especificar um local para o catálogo.

SQL

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Trabalhe com o armazenamento default

Todas as interações com o armazenamento default requerem serverless, o Unity Catalog habilitado para compute.

Os recursos com suporte de armazenamento default usam o mesmo modelo de privilégios que outros objetos no Unity Catalog. Você precisa ter privilégios suficientes para criar, view, consultar ou modificar objetos de dados. Consulte a referência de privilégiosUnity Catalog.

Você trabalha com o armazenamento default criando e interagindo com tabelas gerenciadas e volumes gerenciados que têm o armazenamento default como base. Consulte tabelas gerenciadas do Unity Catalog para Delta Lake e Apache Iceberg e O que são volumes do Unity Catalog?.

O senhor pode usar o Catalog Explorer, o Notebook, o editor SQL e painéis para interagir com objetos de dados armazenados no armazenamento default.

Exemplo de tarefa

A seguir, exemplos de tarefas que o senhor pode concluir com o armazenamento default:

• Carregar arquivos locais para um volume gerenciado ou criar uma tabela gerenciada. Consulte Trabalhar com arquivos em volumes Unity Catalog e Criar ou modificar uma tabela usando uploadde arquivos.
• Consultar dados com o Notebook. Veja o tutorial: Consultar e visualizar dados de um Notebook.
• Crie um painel. Consulte Criar um painel.
• Consultar dados com SQL e programar SQL consultas. Consulte Escrever consultas e explorar dados no novo editor SQL.
• Ingerir dados de um volume externo em uma tabela gerenciadora. Consulte Uso do Auto Loader com o Unity Catalog.
• Ingerir dados em uma tabela gerenciar com Fivetran. Consulte Conectar-se ao Fivetran.
• Use as ferramentas do site BI para explorar tabelas gerenciais. Consulte Conectar o Tableau e o Databricks e Power BI com o Databricks.
• execução serverless Notebook. Consulte compute sem servidor para o Notebook.
• execução serverless Job. Veja a execução do seu LakeFlow Jobs with serverless compute for fluxo de trabalho.
• execução simples modelo endpoint. Veja modelos implantados usando modelo instalado.
• Execute Serverless Lakeflow Pipelines. Consulte Configurar um pipeline serverless.
• Use a otimização preditiva em suas tabelas. Consulte Otimização preditiva para Unity Catalog gerenciar tabelas.

Ciclo de vida do armazenamento de objetos após a exclusão de um objeto

Ao excluir uma tabela gerenciada ou um volume que usa o armazenamento default, os arquivos de dados são retidos para permitir uma janela de recuperação de 7 dias. Após o término da janela de recuperação, os arquivos de dados são permanentemente excluídos (limpos) em até 48 horas. O faturamento do armazenamento continua durante a janela de recuperação e cessa assim que a janela de recuperação termina. Para obter detalhes sobre o ciclo de vida do arquivo de dados, faturamento e opções de recuperação, consulte Ciclo de Vida do Armazenamento de Objetos no Unity Catalog.

Limitações

Aplicam-se as seguintes limitações:

• O compute clássico (qualquer compute que não seja serverless) não pode interagir com dados ativos no armazenamento default.

• O OpenSharing oferece suporte ao compartilhamento de tabelas com qualquer destinatário—aberto ou Databricks—e os destinatários podem usar compute clássico para acessar tabelas compartilhadas (Visualização Pública). Habilite o recurso OpenSharing para Armazenamento Default – Acesso Expandido no console da sua account.

  • Todos os outros ativos compartilháveis podem ser compartilhados apenas com destinatários Databricks na mesma cloud. Os destinatários devem usar serverless compute.

• Tabelas com particionamento ativado não podem ser compartilhadas via OpenSharing.

• Clientes externos Iceberg e Delta não podem acessar diretamente os metadados subjacentes, a lista de manifestos e os arquivos de dados das tabelas UC no armazenamento default (o acesso FileIO não é suportado). No entanto, ferramentas BI como Power BI e Tableau podem acessar as tabelas Unity Catalog no armazenamento default usando drivers ODBC e JDBC . Clientes externos também podem acessar volumes Unity Catalog no armazenamento default usando a API de Arquivos.

• O armazenamento default oferece suporte a acesso externo via drivers Databricks ODBC e JDBC, incluindo a otimização de desempenho Cloud Fetch do driver ODBC para consultas em conjuntos de dados maiores. No entanto, se você estiver acessando uma tabela de armazenamento default de um workspace que tenha o Private Service Connect de front-end habilitado, suas consultas de cliente ODBC que retornarem resultados maiores que aproximadamente 5 MiB falharão porque a otimização Cloud Fetch para tabelas de armazenamento default não oferece suporte atualmente ao Private Service Connect de front-end.

• A venda de credenciais não é suportada, como quando sistemas externos se conectam à API REST do Unity ou ao catálogo REST do Iceberg. Consulte a seção de venda de credenciais do Unity Catalog para acesso a sistemas externos.