armazenamento padrão no Databricks

Esta página explica o conceito de armazenamento default no Databricks e como criar catálogos e trabalhar com dados no armazenamento default do seu workspace.

O que é armazenamento default ?

O armazenamento padrão é um local de armazenamento totalmente gerenciado na sua account Databricks . O armazenamento padrão é usado como armazenamento de workspace geral em espaço de trabalhoserverless (visualização pública), mas também é utilizado como um local de armazenamento de gerenciamento para recursos serverless , como Pesquisa de vetores.

Se você tiver um workspace serverless , seu workspace será provisionado com armazenamento default por default, permitindo que você crie tabelas e volumes de gerenciamento sem nunca se conectar à sua account armazenamento cloud .

Requisitos

o armazenamento padrão está disponível somente no espaço de trabalho serverless . A criação de catálogos no armazenamento default só estará disponível se sua account estiver habilitada para a visualização workspaceserverless .

Criar um catálogo com o armazenamento default

nota

Em default, os catálogos que usam o armazenamento default são acessíveis somente a partir do workspace em que foram criados. O senhor pode conceder acesso a outros espaços de trabalho, mas eles devem usar o site serverless compute para acessar os dados no catálogo. Consulte Limitar o acesso do catálogo a um espaço de trabalho específico.

O senhor deve ter privilégios CREATE CATALOG para criar um catálogo com o armazenamento default. Consulte Privilégios e objetos protegidos do Unity Catalog.

Conclua as etapas a seguir para criar um novo catálogo usando o armazenamento default:

1. Clique em Catálogo na barra lateral. O Catalog Explorer é exibido.
2. Clique em Criar catálogo . A caixa de diálogo Criar um novo catálogo é exibida.
3. Forneça um nome de catálogo que seja exclusivo em seu site account.
4. Selecione a opção para Usar o armazenamento default .
5. Clique em Criar .

No espaço de trabalho serverless, o senhor também pode usar o seguinte comando SQL para criar um novo catálogo no armazenamento default. Você não precisa especificar um local para o catálogo.

SQL

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Trabalhe com o armazenamento default

Todas as interações com o armazenamento default requerem serverless, o Unity Catalog habilitado para compute.

O recurso apoiado pelo armazenamento default usa o mesmo modelo de privilégio que outros objetos em Unity Catalog. O senhor deve ter privilégios suficientes para criar, view, consultar ou modificar objetos de dados. Consulte Privilégios e objetos protegidos do Unity Catalog.

O senhor trabalha com o armazenamento default criando e interagindo com tabelas gerenciar e volumes gerenciar apoiados pelo armazenamento default. Consulte Unity Catalog gerenciar tabelas em Databricks para Delta Lake e Apache Iceberge What are Unity Catalog volumes?

O senhor pode usar o Catalog Explorer, o Notebook, o editor SQL e painéis para interagir com objetos de dados armazenados no armazenamento default.

Exemplo de tarefa

A seguir, exemplos de tarefas que o senhor pode concluir com o armazenamento default:

• fazer upload de arquivos locais para um volume gerenciar ou criar uma tabela gerenciar. Consulte upload de arquivos para um volume Unity Catalog e Criar ou modificar uma tabela usando o arquivo upload.
• Consultar dados com o Notebook. Veja o tutorial: Consultar e visualizar dados de um Notebook.
• Crie um painel. Consulte Criar um painel.
• Consultar dados com SQL e programar SQL consultas. Consulte Escrever consultas e explorar dados no novo editor SQL.
• Ingerir dados de um volume externo em uma tabela gerenciadora. Consulte Uso do Auto Loader com o Unity Catalog.
• Ingerir dados em uma tabela gerenciar com Fivetran. Consulte Conectar-se ao Fivetran.
• Use as ferramentas do site BI para explorar tabelas gerenciais. Consulte Conectar o Tableau e o Databricks e Power BI com o Databricks.
• execução serverless Notebook. Consulte compute sem servidor para o Notebook.
• execução serverless Job. Veja a execução do seu LakeFlow Jobs with serverless compute for fluxo de trabalho.
• execução servindo modelo endpoint. Veja os modelos implantados usando Mosaic AI Model Serving.
• execução serverless LakeFlow Pipeline declarativo. Consulte Configurar um serverless pipeline .
• Use a otimização preditiva em suas tabelas. Consulte Otimização preditiva para Unity Catalog gerenciar tabelas.

Limitações

Aplicam-se as seguintes limitações:

• O compute clássico (qualquer compute que não seja serverless) não pode interagir com dados ativos no armazenamento default.

• Delta Sharing suporta tabelas de compartilhamento para qualquer destinatário - aberto ou Databricks- e os destinatários podem usar o clássico compute para acessar tabelas compartilhadas(Beta). Ative o recurso Delta Sharing for default Storage - Expanded Access no console account.

• Todos os outros ativos compartilháveis só podem ser Delta compartilhados com Databricks destinatários no mesmo cloud. Os destinatários devem usar o site serverless compute.

• As tabelas com particionamento ativado não podem ser compartilhadas em Delta.

• Leitores e gravadores externos não podem acessar o armazenamento default.

• O senhor não pode criar um novo catálogo no armazenamento default usando o comando CREATE CATALOG catalog_name SQL.

• O Front-end PrivateLink não é totalmente compatível com o armazenamento default. Não há suporte para recursos como o Cloud Fetch de clientes externos.