Requisitos para um oleoduto independente
Esta página descreve os requisitos para criar e atualizar tabelas de visualização materializada e de transmissão independentes.
Você pode criar e refresh tabelas de visualização materializada e de transmissão independentes usando um SQL warehouse. Para enviar instruções CREATE e REFRESH , use o editor SQL na interface do usuário Databricks , a CLIDatabricks SQL ou a APIDatabricks SQL.
Você também pode criar e refresh tabelas de visualização materializada e de transmissão independentes a partir de um Notebook executado em compute geral serverless (Beta, disponibilidade regional limitada). See Notebook.
Requisitos gerais
Os seguintes requisitos aplicam-se a todos os gasodutos independentes.
Você precisa ter:
- Uma account Databricks com serverless ativado. Consulte Configurar um data warehouse SQL serverless.
- Um workspace com Unity Catalog ativado. Consulte o Guia de Introdução ao Unity Catalog.
Permissões para criar ou refresh
O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:
SELECTprivilégio nas tabelas base.USE CATALOGe privilégiosUSE SCHEMAno catálogo e esquema que contém as tabelas de origem.USE CATALOGe privilégiosUSE SCHEMAno catálogo e esquema de destino.CREATE MATERIALIZED VIEWprivilégio no esquema que contém a view materializada.CREATE TABLEprivilégio no esquema que contém a tabela transmissão. O pipeline que usa o modo de publicação legado também requer o privilégioCREATE TABLEpara visualização materializada.
Para refresh uma view materializada independente ou uma tabela:
- Você precisa estar no workspace que o criou.
- Você deve ter o privilégio
REFRESHna mesa. Os proprietários têm esse privilégio implicitamente.
Requisitos da tabela de origem
Para refresh incremental da visão materializada a partir de tabelas Delta , as tabelas de origem devem ter o acompanhamento de linhas ativado.
SQL warehouse
Para criar ou refresh tabelas de visualização materializada e transmissão independentes usando um SQL warehouse, você precisa ter um SQL warehouse serverless ou Pro habilitado para o Catálogo Unity.
- Seu workspace deve estar em uma região que suporte SQL Warehouseserverless.
- Você deve ter aceitado os termos de uso do modelo serverless.
Notebook
Você pode criar e refresh visualizações materializadas independentes e tabelas de transmissão a partir de um Notebook com compute geral serverless .
computegeral sem servidor
Beta
A criação e atualização de tabelas de visualização materializada e de transmissão independentes a partir de um Notebook em compute geral serverless está em versão Beta. Este recurso está disponível apenas em regiões selecionadas. Consulte a disponibilidade regional.
Você pode criar e refresh visualizações materializadas independentes e tabelas de transmissão a partir de um Notebook conectado a um compute geral serverless . Essa opção é útil quando você deseja definir e executar visões materializadas ou tabelas de transmissão juntamente com outros fluxos de trabalho baseados em Notebook, sem provisionamento de um SQL warehouse.
requisitos gerais compute sem servidor
- Um notebook conectado a um compute geral serverless .
- Databricks Runtime 18.1 ou acima. O Notebook Interativo atende a esse requisito automaticamente; o recurso de fixar tarefas em uma versão anterior não.
- Seu workspace deve estar em uma região compatível.
Limitações
- Somente o proprietário da tabela pode refresh la. Para permitir que outro usuário refresh, altere o proprietário. Consulte Alterar o proprietário de uma tabela de transmissão e Alterar o proprietário de uma viewmaterializada.
- Atualizações assíncronas não são suportadas. Use uma refresh síncrona.
- O canal de pré-visualização não é compatível. As tabelas criadas em compute geral serverless usam o canal
current. - Uma tabela só pode ser atualizada usando o tipo compute com o qual foi criada. Uma tabela criada em um SQL warehouse deve ser atualizada em um SQL warehouse, e uma tabela criada em compute geral serverless deve ser atualizada em compute geral serverless . Para verificar o tipo compute , view a tabela no Explorador de Catálogo.
- A atribuição e o controle de custos não estão disponíveis. Utilize um SQL warehouse se precisar de atribuição de custos por tabela.
- O ajuste automático de escala vertical em caso de erros de falta de memória não está disponível.
- Não é possível tentar novamente as atualizações de esquema.
- A seleção do modo de desempenho ao refresh não está disponível. Consulte Selecione um modo de desempenho para atualização agendada.
spark.sql É compatível ao executar uma refresh em um Notebook em compute geral serverless .
:::
Requisitos da consulta
Para consultar uma view materializada independente ou uma tabela de transmissão, você deve ser o proprietário ou deve ter SELECT na tabela, juntamente com USE CATALOG e USE SCHEMA em seus pais.
Você deve usar um dos seguintes recursos compute :
- Armazém SQL
- Interfaces de pipeline declarativas LakeFlow Spark
- compute em modo de acesso padrão (anteriormente modo de acesso compartilhado)
- compute em modo de acesso dedicado (anteriormente modo de acesso de usuário único) no Databricks Runtime 15.4 ou superior, se o workspace estiver habilitado para compute serverless . Consulte Controle de acesso granular em computededicada. Se você for o proprietário, poderá usar o modo de acesso dedicado compute executando Databricks Runtime 14.3 ou superior.
Para tabelas de transmissão no Databricks Runtime 15.3 e versões anteriores, você só pode usar compute dedicada para consultar uma tabela de transmissão se for o proprietário dela. Databricks Runtime 15.4 LTS e versões superiores suportam a consulta de tabelas geradas pipelineem compute dedicada, mesmo que você não seja o proprietário. Você poderá ser cobrado pelo recurso compute serverless quando usar compute dedicada para executar operações de filtragem de dados. Consulte Controle de acesso granular em computededicada.
Disponibilidade regional
As tabelas criadas e atualizadas usando um data warehouse Databricks SQL estão disponíveis em todas as regiões que oferecem suporte a data warehouses Databricks SQL serverless do Databricks.
A criação e atualização de tabelas de visualização materializada e de transmissão independentes em compute geral serverless está disponível apenas em regiões selecionadas.
Para obter a lista de regiões compatíveis com ambas as opções compute , consulte a disponibilidade de computação sem servidor.