Pular para o conteúdo principal

Requisitos para um oleoduto independente

Esta página descreve os requisitos para criar e atualizar tabelas de visualização materializada e de transmissão independentes.

Você pode criar e refresh tabelas de visualização materializada e de transmissão independentes usando um SQL warehouse. Para enviar instruções CREATE e REFRESH , use o editor SQL na interface do usuário Databricks , a CLIDatabricks SQL ou a APIDatabricks SQL.

Requisitos gerais

Os seguintes requisitos aplicam-se a todos os gasodutos independentes.

Você precisa ter:

Permissões para criar ou refresh

O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:

  • SELECT privilégio nas tabelas base.
  • USE CATALOG e privilégios USE SCHEMA no catálogo e esquema que contém as tabelas de origem.
  • USE CATALOG e privilégios USE SCHEMA no catálogo e esquema de destino.
  • CREATE MATERIALIZED VIEW privilégio no esquema que contém a view materializada.
  • CREATE TABLE privilégio no esquema que contém a tabela transmissão. O pipeline que usa o modo de publicação legado também requer o privilégio CREATE TABLE para visualização materializada.

Para refresh uma view materializada independente ou uma tabela:

  • Você precisa estar no workspace que o criou.
  • Você deve ter o privilégio REFRESH na mesa. Os proprietários têm esse privilégio implicitamente.

Requisitos da tabela de origem

Para refresh incremental da visão materializada a partir de tabelas Delta , as tabelas de origem devem ter o acompanhamento de linhas ativado.

SQL warehouse

Para criar ou refresh tabelas de visualização materializada e transmissão independentes usando um SQL warehouse, você precisa ter um SQL warehouse serverless ou Pro habilitado para o Catálogo Unity.

Você pode criar e refresh visualizações materializadas independentes e tabelas de transmissão a partir de um Notebook conectado a um compute geral serverless . Essa opção é útil quando você deseja definir e executar visões materializadas ou tabelas de transmissão juntamente com outros fluxos de trabalho baseados em Notebook, sem provisionamento de um SQL warehouse.

requisitos gerais compute sem servidor

  • Um notebook conectado a um compute geral serverless .
  • Databricks Runtime 18.1 ou acima. O Notebook Interativo atende a esse requisito automaticamente; o recurso de fixar tarefas em uma versão anterior não.
  • Seu workspace deve estar em uma região compatível.

Limitações

  • Somente o proprietário da tabela pode refresh la. Para permitir que outro usuário refresh, altere o proprietário. Consulte Alterar o proprietário de uma tabela de transmissão e Alterar o proprietário de uma viewmaterializada.
  • Atualizações assíncronas não são suportadas. Use uma refresh síncrona.
  • O canal de pré-visualização não é compatível. As tabelas criadas em compute geral serverless usam o canal current .
  • Uma tabela só pode ser atualizada usando o tipo compute com o qual foi criada. Uma tabela criada em um SQL warehouse deve ser atualizada em um SQL warehouse, e uma tabela criada em compute geral serverless deve ser atualizada em compute geral serverless . Para verificar o tipo compute , view a tabela no Explorador de Catálogo.
  • A atribuição e o controle de custos não estão disponíveis. Utilize um SQL warehouse se precisar de atribuição de custos por tabela.
  • O ajuste automático de escala vertical em caso de erros de falta de memória não está disponível.
  • Não é possível tentar novamente as atualizações de esquema.
  • A seleção do modo de desempenho ao refresh não está disponível. Consulte Selecione um modo de desempenho para atualização agendada.
nota

spark.sql É compatível ao executar uma refresh em um Notebook em compute geral serverless .

:::

Requisitos da consulta

Para consultar uma view materializada independente ou uma tabela de transmissão, você deve ser o proprietário ou deve ter SELECT na tabela, juntamente com USE CATALOG e USE SCHEMA em seus pais.

Você deve usar um dos seguintes recursos compute :

  • Armazém SQL
  • Interfaces de pipeline declarativas LakeFlow Spark
  • compute em modo de acesso padrão (anteriormente modo de acesso compartilhado)
  • compute em modo de acesso dedicado (anteriormente modo de acesso de usuário único) no Databricks Runtime 15.4 ou superior, se o workspace estiver habilitado para compute serverless . Consulte Controle de acesso granular em computededicada. Se você for o proprietário, poderá usar o modo de acesso dedicado compute executando Databricks Runtime 14.3 ou superior.

Disponibilidade regional

As tabelas criadas e atualizadas usando um data warehouse Databricks SQL estão disponíveis em todas as regiões que oferecem suporte a data warehouses Databricks SQL serverless do Databricks.

Para obter a lista de regiões compatíveis com os data warehouses Databricks SQL , consulte a disponibilidade sem servidor.