Pular para o conteúdo principal
Última atualização em

Requisitos para pipelines autônomos

A criação e o refresh de views materializadas e tabelas de streaming autônomas exigem um workspace habilitado para serverless e para Unity Catalog, além de um SQL warehouse ou um notebook em compute geral serverless.

Você pode criar e refresh views materializadas e tabelas de transmissão autônomas usando um SQL Warehouse. Para enviar instruções CREATE e REFRESH, use o editor SQL na interface do usuário do Databricks, a CLI do Databricks SQL ou a API do Databricks SQL.

Você também pode criar e fazer refresh de views materializadas e tabelas de transmissão autônomas a partir de um Notebook em execução em compute geral Serverless (Beta). Consulte Notebooks.

Requisitos​

Os requisitos a seguir se aplicam a todos os pipelines autônomos.

Você deve ter:

Permissões para criar ou refresh​

O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:

  • SELECT privilégio nas tabelas base.
  • USE CATALOG e privilégios USE SCHEMA no catálogo e esquema contendo as tabelas de origem.
  • USE CATALOG e privilégios USE SCHEMA no catálogo e esquema de destino.
  • CREATE MATERIALIZED VIEW privilégio no esquema que contém a view materializada.
  • CREATE TABLE privilégio no esquema que contém a tabela de transmissão. Os pipelines que usam o modo de publicação legado também requerem o privilégio CREATE TABLE para views materializadas.

Para refresh uma view materializada autônoma ou tabela de transmissão:

  • Você deve estar no workspace que o criou.
  • Você deve ter o privilégio REFRESH na tabela. Os proprietários têm esse privilégio implicitamente.

Requisitos da tabela de origem​

Para o refresh incremental de views materializadas de tabelas Delta, as tabelas de origem devem ter o acompanhamento de linhas ativado.

SQL warehouse​

Para criar ou refresh views materializadas autônomas e tabelas de transmissão usando um SQL Warehouse, você deve ter um SQL Warehouse Pro ou Serverless habilitado para Unity Catalog.

Notebooks​

Você pode criar e refresh view materializadas e tabelas de transmissão autônomas a partir de um Notebook com compute geral Serverless.

Compute geral serverless​

info

Beta

A criação e o refresh de views materializadas e tabelas de transmissão autônomas de um Notebook em compute geral Serverless estão em Beta. Este recurso está disponível em todas as regiões que suportam compute serverless. Consulte Disponibilidade regional.

Você pode criar e refresh views materializadas autônomas e tabelas de transmissão a partir de um notebook conectado ao compute geral serverless. Essa opção é útil quando você deseja definir e executar views materializadas ou tabelas de transmissão juntamente com outros fluxos de trabalho baseados em Notebook sem provisionamento um SQL Warehouse.

Para criar e refresh views materializadas e tabelas de transmissão autônomas com Python em um Notebook, consulte Usar Python com pipelines autônomos.

Requisitos do compute geral serverless​

  • Um notebook conectado ao compute geral serverless.
  • Databricks Runtime 18.1 ou acima. Notebooks interativos atendem automaticamente a esse requisito; jobs fixados em uma versão mais antiga não atendem.
  • O seu workspace deve estar numa região que suporte compute serverless.

Limitações​

  • Apenas o proprietário da tabela pode refresh a tabela. Para permitir que outro usuário faça refresh, altere o proprietário. Consulte Alterar o proprietário de uma tabela de transmissão e Alterar o proprietário de uma view materializada.
  • O refresh assíncrono não tem suporte. Use um refresh síncrono em vez disso.
  • O canal de pré-visualização não é compatível. As tabelas criadas no compute genérico serverless usam o canal current.
  • Uma tabela só pode ser atualizada usando o tipo de compute com o qual foi criada. Uma tabela criada em um SQL warehouse deve ser atualizada em um SQL warehouse, e uma tabela criada em compute geral serverless deve ser atualizada em compute geral serverless. Para view o tipo de compute, veja a tabela no Explorador de Catálogos.
  • A atribuição e o controle de custos não estão disponíveis. Use um SQL warehouse se precisar de atribuição de custos por tabela.
  • O autoscale vertical em erros de falta de memória não está disponível.
  • Não há novas tentativas para atualizações de esquema.
  • A seleção do modo de desempenho no refresh não está disponível. Consulte Selecionar um modo de desempenho para refresh programados.
nota

Em um notebook no compute geral serverless, você pode enviar instruções CREATE e REFRESH com spark.sql ou definir a tabela em Python com os decoradores de pipelines. Consulte Usar Python com pipelines autônomos.

Requisitos de query​

Para fazer query em uma materialized view autônoma ou tabela de transmissão, você deve ser o proprietário ou deve ter SELECT na tabela junto com USE CATALOG e USE SCHEMA em seus pais.

Você deve usar um dos seguintes recursos de compute:

  • Armazém SQL
  • Interfaces de LakeFlow Pipelines
  • Compute de modo de acesso padrão (anteriormente modo de acesso compartilhado)
  • Compute em modo de acesso dedicado (antigo modo de acesso de usuário único) no Databricks Runtime 15.4 ou acima, se o workspace estiver habilitado para serverless compute. Veja Controle de acesso detalhado em compute dedicado. Se você for o proprietário, poderá usar compute em modo de acesso dedicado executando o Databricks Runtime 14.3 ou acima.

Para tabelas de transmissão no Databricks Runtime 15.3 e abaixo, você pode usar compute dedicado para query uma tabela de transmissão apenas se você for o proprietário dela. O Databricks Runtime 15.4 LTS e acima oferecem suporte a consultas de tabelas geradas por pipeline em compute dedicado, mesmo se você não for o proprietário. Você pode ser cobrado por recursos de serverless compute ao usar compute dedicado para executar operações de filtragem de dados. Veja Controle de acesso detalhado em compute dedicado.

Disponibilidade regional​

As tabelas criadas e atualizadas usando um Databricks SQL warehouse estão disponíveis em todas as regiões que suportam Databricks SQL warehouses Serverless.

A criação e o refresh de views materializadas e tabelas de transmissão autônomas em compute geral Serverless estão disponíveis em todas as regiões que suportam compute Serverless.

Para ver a lista de regiões compatíveis para ambas as opções de compute, consulte Disponibilidade serverless.

Nesta página