Pular para o conteúdo principal
Última atualização em

Acessar visualizações materializadas e tabelas de transmissão usando sistemas externos

Por default, visualizações materializadas e tabelas de transmissão não estão disponíveis para acesso por sistemas externos. A Databricks oferece dois recursos que permitem que seus datasets se tornem disponíveis para clientes Delta Lake ou Iceberg:

  • Acesso a dados externos (visualização pública) — habilitar o *acesso a dados externos* para datasets de pipeline cria uma cópia dos metadados para o dataset que permite aos clientes usar as APIs REST do Unity Catalog ou Iceberg, sem exigir uma cópia completa dos dados ou um cronograma de refresh separado. Os clientes devem usar as APIs REST do catálogo e devem oferecer suporte à Delta 4.0.0 ou acima, ou à especificação Iceberg v3.

    Para obter detalhes sobre acesso a dados externos para datasets de pipeline, consulte Ativar acesso a dados externos a tabelas de transmissão e views materializadas.

  • Modo de compatibilidade (Visualização pública) - Habilitar o modo de compatibilidade para um dataset gera uma versão somente leitura dos seus dados em um local escolhido, que deve ser atualizada quando as tabelas são atualizadas. A versão de compatibilidade inclui metadados v1 para os formatos Delta Lake e Iceberg, juntamente com a cópia somente leitura dos dados, permitindo o acesso para uma gama mais ampla de clientes (incluindo clientes que devem ler os dados da tabela diretamente, em vez de por meio de uma API) à custa do atraso nas atualizações de dados e dos custos de cópia de dados.

    Para obter detalhes sobre o compatibility mode, consulte Compatibility Mode.

Se seus clientes externos suportam as APIs REST, o Databricks recomenda usar o acesso a dados externo para conceder a esses clientes acesso a views materializadas ou tabelas de transmissão. Para uma gama mais ampla de clientes, especialmente clientes mais antigos, e outras tabelas gerenciadas do Unity Catalog, use o modo de compatibilidade.

Capacidade

Acesso externo a dados

Modo de compatibilidade

Cópia de dados

Não há necessidade de cópia de dados.

Cópia de dados é necessária.

Consistência

Consistência de leitura após gravação. Clientes externos veem as alterações assim que acontecem no dataset.

As atualizações acontecem conforme um programar. Por padrão, a tabela de compatibilidade é atualizada de hora em hora. Isso pode ser configurado para atualizar imediatamente após uma alteração na tabela de origem, mas ainda está sujeito a um atraso devido ao tempo de cópia dos dados.

Acesso

Requer acesso à API REST "moderna". Suporta APIs de catálogo do Delta 4.0.0 ou acima ou APIs de especificação Iceberg v3 (requer suporte a vetores de exclusão).

Compatível com todos os clientes Delta Lake ou Iceberg.

Objeto de tabela única

Views materializadas e tabelas de transmissão aparecem como tabelas gerenciadas com o mesmo nome que o dataset original para os clientes externos.

Tabelas de compatibilidade aparecem como uma nova tabela em um novo local para os clientes externos.

Suporte a tipos de tabela

Suporta views materializadas e tabelas de transmissão gerenciadas por Lakeflow Spark Declarative Pipelines.

Suporta views materializadas e tabelas de transmissão, sejam gerenciadas por Pipelines Declarativos do LakeFlow Spark ou autônomas, e quaisquer outras tabelas gerenciadas pelo Unity Catalog.

Custo

O custo de manutenção dos metadados voltados para o exterior faz parte do custo de refresh da materialized view ou da tabela de transmissão. Isso geralmente representa menos de 1% do custo e do tempo para o refresh.

A maior parte do custo para o modo de compatibilidade é o custo de transferência dos dados legados para o novo local.

Passos seguintes​

Nesta página