Amazon
Web Services
Microsoft Azure
Google Cloud PlatformReferência das tabelas do sistema de linhagem
Visualização
Essa tabela do sistema está em Pré-visualização Pública. Para acessar a tabela, o esquema deve estar habilitado em seu catálogo system. Para obter mais informações, consulte Habilitar esquemas de tabelas do sistema.
Este artigo fornece uma visão geral das duas tabelas do sistema de linhagem. Essas tabelas do sistema se baseiam no recurso de linhagem de dados do Unity Catalog, permitindo que o senhor consulte programaticamente os dados de linhagem para alimentar a tomada de decisões e os relatórios.
Observação
Ambas as tabelas de linhagem representam um subconjunto de todos os eventos de leitura/gravação, pois nem sempre é possível capturar a linhagem. Os registros são emitidos apenas quando a linhagem pode ser inferida.
Tabela de linhagem
A tabela do sistema de linhagem de tabelas inclui um registro para cada evento de leitura ou gravação em uma tabela ou caminho do Unity Catalog. Isso inclui, entre outros, a execução do Job, a execução do Notebook e os painéis atualizados com o evento de leitura ou gravação.
Caminho da tabela: Essa tabela do sistema está localizada em system.access.table_lineage.
Tabela de linhagem de colunas
A tabela de linhagem de colunas não inclui eventos que não tenham uma fonte. Por exemplo, se o senhor inserir em uma coluna usando valores explícitos, isso não será capturado. Se o senhor ler uma coluna, ela será capturada independentemente de o senhor escrever ou não a saída. A linhagem de coluna não é suportada para Delta Live Tables.
Caminho da tabela: Essa tabela do sistema está localizada em system.access.column_lineage.
Esquema de tabela do sistema de linhagem
As tabelas do sistema de linhagem usam o seguinte esquema. O esquema de linhagem da tabela não inclui source_column_name e target_column_name.
Nome da coluna |
Tipo de dados |
Descrição |
Exemplo |
|---|---|---|---|
|
string |
O ID do site Databricks account. |
|
|
string |
O ID do metastore do Unity Catalog. |
|
|
string |
A ID do workspace |
|
|
string |
O tipo de entidade da qual a transação de linhagem foi capturada. O valor é |
|
|
string |
O ID da entidade da qual a transação de linhagem foi capturada. Se |
|
|
string |
ID para descrever a execução exclusiva da entidade, ou
Se |
|
|
string |
Nome de três partes para identificar a tabela de origem. |
|
|
string |
O catálogo da tabela de origem. |
|
|
string |
O esquema da tabela de origem. |
|
|
string |
O nome da tabela de origem. |
|
|
string |
Localização no armazenamento cloud da tabela de origem, ou o caminho se estiver lendo diretamente do armazenamento cloud. |
|
|
string |
O tipo da fonte. O valor é |
|
|
string |
O nome da coluna de origem. |
|
|
string |
Nome de três partes para identificar a tabela de destino. |
|
|
string |
O catálogo da tabela de destino. |
|
|
string |
O esquema da tabela de destino. |
|
|
string |
O nome da tabela de destino. |
|
|
string |
Localização no armazenamento cloud da tabela de destino. |
|
|
string |
O tipo do alvo. O valor é |
|
|
string |
O nome da coluna de destino. |
|
|
string |
O usuário que gerou essa linhagem. Pode ser um nome de usuário Databricks, um ID de entidade de serviço Databricks, "System-User" ou |
|
|
timestamp |
O registro de data e hora em que a linhagem foi gerada. As informações de fuso horário são registradas no final do valor com |
|
|
Data |
A data em que a linhagem foi gerada. Essa é uma coluna particionada. |
|
Leitura de tabelas do sistema de linhagem
Observe as seguintes considerações ao analisar as tabelas do sistema de linhagem:
Para o
entity_type, Databricks suporta Delta Live Tables, Notebook, Job, Databricks SQL queries e dashboards. Não há suporte para eventos de outras entidades.Se o senhor vir
entity_typecomonull, isso significa que nenhuma entidade da Databricks está envolvida no evento. Por exemplo, pode ser o resultado de uma consulta JDBC ou de um usuário que clica em Sample Data tab na UI Databricks.Para determinar se o evento foi uma leitura ou uma gravação, o senhor pode view o tipo de origem e o tipo de destino.
Somente leitura: O tipo de origem não é nulo, mas o tipo de destino é nulo.
Somente para gravação: O tipo de destino não é nulo, mas o tipo de origem é nulo.
Leitura e gravação: O tipo de origem e o tipo de destino não são nulos.
Exemplo de tabela de sistema de linhagem
Como exemplo de como a linhagem é registrada nas tabelas do sistema, aqui está um exemplo de consulta seguido dos registros de linhagem que a consulta cria:
CREATE OR REPLACE TABLE car_features
AS SELECT *, in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);
O registro em system.access.table_lineage teria a seguinte aparência:
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
O registro em system.access.column_lineage teria a seguinte aparência:
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Observação
Nem todas as colunas de linhagem são mostradas no exemplo acima. Para obter o esquema completo, consulte o esquema de linhagem acima.
Solução de problemas de consultas de tabelas externas
Quando o senhor faz referência a uma tabela externa usando seu caminho de armazenamento cloud, o registro de linhagem associado inclui apenas o nome do caminho e não o nome da tabela. Por exemplo, o registro de linhagem para essa consulta incluiria o nome do caminho e não o nome da tabela:
SELECT * FROM delta.`s3://mybucket/table1`;
Se o senhor estiver tentando consultar os registros de linhagem de uma tabela externa referenciada pelo caminho, precisará filtrar a consulta usando source_path ou target_path em vez de source_table_full_name ou target_table_full_name. Por exemplo, a consulta a seguir extrai todos os registros de linhagem de uma tabela externa:
SELECT *
FROM system.access.table_lineage
WHERE
source_path = "s3://mybucket/table1" OR
target_path = "s3://mybucket/table1";
Exemplo: Recuperar registros de linhagem com base no nome da tabela externa
Se não quiser recuperar manualmente o caminho de armazenamento cloud para localizar a linhagem, o senhor pode usar a seguinte função para obter o nome da tabela para uso de dados da linhagem. O senhor também pode substituir system.access.table_lineage por system.access.column_lineage na função se quiser consultar a linhagem da coluna.
def getLineageForTable(table_name):
table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]
df = spark.read.table("system.access.table_lineage")
return df.where(
(df.source_table_full_name == table_name)
| (df.target_table_full_name == table_name)
| (df.source_path == table_path)
| (df.target_path == table_path)
)
Em seguida, use o comando a seguir para chamar a função e exibir os registros de linhagem da tabela externa:
display(getLineageForTable("table_name"))