Referência da tabela do sistema Zerobus Ingest
Este artigo é uma referência para as tabelas do sistema zerobus , que rastreiam a atividade de ingestão do Zerobus em seu workspace. Essas tabelas incluem os registros da sua account de todos os espaços de trabalho na mesma região. Para visualizar registros de outra região, você precisa view as tabelas a partir de um workspace implantado nessa região.
Requisitos
- Para acessar essas tabelas do sistema, os usuários devem:
- Seja administrador do metastore e administrador workspace , ou
- Tenha permissões
USEeSELECTnos esquemas do sistema. Consulte Conceder acesso às tabelas do sistema.
Tabelas de ingestão Zerobus disponíveis
Todas as tabelas de sistema relacionadas ao Zerobus Ingest residem no esquema system.lakeflow . Isso inclui as seguintes tabelas:
Tabela | Descrição | Suporta transmissão | Período de retenção gratuito | Inclui dados globais ou regionais |
|---|---|---|---|---|
Zerobus_stream (Beta) | Rastreia todos os fluxos criados usando o Zerobus Ingest. | Sim | 365 dias | Regional |
Zerobus_ingest (Beta) | Monitora todos os dados ingeridos em tabelas Delta usando o Zerobus Ingest. | Sim | 365 dias | Regional |
Referência do esquema da tabela de transmissão Zerobus
A tabela zerobus_stream armazena todos os dados relacionados aos eventos de transmissão incorridos pelo uso do Zerobus Ingest. Isso inclui eventos que ocorrem quando uma transmissão é criada, quando ocorre um erro durante a vida útil da transmissão e quando uma transmissão é encerrada.
Caminho da tabela : system.lakeflow.zerobus_stream
Nome da coluna | Tipo de dados | Descrição | Exemplo |
|---|---|---|---|
| string | O ID da account responsável pela transmissão |
|
| string | O ID do workspace responsável pela transmissão |
|
| string | O ID da transmissão |
|
| carimbo de data/hora | O registro de data e hora do momento em que o evento ocorreu. |
|
| string | O ID do produtor responsável pela criação da transmissão. | Esta coluna não é suportada atualmente. |
| carimbo de data/hora | O registro de data e hora em que a caixa de diálogo foi aberta. |
|
| carimbo de data/hora | O registro de data e hora em que a transmissão foi fechada. |
|
| string | O ID da tabela que está sendo inserida. |
|
| string | O nome completo da tabela que está sendo inserida. |
|
| string | O protocolo utilizado para a ingestão de dados. Os valores possíveis são |
|
| string | O formato dos dados utilizados na transmissão. Os valores possíveis são |
|
| matriz | Conjunto de erros que ocorreram durante a vida útil da circular | Consulte a referência de erros. |
Consultas de exemplo para a tabela de transmissão
A consulta a seguir retorna o número de transmissões atualmente abertas para uma tabela específica:
SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'
A consulta a seguir retorna os IDs de todas as transmissões que apresentaram erro:
SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0
Referência do esquema da tabela de ingestão do Zerobus
A tabela zerobus_ingest armazena todos os dados relacionados aos registros ingeridos usando o Zerobus Ingest. Esses dados não possuem granularidade em nível de registro. Os dados são agregados por lotes gravados na tabela Delta, identificados usando o commit_version.
Caminho da tabela : system.lakeflow.zerobus_ingest
Nome da coluna | Tipo de dados | Descrição | Exemplo |
|---|---|---|---|
| string | ID da account proprietária do workspaceem questão |
|
| string | ID do workspace em que a transmissão foi criada. |
|
| string | ID da transmissão que realizou a ingestão |
|
| BigInt | Número de versão exclusivo do commit para o Delta |
|
| string | ID da tabela na qual está sendo feita a gravação. |
|
| string | Nome da tabela totalmente qualificado em formato legível para humanos |
|
| carimbo de data/hora | Carimbo de data/hora do commit |
|
| BigInt | Tamanho dos dados ingeridos em bytes | 3532498 |
| BigInt | Número de registros comprometidos | 3445 |
| matriz | tags personalizadas fornecidas pelo Zerobus Ingest que podem ser usadas para acompanhamento, uso, origem e outros metadados. |
|
| matriz | Conjunto de erros que ocorreram durante a ingestão. | Consulte a referência de erros. |
Exemplos de consultas para a tabela de ingestão
A consulta a seguir obtém a taxa média de inserção para cada tabela durante um intervalo de tempo especificado:
SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id
A consulta a seguir obtém a quantidade total de dados e registros inseridos em uma tabela durante um intervalo de tempo especificado:
SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name
Referência de erro
Tanto a tabela de transmissão quanto a de ingestão incluem uma coluna errors , que contém uma matriz de erros que ocorreram durante a transmissão ou ingestão, com cada elemento representando um erro separado. Esses elementos da matriz são registrados como objetos com os seguintes campos:
Nome do campo | Tipo de dados | Descrição |
|---|---|---|
| BigInt | Código de erro |
| string | Mensagem de erro completa |
| carimbo de data/hora | Registro de data e hora em que o erro ocorreu. |
Padrões join comuns
A consulta a seguir mostra como você pode join as tabelas de transmissão e ingestão para retornar todas as tabelas que foram gravadas a partir de um único workspace.
SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id