Referência da tabela do sistema de replicação

importante

O Managed DR é restrito. Solicite acesso por meio da sua equipe de account do Databricks. O Databricks habilita o Managed DR em sua account após a sua aceitação.

Esta página fornece uma referência para a tabela states no esquema de sistema replication, que rastreia o status de replicação da recuperação de desastres (DR) gerenciada do Databricks. Cada linha é um evento de status para um grupo de failover, emitido periodicamente e sempre que o grupo de failover é alterado. Use esta tabela para monitorar o status de replicação atual e histórico de seus grupos de failover, incluindo o atraso da replicação e quaisquer erros que estejam bloqueando a replicação de pelo menos um ativo.

Caminho da tabela : system.replication.states

Como ler o status de replicação

Eventos de status são emitidos em um intervalo regular. Cada evento relata o estado agregado do grupo de failover, o atraso atual e quaisquer erros que estejam bloqueando a replicação de pelo menos um ativo. Ele não lista quais objetos individuais foram replicados com sucesso.

Quando replication_lag_ms não é null, tudo o que não está coberto por um erro nesse evento foi replicado até esse atraso. Outros ativos no escopo continuam a replicar e permanecem atualizados em relação ao atraso, mesmo quando a matriz errors não está vazia. Durante INITIAL_REPLICATION, antes que todos os ativos no escopo tenham sido replicados uma vez, replication_lag_ms pode ser null: o evento ainda pode listar erros bloqueadores, mas ainda não mede a integridade.

Tipos de ativos que o DR gerenciado não oferece suporte algum não aparecem na tabela, nem como sucesso nem como erro. A ausência deles não significa que foram replicados. Consulte Limitações. Ativos no escopo que usam um recurso não compatível, como filtros de linha, máscaras de coluna ou controle de acesso baseado em atributos (ABAC), aparecem na tabela como falhas.

Para confirmar que um ativo específico existe no secundário, inspecione o objeto lá. Como os catálogos secundários no escopo são somente leitura, a Databricks recomenda um workspace de monitoramento somente leitura separado na região secundária. Consulte Configurar replicação.

Referência do esquema da tabela de Estados

A tabela states usa o seguinte esquema:

Nome da coluna	Tipo de dados	Descrição	Exemplo
event_id	string	Identificador exclusivo para o evento de status.	ca886134-876c-4671-a38b-332edf48c602
event_time	carimbo de data/hora	Carimbo de data/hora de quando o evento foi emitido.	2024-01-05T00:00:00.000+00:00
account_id	string	ID da account à qual o grupo de failover pertence.	ca886134-876c-4671-a38b-332edf48c602
failover_group_name	string	Nome totalmente qualificado do grupo de failover.	accounts/account1/failover-group/group1
replication_state	string	Estado da replicação quando o evento foi emitido. Os valores possíveis são INITIAL_REPLICATION, ACTIVE, CREATED, UPDATED, DELETED, FAILOVER_STARTED, FAILOVER_FINISHED e FAILOVER_ABORTED.	ACTIVE
errors	matriz	Quando replication_state é INITIAL_REPLICATION ou ACTIVE, uma lista agregada dos erros que estão bloqueando a replicação de pelo menos um ativo, incluindo quantos ativos cada erro afeta. Consulte Referência de erros.	Consulte a referência de erros
replication_lag_ms	long	Milissegundos desde a última replicação bem-sucedida de todos os ativos no escopo quando o evento foi emitido. Um valor de null indica que pelo menos um ativo nunca foi replicado da origem para a réplica. Um valor crescente significa que o DR não consegue replicar pelo menos um ativo no escopo, mas as alterações em outros ativos no escopo continuam a ser replicadas.	2323
effective_primary_region	string	A região primária do grupo de failover no momento em que o evento foi emitido.	us-west-2
managed_assets	struct	Os ativos gerenciados pelo grupo de failover quando o evento foi emitido. Consulte Referência de ativos gerenciados.	Consulte a referência de ativos gerenciados

Nome da coluna	Tipo de dados	Descrição	Exemplo
event_id	string	Identificador exclusivo para o evento de status.	ca886134-876c-4671-a38b-332edf48c602
event_time	carimbo de data/hora	Carimbo de data/hora de quando o evento foi emitido.	2024-01-05T00:00:00.000+00:00
account_id	string	ID da account à qual o grupo de failover pertence.	ca886134-876c-4671-a38b-332edf48c602
failover_group_name	string	Nome totalmente qualificado do grupo de failover.	accounts/account1/failover-group/group1
replication_state	string	Estado da replicação quando o evento foi emitido. Os valores possíveis são INITIAL_REPLICATION, ACTIVE, CREATED, UPDATED, DELETED, FAILOVER_STARTED, FAILOVER_FINISHED e FAILOVER_ABORTED.	ACTIVE
errors	matriz	Quando replication_state é INITIAL_REPLICATION ou ACTIVE, uma lista agregada dos erros que estão bloqueando a replicação de pelo menos um ativo, incluindo quantos ativos cada erro afeta. Consulte Referência de erros.	Consulte a referência de erros
replication_lag_ms	long	Milissegundos desde a última replicação bem-sucedida de todos os ativos no escopo quando o evento foi emitido. Um valor de null indica que pelo menos um ativo nunca foi replicado da origem para a réplica. Um valor crescente significa que o DR não consegue replicar pelo menos um ativo no escopo, mas as alterações em outros ativos no escopo continuam a ser replicadas.	2323
effective_primary_region	string	A região primária do grupo de failover no momento em que o evento foi emitido.	us-west-2
managed_assets	struct	Os ativos gerenciados pelo grupo de failover quando o evento foi emitido. Consulte Referência de ativos gerenciados.	Consulte a referência de ativos gerenciados

Referência de erros

A coluna errors contém um array dos erros que estão bloqueando a replicação. Cada elemento da matriz é uma estrutura com os seguintes campos:

Nome do campo	Tipo de dados	Descrição
error	struct	Detalhes do erro. Contém error_class (string), o nome da classe para o erro; parameters (mapa), parâmetros chave-valor com detalhes sobre o erro; e message (string), uma mensagem de erro legível por humanos.
affected_assets_counts	matriz	Uma entrada por tipo de ativo afetado. Cada entrada contém asset_type (string), o tipo do ativo afetado e failing_count (long), o número de ativos desse tipo que o erro afeta.

Nome do campo	Tipo de dados	Descrição
error	struct	Detalhes do erro. Contém error_class (string), o nome da classe para o erro; parameters (mapa), parâmetros chave-valor com detalhes sobre o erro; e message (string), uma mensagem de erro legível por humanos.
affected_assets_counts	matriz	Uma entrada por tipo de ativo afetado. Cada entrada contém asset_type (string), o tipo do ativo afetado e failing_count (long), o número de ativos desse tipo que o erro afeta.

Referência de ativos gerenciados

A coluna managed_assets é uma estrutura que descreve os ativos gerenciados pelo grupo de failover quando o evento foi emitido. Contém os seguintes campos:

Nome do campo	Tipo de dados	Descrição
metastore_ids	matriz	Os IDs dos metastores gerenciados pelo grupo de failover.
workspace_sets	matriz	Os workspaces gerenciados pelo grupo de failover. Cada entrada contém name (string) e workspace_ids (array).
catalogs	matriz	Os catálogos gerenciados pelo grupo de failover. Cada entrada contém name (string).

Nome do campo	Tipo de dados	Descrição
metastore_ids	matriz	Os IDs dos metastores gerenciados pelo grupo de failover.
workspace_sets	matriz	Os workspaces gerenciados pelo grupo de failover. Cada entrada contém name (string) e workspace_ids (array).
catalogs	matriz	Os catálogos gerenciados pelo grupo de failover. Cada entrada contém name (string).

Considerações ao ler a tabela

Observe o seguinte ao analisar a tabela states:

• Os dados podem levar até 3 horas para estarem disponíveis após um evento ocorrer.
• A tabela contém eventos para todos os grupos de failover na conta do Databricks.

Exemplos de consultas

A consulta a seguir retorna o status de replicação mais recente para um determinado grupo de failover, incluindo seu replication_state atual, o atraso de replicação e quaisquer erros de bloqueio:

SQL

SELECT
  event_time,
  replication_state,
  replication_lag_ms,
  errors
FROM system.replication.states
WHERE failover_group_name = :failover_group_name
ORDER BY event_time DESC
LIMIT 1

A consulta a seguir retorna a distribuição do atraso de replicação para um determinado grupo de failover:

SQL

SELECT histogram_numeric(replication_lag_ms, 20) AS replication_lag_distribution
FROM system.replication.states
WHERE failover_group_name = :failover_group_name