transmissão condição de erro
O modo de transmissão tempo real tem a seguinte limitação:
OPERAÇÕES_ESTATAIS_ARBITRÁRIAS_NÃO SUPORTADAS
O operador de transmissão arbitrária com estado, <op>, não é suportado no momento. Consulte o tempo real Mode Guia do usuário para obter uma lista dos operadores compatíveis.
RASTREAMENTO ASYNC_PROGRESS_NÃO SUPORTADO
O acompanhamento do progresso assíncrono não é compatível com o modo tempo real. Defina a opção AsyncProgressTrackingEnabled como falsa e repita sua consulta.
ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED
O checkpointing de estado assíncrono não é compatível com o modo de tempo real. Defina spark.databricks.transmissão.statefulOperator.asyncCheckpoint.enabled como false e tente novamente a consulta.
UNIÃO EM LOTE NÃO SUPORTADA
o modo tempo real não suporta a união com lotes fonte de dados. Certifique-se de que a consulta de transmissão de união contenha apenas fontes de dados de transmissão.
CHECKPOINT_V2_REQUIRED
O modo em tempo real requer o ponto de verificação v2. Definir spark.sql.transmissão.stateStore.checkpointFormatVersion até 2 e repita sua consulta.
concorrente
O modo tempo real requer o programador DAG do estágio concorrente. Reinicie o spark clustering e defina spark.databricks.dagScheduler.type como ConcurrentStageDAGScheduler.
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
DropDuplicatesWithinWatermark não é suportado. Para contornar essa limitação, você pode usar DropDuplicates em vez disso. Lembre-se de passar sua coluna de horário do evento para DropDuplicates para que esse estado possa ser eliminado.
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
Ainda não há suporte para temporizadores baseados em tempo de evento no operador transformWithState. Se você quiser usar o operador transformWithState, especifique o tempo de processamento em seu operador transformWithState e tente sua consulta novamente.
FONTES_DE_ORIGENS IDÊNTICAS EM _UNION_NOT_SUPPORTED
O modo tempo real não suporta a união de duas ou mais fontes de dados de transmissão idênticas em uma única consulta. Isso inclui cenários como a referência à mesma fonte DataFrame mais de uma vez ou o uso de duas fontes de dados com configurações idênticas para algumas fontes. Para o Kafka, evite reutilizar o mesmo DataFrame e crie outros diferentes. No caso do Kinesis, além de duplicar os quadros de dados, certifique-se de que cada DataFrame defina um valor exclusivo para a opção "consumerName". Fontes fornecidas na consulta: <sources>
INPUT_STREAM_NÃO SUPORTADO
A transmissão de entrada <className> não é suportada. Consulte o tempo real Mode Guia do usuário para obter uma lista das transmissões de entrada compatíveis.
GERENCIADOR MULTI_SHUFFLE_OBRIGATÓRIO
O modo em tempo real requer o gerenciador de multi-shuffle. Defina spark.shuffle.manager como org.apache.spark.shuffle.transmissão.MultiShuffleManager e reinicie o clustering do spark.
OPERADOR_OR_SINK_NOT_IN_ALLOWLIST
O <errorType>(s): <message> não está na lista de permissão do <errorType> para o tempo real Mode. Para ignorar essa verificação, defina spark.databricks.transmissão.realTimeMode.allowlistCheck como false. Ao alterar isso, o senhor concorda em executar a consulta por sua própria conta e risco.
MODO DE SAÍDA NÃO SUPORTADO
O modo de saída <outputMode> não é suportado. Para contornar essa limitação, defina o modo de saída como Atualizar. No futuro, o <outputMode> poderá ser suportado.
ROCKSDB_STATE_STORE_PROVIDER_OBRIGATÓRIO
O modo tempo real requer o provedor RocksDB armazenamento do estado ou provedores que o estendam. Definir spark.sql.transmissão.stateStore.providerClass para org.apache.spark.sql.execution.transmissão.state.RocksDBStateStoreProvider e tente novamente a consulta.
SESSÃO_WINDOWS_NÃO SUPORTADA
As janelas de sessão ainda não são suportadas. As únicas agregações de janelas permitidas são janelas caídas e deslizantes.
EXECUÇÃO_ESPECULATIVA_NÃO SUPORTADA
A execução especulativa não é compatível com o modo de tempo real. Defina spark.speculation como false e reinicie o clustering do spark.
OPERADORES_ESTATAIS_BEFORE_UNION_NOT_SUPPORTED
As consultas de transmissão no modo tempo real não podem incluir operadores com estado (por exemplo, o agregado, desduplicado, transformWithState) antes de uma união. Reestruture sua consulta para aplicar a união antes de qualquer operação stateful.
transmissão
Ainda não há suporte para nenhum tipo de união de transmissão.