transmissão condição de erro
O modo de transmissão tempo real tem a seguinte limitação:
OPERAÇÕES_ESTATAIS_ARBITRÁRIAS_NÃO SUPORTADAS
O operador de transmissão arbitrária com estado, <op>, não é suportado no momento. Consulte o tempo real Mode Guia do usuário para obter uma lista dos operadores compatíveis.
RASTREAMENTO ASYNC_PROGRESS_NÃO SUPORTADO
O acompanhamento do progresso assíncrono não é compatível com o modo tempo real. Defina a opção AsyncProgressTrackingEnabled como falsa e repita sua consulta.
ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED
O checkpointing de estado assíncrono não é compatível com o modo de tempo real. Defina spark.databricks.transmissão.statefulOperator.asyncCheckpoint.enabled como false e tente novamente a consulta.
UNIÃO EM LOTE NÃO SUPORTADA
o modo tempo real não suporta a união com lotes fonte de dados. Certifique-se de que a consulta de transmissão de união contenha apenas fontes de dados de transmissão.
CONFIGURAÇÃO_DE_CLUSTER_NÃO SUPORTADA
As seguintes configurações não são suportadas:
<invalidReasons>. Defina spark.databricks.transmissão.realTimeMode.enabled como true na configuração do cluster e remova <confNames> da configuração do cluster, se houver, e reinicie o cluster Spark.
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
DropDuplicatesWithinWatermark não é suportado. Para contornar essa limitação, você pode usar DropDuplicates em vez disso. Lembre-se de passar sua coluna de horário do evento para DropDuplicates para que esse estado possa ser eliminado.
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
Ainda não há suporte para temporizadores baseados em tempo de evento no operador transformWithState. Se você quiser usar o operador transformWithState, especifique o tempo de processamento em seu operador transformWithState e tente sua consulta novamente.
FONTES_DE_ORIGENS IDÊNTICAS EM _UNION_NOT_SUPPORTED
O modo tempo real não suporta a união de duas ou mais fontes de dados de transmissão idênticas em uma única consulta. Isso inclui cenários como a referência à mesma fonte DataFrame mais de uma vez ou o uso de duas fontes de dados com configurações idênticas para algumas fontes. Para o Kafka, evite reutilizar o mesmo DataFrame e crie outros diferentes. No caso do Kinesis, além de duplicar os quadros de dados, certifique-se de que cada DataFrame defina um valor exclusivo para a opção "consumerName". Fontes fornecidas na consulta: <sources>
INPUT_STREAM_NÃO SUPORTADO
A transmissão de entrada <className> não é suportada. Consulte o tempo real Mode Guia do usuário para obter uma lista das transmissões de entrada compatíveis.
OPERADOR_OR_SINK_NOT_IN_ALLOWLIST
O <errorType>(s): <message> não está na lista de permissão do <errorType> para o tempo real Mode. Para ignorar essa verificação, defina spark.databricks.transmissão.realTimeMode.allowlistCheck como false. Ao alterar isso, o senhor concorda em executar a consulta por sua própria conta e risco.
MODO DE SAÍDA NÃO SUPORTADO
O modo de saída <outputMode> não é suportado. Para contornar essa limitação, defina o modo de saída como Atualizar. No futuro, o <outputMode> poderá ser suportado.
SESSÃO_WINDOWS_NÃO SUPORTADA
As janelas de sessão ainda não são suportadas. As únicas agregações de janelas permitidas são janelas caídas e deslizantes.
SHUFFLE_MORE_THAN_ONCE
Há operadores <shuffleCount> org.apache.spark.sql.execution.exchange.ShuffleExchangeExec no plano físico. É provável que o senhor esteja chamando as operações que exigem shuffle mais de uma vez, e o RTM não oferece suporte a isso. Para executar a consulta, defina spark.databricks.transmissão.realTimeMode.allowlistCheck como false. Ao alterar isso, o senhor concorda em executar a consulta por sua própria conta e risco.
SINK_NO_SUPPORTED
No momento, o coletor <className> não é suportado. Consulte o tempo real Mode Guia do usuário para obter uma lista de sinks compatíveis.
CONFIGURAÇÃO_SQL_NÃO_SUPORTADA
As seguintes configurações não são suportadas:
<invalidReasons>. Defina spark.databricks.transmissão.realTimeMode.enabled como true na configuração do cluster e remova <confNames> da configuração SparkSession, se houver, e reinicie o cluster Spark.
OPERADORES_ESTATAIS_BEFORE_UNION_NOT_SUPPORTED
As consultas de transmissão no modo tempo real não podem incluir operadores com estado (por exemplo, o agregado, desduplicado, transformWithState) antes de uma união. Reestruture sua consulta para aplicar a união antes de qualquer operação stateful.
transmissão
Ainda não há suporte para nenhum tipo de união de transmissão.