Limitações do modo em tempo real
Esta página descreve as limitações conhecidas do modo tempo real em transmissão estruturada.
Limitações da fonte
Para o Kinesis, o Databricks recomenda o modo Enhanced Fan-Out (EFO) para a menor latência. Além disso, reparticionamentos frequentes podem impactar negativamente a latência.
Limitações sindicais
O operador Union apresenta algumas limitações:
-
A auto-união não é suportada:
- No Kafka, não é possível usar o mesmo objeto de dataframe de origem e unir dataframes derivados dele. Como solução alternativa, utilize DataFrames diferentes que leiam da mesma fonte.
- No caso do Kinesis, não é possível unir quadros de dados derivados da mesma fonte Kinesis com a mesma configuração. Como solução alternativa, em vez de usar DataFrames diferentes, você pode atribuir uma opção
consumerNamediferente a cada DataFrame.
-
Operadores com estado (por exemplo,
aggregate,deduplicate,transformWithState) não podem ser definidos antes da União. -
A união com fontes de lotes não é suportada.
mapPartitions limitação
O modo de tempo real não suporta mapPartitions em Scala ou APIs Python semelhantes (mapInPandas, mapInArrow). Eles pegam um iterador de toda a partição de entrada e produzem um iterador de toda a saída, o que, se não for gerado prontamente, pode bloquear a saída e aumentar a latência. Semânticas deles também não suportam bem a propagação de marca-d'água.
Use UDFs escalares combinadas com Transform tipos de dados complexos ou filter em vez disso para obter funcionalidade semelhante.
transformWithStateInPandas não suportado
O operador transformWithStateInPandas não é suportado no modo em tempo real. Se você precisar de processamento com estado personalizado em Python com modo em tempo real, use a API baseada em linha transformWithState em vez disso. A API baseada em linhas fornece as mesmas capacidades de processamento com estado usando objetos Row em vez de DataFrames Pandas .
Consulte transformWithState no modo tempo real para obter detalhes sobre o comportamento transformWithState no modo tempo real e exemplos do modo tempo real para um exemplo funcional Python usando a API baseada em linhas.