Pular para o conteúdo principal

Referência do modo em tempo real

Esta página descreve o suporte para query de modo em tempo real que usam as APIs de Structured Streaming diretamente. Para pipelines gerenciados, consulte o modo em tempo real em LakeFlow Pipelines, que tem requisitos de Runtime, fonte, destino e operador separados.

Idiomas suportados​

O modo em tempo real é compatível com Scala, Java e Python.

tipos de computação​

O modo tempo real suporta os seguintes tipos compute :

Tipo de Compute

Apoiado

Dedicado (anteriormente: usuário único)

✓

Padrão (anteriormente: compartilhado)

✓ (somente Python)

LakeFlow Pipelines no clássico

Compatível por meio da configuração do pipeline

Lakeflow pipelines em Serverless

Compatível por meio da configuração do pipeline

Notebooks e jobs serverless

Não compatível com query em tempo real de Structured Streaming

Tipo de Compute

Apoiado

Dedicado (anteriormente: usuário único)

✓

Padrão (anteriormente: compartilhado)

✓ (somente Python)

LakeFlow Pipelines no clássico

Compatível por meio da configuração do pipeline

Lakeflow pipelines em Serverless

Compatível por meio da configuração do pipeline

Notebooks e jobs serverless

Não compatível com query em tempo real de Structured Streaming

Para cargas de trabalho sensíveis à latência com UDFs (Funções Definidas pelo Usuário), a Databricks recomenda o uso do modo de acesso dedicado. Consulte as funções da tabela.

Modos de execução​

O modo em tempo real suporta apenas o modo de atualização:

Modo de execução

Apoiado

Modo de atualização

✓

Modo de anexação

Não suportado

Modo completo

Não suportado

Modo de execução

Apoiado

Modo de atualização

✓

Modo de anexação

Não suportado

Modo completo

Não suportado

Fontes e sumidouros​

O modo em tempo real suporta as seguintes fontes e destinos:

Fonte ou destino

Como fonte

Como pia

Apache Kafka

✓

✓

Hubs de eventos (usando o conector Kafka)

✓

✓

Kinesis

✓ (Modo EFO recomendado; polling no Databricks Runtime 19 e acima)

Não suportado

AWS MSK

✓

Não suportado

Delta

Não suportado

Não suportado

Google Pub/Sub

Não suportado

Não suportado

Apache Pulsar

Não suportado

Não suportado

Sumidouros arbitrários (usando forEachWriter)

Não aplicável

✓

Fonte ou destino

Como fonte

Como pia

Apache Kafka

✓

✓

Hubs de eventos (usando o conector Kafka)

✓

✓

Kinesis

✓ (Modo EFO recomendado; polling no Databricks Runtime 19 e acima)

Não suportado

AWS MSK

✓

Não suportado

Delta

Não suportado

Não suportado

Google Pub/Sub

Não suportado

Não suportado

Apache Pulsar

Não suportado

Não suportado

Sumidouros arbitrários (usando forEachWriter)

Não aplicável

✓

Operadores​

O modo tempo real suporta a maioria dos operadores de transmissão estruturada:

operações sem estado​

Operador

Apoiado

Seleção

✓

Projeção

✓

mapPartitions

Não suportado (ver limitação)

União

✓ (com algumas limitações)

Operador

Apoiado

Seleção

✓

Projeção

✓

mapPartitions

Não suportado (ver limitação)

União

✓ (com algumas limitações)

UDFs​

Operador

Apoiado

UDF Scala

✓ (UDFs escalares). Funções agrupadas, como flatMapGroups e mapGroupsWithState, não são suportadas.

UDF em Python

✓ (com algumas limitações)

Operador

Apoiado

UDF Scala

✓ (UDFs escalares). Funções agrupadas, como flatMapGroups e mapGroupsWithState, não são suportadas.

UDF em Python

✓ (com algumas limitações)

Agregação​

Função

Apoiado

soma

✓

contar

✓

Máx

✓

Mín

✓

média

✓

Funções de agregação

✓

Função

Apoiado

soma

✓

contar

✓

Máx

✓

Mín

✓

média

✓

Funções de agregação

✓

Janelas​

Operador

Apoiado

cambalhotas

✓

Deslizando

✓

Sessão

Não suportado

Operador

Apoiado

cambalhotas

✓

Deslizando

✓

Sessão

Não suportado

Desduplicação​

Operador

Apoiado

remover duplicados

✓

removerDuplicadosDentroDaMarcaD'água

✓

Operador

Apoiado

remover duplicados

✓

removerDuplicadosDentroDaMarcaD'água

✓

receita para joinà mesa​

Operador

Apoiado

Junção interna

✓

Outer Join

✓

Broadcast table join (tamanho da tabela de 10 MB ou menos)

✓

Table join (sem transmissão)

Não suportado

Operador

Apoiado

Junção interna

✓

Outer Join

✓

Broadcast table join (tamanho da tabela de 10 MB ou menos)

✓

Table join (sem transmissão)

Não suportado

Transmissão para transmissão join​

Operador

Apoiado

Junção interna

✓ (Databricks Runtime 18 LTS e acima, com algumas configurações)

Outer join

Não suportado

Operador

Apoiado

Junção interna

✓ (Databricks Runtime 18 LTS e acima, com algumas configurações)

Outer join

Não suportado

nota

Para usar o join entre transmissões em modo de tempo real, é preciso definir configurações adicionais do Spark. Para obter mais informação sobre as configurações e sobre os requisitos para execução múltiplas transmissões, consulte transmissão para transmissão joins.

Operador com estado arbitrário​

Operador

Apoiado

(plano)MapGroupsWithState

Não suportado

transformarComEstado

✓ (com algumas diferenças)

Operador

Apoiado

(plano)MapGroupsWithState

Não suportado

transformarComEstado

✓ (com algumas diferenças)

Coletores definidos pelo usuário​

Afundar

Apoiado

para cada

✓

paraCadaLote

Não suportado

Afundar

Apoiado

para cada

✓

paraCadaLote

Não suportado

Considerações especiais​

Alguns operadores e recursos têm considerações ou diferenças específicas quando usados no modo tempo real.

transformWithState em modo de tempo real​

Para criar aplicativos personalizados com estado, o Databricks oferece suporte a transformWithState, uma API no Apache Spark Structured Streaming. Consulte Criar um aplicativo personalizado com estado com transformWithState para obter mais informações sobre a API e trechos de código.

transformWithState oferece suporte a processadores síncronos e assíncronos no modo em tempo real. Para requisitos de processamento assíncrono, consulte Processamento assíncrono com transformWithState.

No entanto, a API comporta-se de forma diferente no modo de tempo real do que em consultas de micro-lotes.

  • Para processadores síncronos, o modo de tempo real chama o método handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) para cada linha.

    • O iterador inputRows retorna um único valor. O modo de micro-lotes o chama uma vez para cada key, e o iterador inputRows retorna todos os valores para uma key no micro-lote.
    • account para essa diferença ao escrever seu código.
  • Para processadores assíncronos, o modo em tempo real agrupa linhas que chegam juntas e chama handleInputRows uma vez para cada key no grupo, com todas as linhas dessa key. Como o modo em tempo real executa lotes de longa execução, a mesma key pode receber muitas chamadas dentro de um lote.

  • Timers de tempo de evento têm suporte no Databricks Runtime 19 e acima com propagação de watermark em tempo real, que está ativada por default para novas queries nos lançamentos recentes do Databricks Runtime 19. Um timer de tempo de evento é disparado quando o watermark ao vivo passa o timestamp do timer. Sem a propagação de watermark em tempo real, uma query que usa timers de tempo de evento falha com o erro EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED.

  • transformWithStateInPandas Não é compatível com o modo em tempo real. Use a API baseada em linhas transformWithState em vez disso, que usa objetos Row em vez de DataFrames Pandas .

  • No Databricks Runtime 19 e acima, os temporizadores de tempo de processamento disparam perto da hora agendada, mesmo quando nenhum novo dado chega. No Databricks Runtime 18 LTS e abaixo, os temporizadores de tempo de processamento podem ser atrasados até que os dados cheguem:

    • Se um temporizador estiver agendado para 10:00:00, mas nenhum dado chegar, o temporizador não será acionado imediatamente.
    • Se os dados chegarem às 10:00:10, o temporizador será acionado com um atraso de 10 segundos.
    • Caso nenhum dado chegue e o lote de longa duração esteja sendo encerrado, o temporizador é acionado antes do término do lote.
nota

No Databricks Runtime 18.1 e versões anteriores, se você usar transformWithState e o modo de tempo real para Python com baixa taxa de transferência, menos de 5 registros por segundo, poderá observar um aumento na latência de até algumas centenas de milissegundos. Databricks recomenda a atualização para Databricks Runtime 18.2 ou superior para resolver o problema.

query com estado de várias etapas​

No Databricks Runtime 19 e acima, uma query em modo de tempo real pode encadear operadores com estado, de modo que a saída de um operador com estado alimente outro. Por exemplo, você pode remover duplicatas de eventos com dropDuplicates e depois processá-los com transformWithState, ou passar a saída de uma transmissão para um join de transmissão para outro operador com estado.

As queries stateful de várias etapas dependem da propagação de marca d’água em tempo real, que está ativa por default para novas queries nos lançamentos recentes do Databricks Runtime 19. Cada operador stateful então passa sua marca d’água para o próximo operador conforme os dados chegam, para que os operadores downstream filtrem eventos tardios e limpem o estado continuamente. Sem a propagação de marca d’água em tempo real, os operadores downstream recebem atualizações de marca d’água apenas nos limites do lote.

UDFs em Python em modo de tempo real​

O Databricks suporta a maioria das funções definidas pelo usuário (UDFs) do Python em modo de tempo real:

Apátrida​

Tipo UDF

Apoiado

UDF escalar Python (funções escalares definidas pelo usuário (UDFs) Python)

✓

UDF escalar de seta

✓

UDF escalar Pandas (funções definidas pelo usuárioPandas)

✓

Função de seta (mapInArrow)

Não suportado (ver limitação)

Função Pandas (Mapa)

Não suportado (ver limitação)

Tipo UDF

Apoiado

UDF escalar Python (funções escalares definidas pelo usuário (UDFs) Python)

✓

UDF escalar de seta

✓

UDF escalar Pandas (funções definidas pelo usuárioPandas)

✓

Função de seta (mapInArrow)

Não suportado (ver limitação)

Função Pandas (Mapa)

Não suportado (ver limitação)

Agrupamento com estado (UDAF)​

Tipo UDF

Apoiado

transformWithState (somente interface Row )

✓

transformWithStateInPandas

Não suportado. Use a API baseada em linhas transformWithState em vez disso, que usa objetos Row em vez de DataFrames Pandas . Veja transformWithStateInPandas não suportado para detalhes.

applyInPandasWithState

Não suportado

Tipo UDF

Apoiado

transformWithState (somente interface Row )

✓

transformWithStateInPandas

Não suportado. Use a API baseada em linhas transformWithState em vez disso, que usa objetos Row em vez de DataFrames Pandas . Veja transformWithStateInPandas não suportado para detalhes.

applyInPandasWithState

Não suportado

Agrupamento sem estado (UDAF)​

Tipo UDF

Apoiado

apply

Não suportado

applyInArrow

Não suportado

applyInPandas

Não suportado

Tipo UDF

Apoiado

apply

Não suportado

applyInArrow

Não suportado

applyInPandas

Não suportado

Funções de tabela​

Tipo UDF

Apoiado

UDTF (Funções de tabela definidas pelo usuário em Python (UDTFs))

Não suportado

UC UDF

Não suportado

Tipo UDF

Apoiado

UDTF (Funções de tabela definidas pelo usuário em Python (UDTFs))

Não suportado

UC UDF

Não suportado

Existem vários pontos a serem considerados ao usar UDFs em Python no modo de tempo real:

  • No Databricks Runtime 19 e acima, o modo de tempo real lotes as linhas de entrada por tempo para todos os UDFs que o modo de tempo real suporta. Cada lote coleta as linhas que chegam em um curto intervalo de tempo (10 milissegundos), ou até atingir o tamanho máximo do lote, e então as envia para o UDF. Isso equilibra a latência e o throughput, portanto, você não precisa definir o tamanho do lote Arrow (spark.sql.execution.arrow.maxRecordsPerBatch) como 1.

  • No Databricks Runtime 18 LTS e abaixo, as linhas são agrupadas em lotes apenas por quantidade:

    • Para minimizar a latência, defina o tamanho do lote Arrow (spark.sql.execution.arrow.maxRecordsPerBatch) como 1. Essa configuração otimiza a latência em detrimento do throughput. Aumente o tamanho do lote somente se um throughput mais alto for necessário para acomodar o volume de entrada, aceitando o potencial aumento na latência.
    • Pandas UDFs não têm um bom desempenho com um tamanho de lote do Arrow de 1. Se você usar UDFs do pandas, defina o tamanho do lote do Arrow para um valor maior (por exemplo, 100 ou maior). Isso implica maior latência. A Databricks recomenda o uso de um UDF do Arrow se possível.
  • transformWithStateInPandas Não é compatível com o modo em tempo real. Use a API baseada em linhas transformWithState em vez disso, que usa objetos Row em vez de DataFrames Pandas . Consulte transformWithStateInPandas não suportado e exemplos de modo em tempo real para um exemplo funcional em Python usando a API baseada em linhas.

  • Para cargas de trabalho sensíveis à latência com UDFs (Funções Definidas pelo Usuário), a Databricks recomenda o uso do modo de acesso dedicado. No modo de acesso padrão, a sobrecarga do isolamento de segurança pode tornar o desempenho UDF mais lento.