Referência do modo em tempo real
Esta página descreve o suporte para query de modo em tempo real que usam as APIs de Structured Streaming diretamente. Para pipelines gerenciados, consulte o modo em tempo real em LakeFlow Pipelines, que tem requisitos de Runtime, fonte, destino e operador separados.
Idiomas suportados
O modo em tempo real é compatível com Scala, Java e Python.
tipos de computação
O modo tempo real suporta os seguintes tipos compute :
Tipo de Compute | Apoiado |
|---|---|
Dedicado (anteriormente: usuário único) | ✓ |
Padrão (anteriormente: compartilhado) | ✓ (somente Python) |
LakeFlow Pipelines no clássico | Compatível por meio da configuração do pipeline |
Lakeflow pipelines em Serverless | Compatível por meio da configuração do pipeline |
Notebooks e jobs serverless | Não compatível com query em tempo real de Structured Streaming |
Para cargas de trabalho sensíveis à latência com UDFs (Funções Definidas pelo Usuário), a Databricks recomenda o uso do modo de acesso dedicado. Consulte as funções da tabela.
Modos de execução
O modo em tempo real suporta apenas o modo de atualização:
Modo de execução | Apoiado |
|---|---|
Modo de atualização | ✓ |
Modo de anexação | Não suportado |
Modo completo | Não suportado |
Fontes e sumidouros
O modo em tempo real suporta as seguintes fontes e destinos:
Fonte ou destino | Como fonte | Como pia |
|---|---|---|
Apache Kafka | ✓ | ✓ |
Hubs de eventos (usando o conector Kafka) | ✓ | ✓ |
Kinesis | ✓ (Modo EFO recomendado; polling no Databricks Runtime 19 e acima) | Não suportado |
AWS MSK | ✓ | Não suportado |
Delta | Não suportado | Não suportado |
Google Pub/Sub | Não suportado | Não suportado |
Apache Pulsar | Não suportado | Não suportado |
Sumidouros arbitrários (usando | Não aplicável | ✓ |
Operadores
O modo tempo real suporta a maioria dos operadores de transmissão estruturada:
operações sem estado
Operador | Apoiado |
|---|---|
Seleção | ✓ |
Projeção | ✓ |
| Não suportado (ver limitação) |
União |
UDFs
Operador | Apoiado |
|---|---|
UDF Scala | ✓ (UDFs escalares). Funções agrupadas, como |
UDF em Python |
Agregação
Função | Apoiado |
|---|---|
soma | ✓ |
contar | ✓ |
Máx | ✓ |
Mín | ✓ |
média | ✓ |
✓ |
Janelas
Operador | Apoiado |
|---|---|
cambalhotas | ✓ |
Deslizando | ✓ |
Sessão | Não suportado |
Desduplicação
Operador | Apoiado |
|---|---|
remover duplicados | ✓ |
removerDuplicadosDentroDaMarcaD'água | ✓ |
receita para joinà mesa
Operador | Apoiado |
|---|---|
Junção interna | ✓ |
Outer Join | ✓ |
Broadcast table join (tamanho da tabela de 10 MB ou menos) | ✓ |
Table join (sem transmissão) | Não suportado |
Transmissão para transmissão join
Operador | Apoiado |
|---|---|
Junção interna | ✓ (Databricks Runtime 18 LTS e acima, com algumas configurações) |
Outer join | Não suportado |
Para usar o join entre transmissões em modo de tempo real, é preciso definir configurações adicionais do Spark. Para obter mais informação sobre as configurações e sobre os requisitos para execução múltiplas transmissões, consulte transmissão para transmissão joins.
Operador com estado arbitrário
Operador | Apoiado |
|---|---|
(plano)MapGroupsWithState | Não suportado |
transformarComEstado |
Coletores definidos pelo usuário
Afundar | Apoiado |
|---|---|
para cada | ✓ |
paraCadaLote | Não suportado |
Considerações especiais
Alguns operadores e recursos têm considerações ou diferenças específicas quando usados no modo tempo real.
transformWithState em modo de tempo real
Para criar aplicativos personalizados com estado, o Databricks oferece suporte a transformWithState, uma API no Apache Spark Structured Streaming. Consulte Criar um aplicativo personalizado com estado com transformWithState para obter mais informações sobre a API e trechos de código.
transformWithState oferece suporte a processadores síncronos e assíncronos no modo em tempo real. Para requisitos de processamento assíncrono, consulte Processamento assíncrono com transformWithState.
No entanto, a API comporta-se de forma diferente no modo de tempo real do que em consultas de micro-lotes.
-
Para processadores síncronos, o modo de tempo real chama o método
handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues)para cada linha.- O iterador
inputRowsretorna um único valor. O modo de micro-lotes o chama uma vez para cada key, e o iteradorinputRowsretorna todos os valores para uma key no micro-lote. - account para essa diferença ao escrever seu código.
- O iterador
-
Para processadores assíncronos, o modo em tempo real agrupa linhas que chegam juntas e chama
handleInputRowsuma vez para cada key no grupo, com todas as linhas dessa key. Como o modo em tempo real executa lotes de longa execução, a mesma key pode receber muitas chamadas dentro de um lote. -
Timers de tempo de evento têm suporte no Databricks Runtime 19 e acima com propagação de watermark em tempo real, que está ativada por default para novas queries nos lançamentos recentes do Databricks Runtime 19. Um timer de tempo de evento é disparado quando o watermark ao vivo passa o timestamp do timer. Sem a propagação de watermark em tempo real, uma query que usa timers de tempo de evento falha com o erro EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED.
-
transformWithStateInPandasNão é compatível com o modo em tempo real. Use a API baseada em linhastransformWithStateem vez disso, que usa objetosRowem vez de DataFrames Pandas . -
No Databricks Runtime 19 e acima, os temporizadores de tempo de processamento disparam perto da hora agendada, mesmo quando nenhum novo dado chega. No Databricks Runtime 18 LTS e abaixo, os temporizadores de tempo de processamento podem ser atrasados até que os dados cheguem:
- Se um temporizador estiver agendado para 10:00:00, mas nenhum dado chegar, o temporizador não será acionado imediatamente.
- Se os dados chegarem às 10:00:10, o temporizador será acionado com um atraso de 10 segundos.
- Caso nenhum dado chegue e o lote de longa duração esteja sendo encerrado, o temporizador é acionado antes do término do lote.
No Databricks Runtime 18.1 e versões anteriores, se você usar transformWithState e o modo de tempo real para Python com baixa taxa de transferência, menos de 5 registros por segundo, poderá observar um aumento na latência de até algumas centenas de milissegundos. Databricks recomenda a atualização para Databricks Runtime 18.2 ou superior para resolver o problema.
query com estado de várias etapas
No Databricks Runtime 19 e acima, uma query em modo de tempo real pode encadear operadores com estado, de modo que a saída de um operador com estado alimente outro. Por exemplo, você pode remover duplicatas de eventos com dropDuplicates e depois processá-los com transformWithState, ou passar a saída de uma transmissão para um join de transmissão para outro operador com estado.
As queries stateful de várias etapas dependem da propagação de marca d’água em tempo real, que está ativa por default para novas queries nos lançamentos recentes do Databricks Runtime 19. Cada operador stateful então passa sua marca d’água para o próximo operador conforme os dados chegam, para que os operadores downstream filtrem eventos tardios e limpem o estado continuamente. Sem a propagação de marca d’água em tempo real, os operadores downstream recebem atualizações de marca d’água apenas nos limites do lote.
UDFs em Python em modo de tempo real
O Databricks suporta a maioria das funções definidas pelo usuário (UDFs) do Python em modo de tempo real:
Apátrida
Tipo UDF | Apoiado |
|---|---|
UDF escalar Python (funções escalares definidas pelo usuário (UDFs) Python) | ✓ |
UDF escalar de seta | ✓ |
UDF escalar Pandas (funções definidas pelo usuárioPandas) | ✓ |
Função de seta ( | Não suportado (ver limitação) |
Função Pandas (Mapa) | Não suportado (ver limitação) |
Agrupamento com estado (UDAF)
Tipo UDF | Apoiado |
|---|---|
| ✓ |
| Não suportado. Use a API baseada em linhas |
| Não suportado |
Agrupamento sem estado (UDAF)
Tipo UDF | Apoiado |
|---|---|
| Não suportado |
| Não suportado |
| Não suportado |
Funções de tabela
Tipo UDF | Apoiado |
|---|---|
UDTF (Funções de tabela definidas pelo usuário em Python (UDTFs)) | Não suportado |
UC UDF | Não suportado |
Existem vários pontos a serem considerados ao usar UDFs em Python no modo de tempo real:
-
No Databricks Runtime 19 e acima, o modo de tempo real lotes as linhas de entrada por tempo para todos os UDFs que o modo de tempo real suporta. Cada lote coleta as linhas que chegam em um curto intervalo de tempo (10 milissegundos), ou até atingir o tamanho máximo do lote, e então as envia para o UDF. Isso equilibra a latência e o throughput, portanto, você não precisa definir o tamanho do lote Arrow (
spark.sql.execution.arrow.maxRecordsPerBatch) como 1. -
No Databricks Runtime 18 LTS e abaixo, as linhas são agrupadas em lotes apenas por quantidade:
- Para minimizar a latência, defina o tamanho do lote Arrow (
spark.sql.execution.arrow.maxRecordsPerBatch) como 1. Essa configuração otimiza a latência em detrimento do throughput. Aumente o tamanho do lote somente se um throughput mais alto for necessário para acomodar o volume de entrada, aceitando o potencial aumento na latência. - Pandas UDFs não têm um bom desempenho com um tamanho de lote do Arrow de 1. Se você usar UDFs do pandas, defina o tamanho do lote do Arrow para um valor maior (por exemplo, 100 ou maior). Isso implica maior latência. A Databricks recomenda o uso de um UDF do Arrow se possível.
- Para minimizar a latência, defina o tamanho do lote Arrow (
-
transformWithStateInPandasNão é compatível com o modo em tempo real. Use a API baseada em linhastransformWithStateem vez disso, que usa objetosRowem vez de DataFrames Pandas . ConsultetransformWithStateInPandasnão suportado e exemplos de modo em tempo real para um exemplo funcional em Python usando a API baseada em linhas. -
Para cargas de trabalho sensíveis à latência com UDFs (Funções Definidas pelo Usuário), a Databricks recomenda o uso do modo de acesso dedicado. No modo de acesso padrão, a sobrecarga do isolamento de segurança pode tornar o desempenho UDF mais lento.