query assíncronas e interrupções com Databricks Connect for Python

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 14.0 e acima.

Este artigo descreve como lidar com query assíncronas e interrupções com Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?. Para a versão Scala destes artigos, consulte query assíncrona e interrupções com Databricks Connect for Scala.

Observação

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para o Databricks Connect for Databricks Runtime 14.0 e acima, a execução query é mais resiliente à rede e outras interrupções ao executar query de longa duração. Quando o programa cliente recebe uma interrupção ou o processo é pausado (até 5 minutos) pelo sistema operacional, como quando a tampa do laptop é fechada, o cliente se reconecta à query em execução. Isso também permite a execução query por períodos mais longos (anteriormente apenas 1 hora).

O Databricks Connect agora também vem com a capacidade de interromper a execução query, se desejado, como para economia de custos.

O programa Python a seguir interrompe uma query de longa execução usando a API interruptTag().

from databricks.connect import DatabricksSession
from time import sleep
import threading

session = DatabricksSession.builder.getOrCreate()

def thread_fn():
  sleep(5)
  session.interruptTag("interrupt-me")

# All subsequent DataFrame queries that use session will have this tag.
session.addTag("interrupt-me")

t = threading.Thread(target=thread_fn).start()

df = <a long running DataFrame query>
df.show()

t.join()