configuração clusters para Databricks Connect
Observação
Este artigo aborda o Databricks Connect para Databricks Runtime 13.0 e acima.
Este artigo lista os requisitos de configuração e as configurações dos clusters do Databricks antes que o Databricks Connect possa se conectar a eles. Esta informação aplica-se à versão Python e Scala do Databricks Connect, salvo indicação em contrário.
O Databricks Connect permite conectar IDEs populares, como Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, servidores Notebook e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?.
Requisitos
Você tem um workspace do Databricks e sua account correspondente habilitada para o Unity Catalog. Consulte Configurar e gerenciar o Unity Catalog e Habilitar um workspace para o Unity Catalog.
Um cluster do Databricks com o Databricks Runtime 13.3 LTS ou superior instalado.
Os clusters devem usar um modo de acesso de clusters Atribuído ou Compartilhado. Consulte Modos de acesso.
A versão do Databricks Connect usada deve ser igual ou inferior à versão do Databricks Runtime em execução nos clusters.
Validação programática
No Databricks Connect 14.3 e superiores, DatabricksSession.builder
introduz validateSession
, que executa uma série de validações para garantir que os requisitos anteriores sejam atendidos.
No Databricks Connect for Python, o binário databricks-connect
tem um subcomando test
que executa o mesmo conjunto de validações.
Esse comando deve ser executado no terminal com um ambiente Python ativo que inclua o Databricks Connect e com o conjunto de credenciais default configurado. Para configurar essas credenciais, consulte Configurar propriedades de conexão.
databricks-connect test
O comando falhará com um código de saída diferente de zero e uma mensagem apropriada quando qualquer um dos requisitos não for atendido.
Desativando o Databricks Connect
O serviço Databricks Connect (e o Spark Connect subjacente) pode ser desabilitado em qualquer clusters.
Para desativar o serviço Databricks Connect, defina a seguinte configuração do Spark nos clusters.
spark.databricks.service.server.enabled false
Próximas etapas
Para Python, consulte Instalar o Databricks Connect para Python.
Para R, consulte Databricks Connect para R.
Para Scala, consulte Instalar o Databricks Connect para Scala.