configuração clusters para Databricks Connect

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.0 e acima.

Este artigo lista os requisitos de configuração e as configurações dos clusters do Databricks antes que o Databricks Connect possa se conectar a eles. Esta informação aplica-se à versão Python e Scala do Databricks Connect, salvo indicação em contrário.

O Databricks Connect permite conectar IDEs populares, como Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, servidores Notebook e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?.

Requisitos

  • Você tem um workspace do Databricks e sua account correspondente habilitada para o Unity Catalog. Consulte Configurar e gerenciar o Unity Catalog e Habilitar um workspace para o Unity Catalog.

  • Um cluster do Databricks com o Databricks Runtime 13.3 LTS ou superior instalado.

  • Os clusters devem usar um modo de acesso de clusters Atribuído ou Compartilhado. Consulte Modos de acesso.

  • A versão do Databricks Connect usada deve ser igual ou inferior à versão do Databricks Runtime em execução nos clusters.

Validação programática

No Databricks Connect 14.3 e superiores, DatabricksSession.builder introduz validateSession, que executa uma série de validações para garantir que os requisitos anteriores sejam atendidos.

No Databricks Connect for Python, o binário databricks-connect tem um subcomando test que executa o mesmo conjunto de validações.

Esse comando deve ser executado no terminal com um ambiente Python ativo que inclua o Databricks Connect e com o conjunto de credenciais default configurado. Para configurar essas credenciais, consulte Configurar propriedades de conexão.

databricks-connect test

O comando falhará com um código de saída diferente de zero e uma mensagem apropriada quando qualquer um dos requisitos não for atendido.

Desativando o Databricks Connect

O serviço Databricks Connect (e o Spark Connect subjacente) pode ser desabilitado em qualquer clusters.

Para desativar o serviço Databricks Connect, defina a seguinte configuração do Spark nos clusters.

spark.databricks.service.server.enabled false

Próximas etapas