configuração clusters para Databricks Connect
Observação
Este artigo abrange Databricks Connect para Databricks Runtime 13.3 LTS e acima.
Este artigo lista as definições de configuração para Databricks compute necessárias para que Databricks Connect se conecte a elas. Estas informações se aplicam às versões Python e Scala do site Databricks Connect, salvo indicação em contrário.
O Databricks Connect permite conectar IDEs populares, como Visual Studio Code, PyCharm, RStudio Desktop, IntelliJ IDEA, servidores Notebook e outros aplicativos personalizados a clusters Databricks. Consulte O que é o Databricks Connect?.
Requisitos
A Databricks account e workspace que têm Unity Catalog ativado. Consulte Configurar e gerenciar Unity Catalog e Habilitar um workspace para Unity Catalog.
Um cluster do Databricks com o Databricks Runtime 13.3 LTS ou superior instalado.
A versão do Databricks Runtime do seu cluster deve ser igual ou superior à versão do pacote Databricks Connect. A Databricks recomenda que o senhor use o pacote mais recente do Databricks Connect que corresponda à versão do Databricks Runtime. Se quiser usar recursos disponíveis em versões posteriores do Databricks Runtime, o senhor deverá atualizar o pacote Databricks Connect. Consulte o site Databricks Connect notas sobre a versão para obter uma lista das versões disponíveis em Databricks Connect. Para obter notas sobre a versão Databricks Runtime, consulte Databricks Runtime notas sobre a versão versões e compatibilidade.
Os clusters devem usar um modo de acesso de clusters Atribuído ou Compartilhado. Consulte Modos de acesso.
Validação programática
No Databricks Connect 14.3 e superiores, DatabricksSession.builder
introduz validateSession
, que executa uma série de validações para garantir que os requisitos anteriores sejam atendidos.
No Databricks Connect for Python, o binário databricks-connect
tem um subcomando test
que executa o mesmo conjunto de validações.
Esse comando deve ser executado no terminal com um ambiente Python ativo que inclua o Databricks Connect e com o conjunto de credenciais default configurado. Para configurar essas credenciais, consulte Configurar propriedades de conexão.
databricks-connect test
O comando falhará com um código de saída diferente de zero e uma mensagem apropriada quando qualquer um dos requisitos não for atendido.
Desativando o Databricks Connect
O serviço Databricks Connect (e o Spark Connect subjacente) pode ser desabilitado em qualquer clusters.
Para desativar o serviço Databricks Connect, defina a seguinte configuração do Spark nos clusters.
spark.databricks.service.server.enabled false
Próximas etapas
Para Python, consulte Instalar o Databricks Connect para Python.
Para R, consulte Databricks Connect para R.
Para Scala, consulte Instalar o Databricks Connect para Scala.