Uso avançado do Databricks Connect para Python
Observação
Este artigo aborda o Databricks Connect para o Databricks Runtime 14.0 e acima.
Este artigo descreve tópicos que vão além da configuração básica do Databricks Connect.
Configurar as cadeias de conexão do Spark Connect
Além de se conectar ao site cluster usando as opções descritas em Configurar uma conexão com um site cluster, uma opção mais avançada é conectar-se usando as cadeias de conexão Spark Connect. O senhor pode passar as cadeias de caracteres na função remote
ou definir a SPARK_REMOTE
variável de ambiente.
Observação
O senhor só pode usar uma autenticaçãoDatabricks pessoal access token para se conectar usando as cadeias de conexão Spark Connect.
Para definir as cadeias de conexão usando a função remote
:
# Set the Spark Connect connection string in DatabricksSession.builder.remote.
from databricks.connect import DatabricksSession
workspace_instance_name = retrieve_workspace_instance_name()
token = retrieve_token()
cluster_id = retrieve_cluster_id()
spark = DatabricksSession.builder.remote(
f"sc://{workspace_instance_name}:443/;token={token};x-databricks-cluster-id={cluster_id}"
).getOrCreate()
Como alternativa, defina a variável de ambiente SPARK_REMOTE
:
sc://<workspace-instance-name>:443/;token=<access-token-value>;x-databricks-cluster-id=<cluster-id>
Em seguida, inicialize a classe DatabricksSession
da seguinte forma:
from databricks.connect import DatabricksSession
spark = DatabricksSession.builder.getOrCreate()
PySpark casca
O Databricks Connect para Python vem com um binário pyspark
que é um PySpark REPL (um shell Spark) configurado para usar o Databricks Connect.
Ao começar sem parâmetros adicionais, o shell obtém as credenciais do default do ambiente (por exemplo, a DATABRICKS_
variável de ambiente ou o DEFAULT
perfil de configuração) para se conectar ao Databricks cluster. Para obter informações sobre como configurar uma conexão, consulte a configuração de computação para Databricks Connect.
Para começar o Spark shell e conectá-lo ao seu clusters em execução, execute um dos seguintes comandos a partir do seu ambiente virtual Python ativado:
pyspark
O shell do Spark é exibido, por exemplo:
Python 3.10 ... [Clang ...] on darwin Type "help", "copyright", "credits" or "license" for more information. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 13.x.dev0 /_/ Using Python version 3.10 ... Client connected to the Spark Connect server at sc://...:.../;token=...;x-databricks-cluster-id=... SparkSession available as 'spark'. >>>
Após a inicialização do shell, o objeto
spark
estará disponível para execução Apache Spark comando no Databricks cluster. executar um simples PySpark comando, comospark.range(1,10).show()
. Se não houver erros, você se conectou com sucesso.Consulte Análise interativa com o Spark shell para obter informações sobre como usar o shell Spark shell com para Python executar comando em compute seu.
Use a variável integrada
spark
para representar oSparkSession
em seu site clusters em execução, por exemplo:>>> df = spark.read.table("samples.nyctaxi.trips") >>> df.show(5) +--------------------+---------------------+-------------+-----------+----------+-----------+ |tpep_pickup_datetime|tpep_dropoff_datetime|trip_distance|fare_amount|pickup_zip|dropoff_zip| +--------------------+---------------------+-------------+-----------+----------+-----------+ | 2016-02-14 16:52:13| 2016-02-14 17:16:04| 4.94| 19.0| 10282| 10171| | 2016-02-04 18:44:19| 2016-02-04 18:46:00| 0.28| 3.5| 10110| 10110| | 2016-02-17 17:13:57| 2016-02-17 17:17:55| 0.7| 5.0| 10103| 10023| | 2016-02-18 10:36:07| 2016-02-18 10:41:45| 0.8| 6.0| 10022| 10017| | 2016-02-22 14:14:41| 2016-02-22 14:31:52| 4.51| 17.0| 10110| 10282| +--------------------+---------------------+-------------+-----------+----------+-----------+ only showing top 5 rows
Todo o código Python é executado localmente, enquanto todo o código PySpark que envolve DataFrame operações é executado no cluster no Databricks workspace remoto e as respostas de execução são enviadas de volta ao chamador local.
Para interromper o Spark shell, pressione
Ctrl + d
ouCtrl + z
, ou execute o comandoquit()
ouexit()
.
Cabeçalhos HTTP adicionais
O Databricks Connect se comunica com o Databricks clusters via gRPC sobre HTTP/2.
Alguns usuários avançados podem optar por instalar um serviço de proxy entre o cliente e os clusters do Databricks, para ter melhor controle sobre as solicitações provenientes de seus clientes.
Os proxies, em alguns casos, podem exigir cabeçalhos personalizados nas solicitações HTTP.
O método headers()
pode ser usado para adicionar cabeçalhos personalizados às suas solicitações HTTP.
spark = DatabricksSession.builder.header('x-custom-header', 'value').getOrCreate()
Certificados
Se o seu cluster depender de um certificado SSL/TLS personalizado para resolver um Databricks workspace nome de domínio totalmente qualificado (FQDN), o senhor deverá definir a variável de ambiente GRPC_DEFAULT_SSL_ROOTS_FILE_PATH
no computador de desenvolvimento local. Essa variável de ambiente deve ser definida como o caminho completo para o certificado instalado no cluster.
Por exemplo, o senhor define essa variável de ambiente no código Python da seguinte forma:
import os
os.environ["GRPC_DEFAULT_SSL_ROOTS_FILE_PATH"] = "/etc/ssl/certs/ca-bundle.crt"
Para outras formas de definir a variável de ambiente, consulte a documentação do seu sistema operacional.
Registros de log e de depuração
O Databricks Connect for Python produz logs usando o logging padrão do Python.
Os registros são emitidos para a transmissão de erro padrão(stderr) e, pelo site default, são emitidos apenas logs no nível WARN ou superior.
A definição de uma variável de ambiente SPARK_CONNECT_LOG_LEVEL=debug
modificará esse site default e imprimirá todas as mensagens de logs no nível DEBUG
e superior.