Use o JupyterLab com o Databricks Connect para Python

nota

Este artigo abrange o Databricks Connect para Databricks Runtime 13.3 LTS e acima.

Este artigo aborda como usar o Databricks Connect para Python com o JupyterLab. Databricks Connect permite que o senhor conecte servidores de notebook populares, IDEs e outros aplicativos personalizados ao clustering Databricks. Consulte O que é o Databricks Connect?

nota

Antes de começar a usar o Databricks Connect, o senhor deve configurar o cliente Databricks Connect.

Para usar o Databricks Connect com o JupyterLab e o Python, siga estas instruções.

1. Para instalar o JupyterLab, com o ambiente virtual Python ativado, execute o seguinte comando no terminal ou no Prompt de comando:

   Bash

   pip3 install jupyterlab

2. Para iniciar o JupyterLab em seu navegador da Web, execute o seguinte comando a partir do ambiente virtual Python ativado:

   Bash

   jupyter lab

   Se o JupyterLab não aparecer em seu navegador da Web, copie o URL que começa com localhost ou 127.0.0.1 de seu ambiente virtual e insira-o na barra de endereços do navegador da Web.

3. Crie um novo Notebook: no JupyterLab, clique em File > New > Notebook no menu principal, selecione Python 3 (ipykernel) e clique em Select .

4. Na primeira célula do Notebook, digite o código de exemplo ou seu próprio código. Se você usar seu próprio código, deverá, no mínimo, inicializar DatabricksSession conforme mostrado no código de exemplo.

5. Para executar o Notebook, clique em executar > executar All Cells . Todos os códigos são executados localmente, enquanto todos os códigos que envolvem DataFrame operações são executados no clustering no Databricks workspace remoto e as respostas de execução são enviadas de volta ao chamador local.

6. Para depurar o Notebook, clique no ícone de bug (Enable Debugger ) ao lado de Python 3 (ipykernel) na barra de ferramentas do Notebook. Defina um ou mais pontos de interrupção e, em seguida, clique em executar > executar All Cells . Todo o código é depurado localmente, enquanto todo o código Spark continua a ser executado no clustering no Databricks workspace remoto. O código principal do mecanismo do Spark não pode ser depurado diretamente do cliente.

7. Para desligar o JupyterLab, clique em Arquivo > Desligar. Se o processo do JupyterLab ainda estiver em execução no terminal ou no prompt de comando, interrompa esse processo pressionando Ctrl + c e, em seguida, digitando y para confirmar.

Para obter instruções de depuração mais específicas, consulte Depurador.