Funções definidas pelo usuário no Databricks Connect for Python

Observação

Este artigo aborda o Databricks Connect para Databricks Runtime 13.1 e acima.

Este artigo descreve como executar UDFs com Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores Notebook e aplicativos personalizados a clusters Databricks. Para a versão Scala destes artigos, consulte Funções definidas pelo utilizador em Databricks Connect for Scala.

Observação

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

O Databricks Connect for Python oferece suporte a funções definidas pelo usuário (UDF). Quando uma operação de Dataframe que inclui UDFs é executada, os UDFs envolvidos são serializados pelo Databricks Connect e enviados ao servidor como parte da solicitação.

Observação

Como a função definida pelo usuário é serializada e desserializada, a versão do Python usada pelo cliente deve corresponder à versão do Python nos clusters do Databricks. Para verificar a versão Python dos clusters , consulte a seção “Ambiente do Sistema” para a versão do Databricks Runtime dos clustersem Databricks Runtime notas sobre a versão versões e compatibilidade.

O programa Python a seguir configura uma UDF simples que eleva ao quadrado os valores em uma coluna.

from pyspark.sql.functions import col, udf
from pyspark.sql.types import IntegerType
from databricks.connect import DatabricksSession

@udf(returnType=IntegerType())
def double(x):
    return x * x


spark = DatabricksSession.builder.getOrCreate()

df = spark.range(1, 2)
df = df.withColumn("doubled", double(col("id")))

df.show()