transformar_valores

Aplica uma função a cada par key-valor em um mapa e retorna um mapa com os resultados dessas aplicações como os novos valores para os pares. Compatível com Spark Connect.

Para a função Databricks SQL correspondente, consulte a funçãotransform_values.

Sintaxe

Python

from pyspark.databricks.sql import functions as dbf

dbf.transform_values(col=<col>, f=<f>)

Parâmetros

Parâmetro	Tipo	Descrição
col	pyspark.sql.Column ou str	Nome da coluna ou expressão.
f	function	Uma função binária.

Devoluções

pyspark.sql.Column: um novo mapa de entradas onde novos valores foram calculados aplicando a função fornecida a cada argumento de valor- key .

Exemplos

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"IT": 10.0, "SALES": 2.0, "OPS": 24.0})], ("id", "data"))
row = df.select(dbf.transform_values(
    "data", lambda k, v: dbf.when(k.isin("IT", "OPS"), v + 10.0).otherwise(v)
).alias("new_data")).head()
sorted(row["new_data"].items())

Output

[('IT', 20.0), ('OPS', 34.0), ('SALES', 2.0)]