変身

入力配列の各要素に変換を適用した後、要素の配列を返します。Spark Connect をサポートします。

対応する Databricks SQL 関数については、 transform関数を参照してください。

構文

Python

from pyspark.databricks.sql import functions as dbf

dbf.transform(col=<col>, f=<f>)

パラメーター

パラメーター	Type	説明
col	pyspark.sql.Column または str	列または式の名前。
f	function	入力配列の各要素に適用される関数。次のいずれかの形式を取ることができます: 単項(x: Column) -> Columnまたは二項(x: Column, i: Column) -> Columnここで、2 番目の引数は要素の 0 から始まるインデックスです。

戻り値

pyspark.sql.Column: 変換された要素の新しい配列。

例

例1 : 単純な関数で配列要素を変換する

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
df.select(dbf.transform("values", lambda x: x * 2).alias("doubled")).show()

Output

+------------+
|     doubled|
+------------+
|[2, 4, 6, 8]|
+------------+

例2 : インデックスを使用して配列要素を変換する

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4])], ("key", "values"))
def alternate(x, i):
    return dbf.when(i % 2 == 0, x).otherwise(-x)
df.select(dbf.transform("values", alternate).alias("alternated")).show()

Output

+--------------+
|    alternated|
+--------------+
|[1, -2, 3, -4]|
+--------------+