配列ソート

コレクション関数: 入力配列を昇順に並べ替えます。入力配列の要素は順序付け可能である必要があります。返される配列の末尾に null 要素が配置されます。Spark Connect をサポートします。

対応する Databricks SQL 関数については、 array_sort関数を参照してください。

構文

Python

from pyspark.databricks.sql import functions as dbf

dbf.array_sort(col=<col>, comparator=<comparator>)

パラメーター

パラメーター	Type	説明
col	pyspark.sql.Column または str	列または式の名前。
comparator	callableオプション	最初の要素が 2 番目の要素より小さい、等しい、または大きい場合に、負の整数、0、または正の整数を返すバイナリ関数。比較関数が null を返す場合、関数は失敗し、エラーが発生します。

戻り値

pyspark.sql.Column: ソートされた配列。

例

例1 : 配列をデフォルトの昇順でソートする

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([([2, 1, None, 3],),([1],),([],)], ['data'])
df.select(dbf.array_sort(df.data).alias('r')).collect()

Output

[Row(r=[1, 2, 3, None]), Row(r=[1]), Row(r=[])]

例2 : カスタムコンパレータを使用して配列をソートする

Python

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(["foo", "foobar", None, "bar"],),(["foo"],),([],)], ['data'])
df.select(dbf.array_sort(
    "data",
    lambda x, y: dbf.when(x.isNull() | y.isNull(), dbf.lit(0)).otherwise(dbf.length(y) - dbf.length(x))
).alias("r")).collect()

Output

[Row(r=['foobar', 'foo', None, 'bar']), Row(r=['foo']), Row(r=[])]