高階関数

Databricks は、Apache Spark SQL で配列を操作するための専用のプリミティブを提供します。これにより、配列の操作がはるかに簡単かつ簡潔になり、通常必要な大量の定型コードが不要になります。 プリミティブは、高階関数と無名 (ラムダ) 関数という 2 つの関数型プログラミング構造を中心に展開します。 これらを連携させることで、SQL で配列を操作する関数を定義できるようになります。 高階関数は配列を受け取り、配列の処理方法と計算結果を実装します。配列内の各項目の処理方法を ラムダ関数 に委任します。

高階関数入門ノートブック

ノートブックを新しいタブで開く

高階関数チュートリアル Python ノートブック

ノートブックを新しいタブで開く

Apache Spark 組み込み関数

Apache Spark には、高階関数を含む複雑な型 (配列型など) を操作するための組み込み関数があります。

次のノートブックは、Apache Spark の組み込み関数を示しています。

Apache Spark 組み込み関数ノートブック

ノートブックを新しいタブで開く