高階関数
Databricks には、Apache Spark SQL で配列を操作するための専用のプリミティブが用意されています。これにより、配列の操作がはるかに簡単かつ簡潔になり、通常必要とされる大量の定型コードが不要になります。 プリミティブは、高階関数と匿名 (ラムダ) 関数という 2 つの関数型プログラミング構造を中心に展開します。 これらが連携して、SQL で配列を操作する関数を定義できます。 高階関数は 配列を受け取り、配列の処理方法と計算結果がどうなるかを実装します。これは、配列内の各項目の処理方法を ラムダ関数 に委任します。
高次関数ノートブックの紹介
高階関数チュートリアル Python ノートブック
Apache Spark 組み込み関数
Apache Spark には、高階関数を含む複合型 (配列型など) を操作するための組み込み関数があります。
次のノートブックは、Apache Spark 組み込み関数を示しています。