高階関数
Databricks には、Apache Spark SQL で配列を操作するための専用のプリミティブが用意されています。これらのプリミティブにより、配列の操作がより簡単かつ簡潔になり、大量の定型コードが不要になります。プリミティブは、高階関数と匿名 (ラムダ) 関数という 2 つの関数型プログラミング構造を中心に展開します。これらが連携して、SQL で配列を操作する関数を定義できます。 高階関数は 、配列を受け取り、その配列の処理方法を実装し、計算結果を決定します。これは、配列内の各項目の処理方法を ラムダ関数 に委任します。
高次関数ノートブックの紹介
高階関数チュートリアル Python ノートブック
Apache Spark 組み込み関数
Apache Spark には、配列型などの複合型を操作するための組み込み関数 (高階関数を含む) があります。
次のノートブックは、Apache Spark 組み込み関数を示しています。