高階関数

Databricks には、Apache Spark SQL で配列を操作するための専用のプリミティブが用意されています。これらにより、配列の操作がはるかに簡単かつ簡潔になり、通常必要な大量の定型コードがなくなります。 プリミティブは、高階関数と匿名 (ラムダ) 関数という 2 つの関数型プログラミング構造を中心に展開します。 これらが連携して、SQL で配列を操作する関数を定義できます。 高階関数は 配列を受け取り、配列の処理方法と計算結果を実装します。配列内の各項目の処理方法を ラムダ関数 に委任します。

高階関数入門ノートブック

ノートブックを新しいタブで開く

高階関数チュートリアル Python ノートブック

ノートブックを新しいタブで開く

Apache Spark の組み込み関数

Apache Spark には、高階関数を含む複合型 (配列型など) を操作するための組み込み関数があります。

次のノートブックは、Apache Spark の組み込み関数を示しています。

Apache Spark 組み込み関数ノートブック

ノートブックを新しいタブで開く