Azure Databricks には、Apache Spark SQL で配列を操作するための専用のプリミティブが用意されています。 これらのプリミティブにより、配列の操作が簡単かつ簡潔になり、大量の定型コードは必要ありません。 プリミティブは、上位関数と匿名 (ラムダ) 関数の 2 つの関数型プログラミング コンストラクトを中心に展開されます。 これらを組み合わせて使用すると、SQL 関数内の配列を操作する関数を定義できます。
イントロダクション
上位関数は配列を受け取り、その配列の処理方法を実装し、計算結果を指示します。 配列内の各項目を処理する方法をラムダ関数に委任します。
次のノートブックでは、これらの関数について説明します。
高階関数のチュートリアル Python ノートブック
高階関数ノートブックの概要
Apache Spark 組み込み関数
Apache Spark には、上位の関数を含む配列型などの複合型を操作するための関数が組み込まれています。
次のノートブックは、Apache Spark 組み込み関数を示しています。