Azure Databricks는 Apache Spark SQL에서 배열을 조작하기 위한 전용 기본 형식을 제공합니다. 이러한 기본 형식을 사용하면 배열을 더 쉽고 간결하게 사용할 수 있으며 많은 양의 상용구 코드가 필요하지 않습니다. 기본 형식은 고차 함수와 익명(람다) 함수라는 두 가지 함수 프로그래밍 구문을 중심으로 진행됩니다. 이러한 작업은 함께 작동하여 SQL 배열을 조작하는 함수를 정의할 수 있습니다.
소개
상위 함수는 배열을 사용하고, 해당 배열이 처리되는 방식을 구현하고, 계산 결과를 지시합니다. 배열의 각 항목을 처리하는 방법을 람다 함수에 위임합니다.
다음 노트북에서는 이러한 함수들을 소개합니다.
고차 함수 자습서 Python Notebook
고차 함수 노트북에 대한 소개
Apache Spark 기본 제공 함수
Apache Spark에는 상위 함수를 포함하여 배열 형식과 같은 복합 형식을 조작하기 위한 기본 제공 함수가 있습니다.
다음 Notebook에서는 Apache Spark의 기본 제공 함수를 보여 줍니다.