Funktionen höherer Ordnung

Azure Databricks bietet dedizierte Grundtypen zum Bearbeiten von Arrays in Apache Spark SQL. Diese Grundtypen erleichtern das Arbeiten mit Arrays und sind präziser und erfordern keine großen Mengen von Codebausteinen. Die Primitive beruhen auf zwei funktionalen Programmierkonstrukten: Funktionen höherer Ordnung und anonymen (Lambda-)Funktionen. Dank ihres Zusammenspiels können Sie Funktionen definieren, die Arrays in SQL bearbeiten.

Einleitung

Eine Funktion mit höherer Reihenfolge verwendet ein Array, implementiert, wie dieses Array verarbeitet wird, und bestimmt das Berechnungsergebnis. Sie delegiert an eine Lambdafunktion, wie jedes Element im Array verarbeitet wird.

In den folgenden Notizbüchern werden diese Funktionen vorgestellt.

Python-Notebook mit einem Tutorial zu Funktionen höherer Ordnung

Notebook abrufen

Notebook mit einer Einführung in Funktionen höherer Ordnung

Notebook abrufen

In Apache Spark integrierte Funktionen

Apache Spark verfügt über integrierte Funktionen zum Bearbeiten komplexer Typen, z. B. Arraytypen, einschließlich funktionen höherer Reihenfolge.

Im folgenden Notebook werden die in Apache Spark integrierten Funktionen veranschaulicht.

Notebook zu integrierten Apache Spark-Funktionen

Notebook abrufen