Funkcje wyższego rzędu

Usługa Azure Databricks udostępnia dedykowane elementy pierwotne do manipulowania tablicami w usłudze Apache Spark SQL. Te prymitywy ułatwiają i bardziej zwięzłą czynią pracę z tablicami oraz nie wymagają dużych ilości kodu szablonowego. Pierwotne obracają się wokół dwóch konstrukcji programowania funkcjonalnego: funkcji wyższej kolejności i funkcji anonimowych (lambda). Te funkcje współpracują ze sobą, aby umożliwić definiowanie funkcji, które manipulują tablicami w języku SQL.

Wprowadzenie

Funkcja wyższej kolejności przyjmuje tablicę, implementuje sposób przetwarzania tej tablicy i określa wynik obliczeń. Deleguje do funkcji lambda sposób przetwarzania każdego elementu w tablicy.

W poniższych notesach przedstawiono te funkcje.

Samouczek dotyczący funkcji wyższego rzędu w języku Python

Weź notes

Wprowadzenie do notatnika funkcji wyższego rzędu

Weź notes

Wbudowane funkcje platformy Apache Spark

Platforma Apache Spark ma wbudowane funkcje do manipulowania złożonymi typami, takimi jak typy tablic, w tym funkcje wyższego rzędu.

W poniższym notesie przedstawiono wbudowane funkcje platformy Apache Spark.

Notatnik wbudowanych funkcji Apache Spark

Weź notes