Funções de ordem superior

O Azure Databricks fornece primitivas dedicadas para manipular matrizes no Apache Spark SQL. Essas primitivas tornam o trabalho com arrays mais fácil e conciso e não exigem grandes quantidades de código clichê. Os primitivos giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que você defina funções que manipulam matrizes em SQL.

Introdução

Uma função de ordem superior pega uma matriz, implementa como essa matriz é processada e dita o resultado da computação. Ele delega a uma função lambda como processar cada item na matriz.

Os blocos de notas seguintes apresentam-lhe estas funções.

Tutorial de funções de ordem superior Python notebook

Obter caderno

Introdução ao notebook de funções de ordem superior

Obter caderno

Funções integradas do Apache Spark

O Apache Spark tem funções integradas para manipular tipos complexos, como tipos de matriz, incluindo funções de ordem superior.

O notebook a seguir ilustra as funções integradas do Apache Spark.

Bloco de notas de funções incorporadas do Apache Spark

Obter caderno