Funções de ordem superior
A Databricks fornece primitivas dedicadas à manipulação de matrizes no Apache Spark SQL; elas tornam o trabalho com matrizes muito mais fácil e conciso e eliminam as grandes quantidades de código padrão normalmente necessárias. As primitivas giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que o senhor defina funções que manipulam matrizes no SQL. Uma função de ordem superior pega uma matriz, implementa como a matriz é processada e qual será o resultado da computação. Ele delega a uma função lambda como processar cada item na matriz.
Introdução às funções de ordem superior Notebook
Funções de ordem superior tutorial Python Notebook
Apache Spark funções integradas
Apache Spark tem funções integradas para manipular tipos complexos (por exemplo, tipos de matriz), inclusive funções de ordem superior.
O Notebook a seguir ilustra as funções do Apache Spark integrado.