Funções de ordem superior
A Databricks fornece primitivas dedicadas para manipular matrizes no Apache Spark SQL. Essas primitivas tornam o trabalho com matrizes mais fácil e conciso e não exigem grandes quantidades de código padronizado. As primitivas giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que o senhor defina funções que manipulam matrizes no SQL. Uma função de ordem superior pega uma matriz, implementa como essa matriz é processada e determina o resultado da computação. Ele delega a uma função lambda como processar cada item na matriz.
Introdução às funções de ordem superior Notebook
Funções de ordem superior tutorial Python Notebook
Apache Spark funções integradas
Apache Spark tem funções integradas para manipular tipos complexos, como tipos de matriz, incluindo funções de ordem superior.
O Notebook a seguir ilustra as funções do Apache Spark integrado.