Funções de ordem superior
A Databricks fornece primitivos dedicados para manipular matrizes no Apache Spark SQL. Essas primitivas tornam o trabalho com matrizes mais fácil e conciso e não exigem grandes quantidades de código padronizado. As primitivas giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que o senhor defina funções que manipulam matrizes no SQL.
Introdução
Uma função de ordem superior pega uma matriz, implementa como essa matriz é processada e determina o resultado da computação. Ele delega a uma função lambda como processar cada item na matriz.
O Notebook a seguir apresenta ao senhor essas funções.
Funções de ordem superior tutorial Python Notebook
Introdução às funções de ordem superior Notebook
Apache Spark funções integradas
Apache Spark tem funções integradas para manipular tipos complexos, como tipos de matriz, incluindo funções de ordem superior.
O Notebook a seguir ilustra as funções do Apache Spark integrado.