Funções de ordem superior

Databricks fornece primitivos dedicados para manipular matrizes no Apache Spark SQL; isso torna o trabalho com arrays muito mais fácil e conciso e acaba com as grandes quantidades de código clichê normalmente necessárias. As primitivas giram em torno de duas construções de programação funcional: funções de ordem superior e funções anônimas (lambda). Eles trabalham juntos para permitir que você defina funções que manipulam arrays em SQL. Uma função de ordem superior pega uma matriz, implementa como a matriz é processada e qual será o resultado da computação. Ele delega a uma função lambda como processar cada item no array.

Introdução às funções de ordem superior Notebook

Abra o bloco de anotações em outra guia Copiar link para importação

Tutorial de funções de ordem superior Python Notebook

Abra o bloco de anotações em outra guia Copiar link para importação

Funções integradas do Apache Spark

O Apache Spark possui funções integradas para manipular tipos complexos (por exemplo, tipos de matriz), incluindo funções de ordem superior.

O Notebook a seguir ilustra as funções integradas do Apache Spark.

Notebook de funções integradas do Apache Spark

Abra o bloco de anotações em outra guia Copiar link para importação