Fonctions d'ordre supérieur
Databricks fournit des primitives dédiées pour manipuler les tableaux dans Apache Spark SQL. Ces primitives facilitent et rendent plus concis le travail avec les tableaux et ne nécessitent pas de grandes quantités de code passe-partout. Les primitives s'articulent autour de deux constructions de programmation fonctionnelle : les fonctions d'ordre supérieur et les fonctions anonymes (lambda). Ils fonctionnent ensemble pour vous permettre de définir des fonctions qui manipulent des tableaux en SQL.
Introduction
Une fonction d'ordre supérieur prend un tableau, implémente la façon dont ce tableau est traité et dicte le résultat du calcul. Il délègue à une fonction lambda la manière de traiter chaque élément du tableau.
Les notebooks suivants vous présentent ces fonctions.
Tutoriel de fonctions d'ordre supérieur pour Notebook Python
Introduction au Notebook sur les fonctions d'ordre supérieur
Fonctions intégrées d'Apache Spark
Apache Spark dispose de fonctions intégrées pour manipuler les types complexes, tels que les types de tableau, y compris les fonctions d'ordre supérieur.
Le notebook suivant illustre les fonctions intégrées d'Apache Spark.