Identification d'une lecture coûteuse dans le DAG de Spark

Accéder au DAG

En supposant que vous examiniez un Job coûteux, nous avons d’abord besoin de l’ID de la phase qui effectue la lecture. Ici, nous pouvons voir que l’ID de la phase est 194 :

Nous devons maintenant passer au DAG SQL. Faites défiler vers le haut de la page du Job et cliquez sur Query SQL associée :

Vous devriez maintenant voir le DAG. Sinon, faites défiler un peu et vous devriez le voir :

Dans certains cas, vous pouvez suivre le DAG et voir d'où proviennent les données. Dans d'autres cas, recherchez l'ID de phase que vous avez noté :

Ensuite, vous devez rechercher le nœud « Scan ». Dans ce cas, il est assez simple de voir que nous lisons une table nommée transactions:

Dans certains cas, vous devrez peut-être cliquer sur ou survoler le nœud pour obtenir l'emplacement des données que vous lisez.