Identificando uma leitura cara no DAG do Spark

Como chegar ao DAG

Supondo que o senhor esteja olhando para um site caro Job, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver que o ID do estágio é 194:

Agora precisamos acessar o SQL DAG. Role a tela até a parte superior da pági na Job e clique em Associated SQL Query (Consulta associada):

Agora o senhor deve ver o DAG. Caso contrário, role a tela um pouco e o senhor a verá:

Em alguns casos, o senhor pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, procure a ID do estágio que o senhor anotou:

Em seguida, o senhor precisa procurar o nó "Scan". Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Em alguns casos, talvez seja necessário clicar ou passar o mouse sobre o nó para obter a localização dos dados que o senhor está lendo.