Identificando uma leitura cara no DAG do Spark

Chegando ao DAG

Supondo que o senhor esteja analisando um trabalho caro, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver que o Stage ID é 194:

Agora precisamos acessar o SQL DAG. Role a tela até a parte superior da página do trabal ho e clique em Associated SQL Query (Consulta associada ):

Agora você deve ver o DAG. Caso contrário, role um pouco e você verá:

Em alguns casos, você pode acompanhar o DAG e ver de onde vêm os dados. Em outros casos, procure o Stage ID que você anotou:

Em seguida, você precisa procurar o nó “Scan”. Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Em alguns casos, talvez seja necessário clicar ou passar o mouse sobre o nó para obter a localização dos dados que você está lendo.