Identificando uma leitura cara no DAG do Spark
Chegando ao DAG
Supondo que o senhor esteja analisando um trabalho caro, primeiro precisamos do ID do estágio que está fazendo a leitura. Aqui podemos ver que o Stage ID é 194:
Agora precisamos acessar o SQL DAG. Role a tela até a parte superior da página do trabal ho e clique em Associated SQL Query (Consulta associada ):
Agora você deve ver o DAG. Caso contrário, role um pouco e você verá:
Em alguns casos, você pode acompanhar o DAG e ver de onde vêm os dados. Em outros casos, procure o Stage ID que você anotou:
Em seguida, você precisa procurar o nó “Scan”. Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions
:
Em alguns casos, talvez seja necessário clicar ou passar o mouse sobre o nó para obter a localização dos dados que você está lendo.