Cronograma de empregos
A linha do tempo do trabalho é um ótimo ponto de partida para entender seu pipeline ou consulta. Ele fornece uma visão geral do que estava sendo executado, quanto tempo levou cada etapa e se houve alguma falha ao longo do caminho.
Como abrir a linha do tempo do trabalho
No site Spark UI, clique em Jobs and Event Timeline , conforme destacado em vermelho na captura de tela a seguir. Você verá a linha do tempo. Este exemplo mostra o driver e o executor 0 sendo adicionados:
O que procurar
As seções abaixo explicam como ler a linha do tempo do evento para descobrir a possível causa do seu problema de desempenho ou custo. Se o senhor notar alguma dessas tendências em sua linha do tempo, o final de cada seção correspondente contém um link para um artigo que fornece orientação.
Trabalho falho ou executor falho
Aqui está um exemplo de um trabalho com falha e um executor removido, indicado por um status vermelho, na linha do tempo do evento.
Se o senhor vir um trabalho com falha ou um executor com falha, consulte Remoção de trabalho ou executor com falha.
Lacunas na execução
Procure intervalos de um minuto ou mais, como neste exemplo:
Este exemplo tem várias lacunas, algumas das quais são destacadas pelas setas vermelhas. Se você vê lacunas na sua linha do tempo, elas são de um minuto ou mais? São esperadas breves lacunas à medida que as coordenadas do motorista funcionam. Se o senhor tiver lacunas mais longas, elas estão no meio de um pipeline? Ou esse agrupamento está em constante funcionamento e, portanto, as lacunas são explicadas pela pausa na atividade? Talvez o senhor consiga determinar isso com base no horário em que sua carga de trabalho começa e termina.
Se o senhor observar longos intervalos inexplicáveis no meio de um pipeline, consulte Gaps between Spark Job.
Trabalho longo
A linha do tempo é dominada por um ou alguns trabalhos longos? Esse longo trabalho seria algo a ser investigado. No exemplo a seguir, a carga de trabalho tem um Job que é muito mais longo do que os outros. Esse é um bom alvo para investigação.
Clique no trabalho mais longo para se aprofundar. Para obter informações sobre como investigar esse estágio longo, consulte Diagnosticando um estágio longo em Spark.
Muitos trabalhos pequenos
O que estamos procurando aqui é uma linha do tempo dominada por pequenos trabalhos. Pode ser mais ou menos assim:
Observe todas as pequenas linhas azuis. Cada um deles é um pequeno trabalho que levou alguns segundos ou menos.
Se a sua linha do tempo for principalmente de trabalhos pequenos, consulte Many small Spark Job.
Nenhuma das opções acima
Se sua linha do tempo não se parecer com nenhuma das acima, a próxima etapa é identificar o trabalho mais longo. Classifique o trabalho por duração e clique no link na descrição do trabalho mais longo:
Quando o senhor estiver na página do trabalho mais longo, informações adicionais sobre como investigar esse estágio longo estão em Diagnosticando um estágio longo em Spark.