Visualize e gerencie a execução Job

Este artigo descreve o recurso disponível na interface do usuário do Databricks para view Job ao qual o senhor tem acesso, view a história da execução de um Job e view detalhes da execução do Job. Para saber como usar a CLI do Databricks para view Job e executar o Job, execute a CLI comandando databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Para saber mais sobre como usar a API de Jobs, consulte a API de Jobs.

Ver Job

Para view a lista de Job aos quais você tem acesso, clique em fluxo de trabalho na barra lateral. A tab Jobs no fluxo de trabalho UI lista informações sobre todos Job disponíveis, como o criador do Job, o gatilho para o Job, se houver, e o resultado da última execução.

Para alterar as colunas exibidas na lista Job , clique em e selecione ou desmarque as colunas.

Você pode filtrar Job na lista de Trabalhos:

Usando palavras-chave. Se você tiver o recurso de aumento de limite Job ativado para esta workspace, a pesquisa por palavras-chave será suportada apenas para os campos de nome, ID Job e tags Job .
Selecionando apenas o Job que você possui.
Selecionando todos os trabalhos que o senhor tem permissão para acessar.
Usando etiquetas. Para pesquisar tags criadas apenas com uma key, digite a key na caixa de pesquisa. Para pesquisar tags criadas com uma key e um valor, você pode pesquisar pela key, pelo valor ou pela key e pelo valor. Por exemplo, para tags com a key department e o valor finance, você pode pesquisar por department ou finance para localizar Job correspondente. Para pesquisar pela key e valor, digite a key e o valor separados por dois pontos; por exemplo, department:finance.

Você também pode clicar em qualquer cabeçalho de coluna para classificar a lista de Job (decrescente ou crescente) por essa coluna. Quando o recurso de aumento de limite Job está ativado, você pode classificar apenas por Name, Job ID ou Created by. A classificação default é por Name em ordem crescente.

Clique Trabalhos Reticências Verticais para acessar ações para o Job, por exemplo, excluir o Job.

Ver a execução de um Job

Você pode view uma lista de execuções atualmente em execução e concluídas recentemente para todos Job aos quais você tem acesso, incluindo execuções iniciadas por ferramentas externas de orquestração, como Apache Airflow ou Azure Data Factory. Para view a lista de execução recente Job :

Clique fluxo de trabalho na barra lateral.
Na coluna Nome , clique em um nome Job . A tab Execução aparece com view em matriz e lista de execuções ativas e concluídas.

A view da matriz mostra um histórico de execução para o Job, incluindo cada tarefa Job .

A linha Duração total da execução da matriz exibe a duração total e o estado da execução. Para view os detalhes da corrida, incluindo o tempo de início, a duração e o status, passe o mouse sobre a barra na linha Duração total da corrida .

Cada célula na linha Tarefas representa uma tarefa e o status correspondente da tarefa. Para view os detalhes de cada tarefa, incluindo o tempo de início, duração, clusters e status, passe o mouse sobre a célula dessa tarefa.

As barras Execução Job e Execução da Tarefa são codificadas por cores para indicar o status da execução. As execuções bem-sucedidas são verdes, as execuções malsucedidas são vermelhas e as execuções ignoradas são rosa. A altura da execução Job individual e as barras de execução da tarefa indicam visualmente a duração da execução.

Se você configurou um tempo de conclusão esperado, a view de matriz exibe um aviso quando a duração de uma execução excede o tempo configurado.

Por default, a view da lista de execução exibe:

A hora de começar a correr.
O identificador de execução.
Se a execução foi acionada por um Job programar ou uma solicitação de API, ou se foi iniciada manualmente.
O tempo decorrido para uma Job em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
Links para os logs do Spark.
O status da execução, Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.
Clique para acessar ações específicas do contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na view da lista de execução, clique em e selecione ou desmarque as colunas.

Para view os detalhes de uma execução Job , clique no link da execução na coluna de horário de início na view da lista de execuções. Para view os detalhes da execução bem-sucedida mais recente deste Job , clique em Ir para a última execução bem-sucedida.

O Databricks mantém um histórico da execução do seu Job por até 60 dias. Se você precisar preservar a execução Job , o Databricks recomenda exportar os resultados antes que eles expirem. Para obter mais informações, consulte Exportar resultados da execução Job .

Exibir detalhes da execução Job

A página Detalhes da execução Job contém a saída Job e links para logs, incluindo informações sobre o sucesso ou falha de cada tarefa na execução Job . Você pode acessar os detalhes da execução Job na tab Execuções da Job . Para view os detalhes da execução Job na tab Execuções , clique no link da execução na coluna de horário de início na view da lista de execuções. Para retornar à tab de execução do Job, clique no valor do Job ID .

Se o Job contiver várias tarefas, clique em uma tarefa para view os detalhes da execução da tarefa, incluindo:

os clusters que executam a tarefa
- a Spark UI para a tarefa
- logs para a tarefa
- métricas para a tarefa

Clique no valor do Job ID para retornar à tab de execução do Job.

Exibir histórico de execução de tarefas

Para view o histórico de execução de uma tarefa, incluindo execuções bem-sucedidas e malsucedidas:

Clique em uma tarefa na página Detalhes da execuçãoJob . A página Detalhes da execução da tarefa é exibida.
Selecione a tarefa executada no menu suspenso executar história.

Ver execução recente Job

Você pode view uma lista de execuções atualmente em execução e concluídas recentemente para todos Job em um workspace ao qual você tem acesso, incluindo execuções iniciadas por ferramentas externas de orquestração, como Apache Airflow ou Azure Data Factory. Para view a lista de execução recente Job :

Clique fluxo de trabalho na barra lateral.
Clique natab Job Execution para exibir a lista Job Execution.

O gráfico de contagem de execução concluída exibe o número de execuções Job concluídas nas últimas 48 horas. Por default, o gráfico exibe a execução Job com falha, ignorada e bem-sucedida. Você também pode filtrar o gráfico para mostrar status de execução específicos ou restringir o gráfico a um intervalo de tempo específico. A guia ExecuçãoJob também inclui uma tabela de execução Job dos últimos 67 dias. Por default, a tabela inclui detalhes sobre execução Job com falha, ignorada e bem-sucedida.

Observação

O gráfico Contagem de execuções concluídas só é exibido quando você clica em De minha propriedade.

Você pode filtrar a contagem de execuções concluídas por status de execução:

Para atualizar o gráfico para mostrar Job atualmente em execução ou aguardando para ser executada, clique em Execuções ativas.
Para atualizar o gráfico para mostrar apenas a execução concluída, incluindo execução com falha, bem-sucedida e ignorada, clique em Execução concluída.
Para atualizar o gráfico para mostrar apenas a execução concluída com êxito nas últimas 48 horas, clique em Execução bem-sucedida.
Para atualizar o gráfico para mostrar apenas a execução ignorada, clique em Execução ignorada. execução são ignorados porque você excedeu o número máximo de execução concorrente em seu workspace ou o Job excedeu o número máximo de execução concorrente especificado pela configuração do Job .
Para atualizar o gráfico para mostrar apenas a execução concluída em um estado de erro, clique em Execução com falha.

Quando você clica em qualquer um dos botões de filtro, a lista de execução na tabela de execução também é atualizada para mostrar apenas a execução Job que corresponde ao status selecionado.

Para limitar o intervalo de tempo exibido no gráfico Contagem de execução concluída , clique e arraste o cursor no gráfico para selecionar o intervalo de tempo. O gráfico e a tabela de execução são atualizados para exibir a execução apenas do intervalo de tempo selecionado.

Por default, a lista de execução na tabela de execução exibe:

A hora de começar a correr.
O nome do Job associado à execução.
O nome de usuário que a execução Job tem.
Se a execução foi acionada por um Job programar ou uma solicitação de API, ou se foi iniciada manualmente.
O tempo decorrido para uma Job em execução no momento ou o tempo total de execução para uma execução concluída. Um aviso será exibido se a duração exceder um tempo de conclusão esperado configurado.
O status da execução, Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling ou Waiting for Retry.
Quaisquer parâmetros para a execução.
Clique para acessar ações específicas do contexto para a execução, por exemplo, interromper uma execução ativa ou excluir uma execução concluída.

Para alterar as colunas exibidas na lista de execução, clique em e selecione ou desmarque as colunas.

A tabela dos 5 principais tipos de erros exibe uma lista dos tipos de erros mais frequentes no intervalo de tempo selecionado, permitindo que você veja rapidamente as causas mais comuns de problemas de Job em seu workspace.

Para view os detalhes da execuçãoJob , clique no link na coluna de horário de início da execução. Para view os detalhes Job , clique no nome Job na coluna Job .

Exibir informações de linhagem para um Job

Se Unity Catalog estiver habilitado em seu workspace, você poderá view informações de linhagem para qualquer tabela Unity Catalog em seu fluxo de trabalho. Se as informações de linhagem estiverem disponíveis para o seu fluxo de trabalho, você verá um link com uma contagem de tabelas upstream e downstream no painel de detalhesJob para o seu Job, no painel de detalhes da execuçãoJob para uma execução de Job ou no painel de detalhes da execução da tarefa para uma tarefa correr. Clique no link para mostrar a lista de tabelas. Clique em uma tabela para ver informações detalhadas no Catalog Explorer.

Exportar resultados da execução Job

Você pode exportar resultados de execução Notebook e logs de execução Job para todos os tipos Job .

Exportar resultados de execução Notebook

Você pode persistir a execução Job exportando seus resultados. Para a execução Notebook Job , você pode exportar um Notebook renderizado que pode ser importado posteriormente para o seu workspace do Databricks.

Para exportar resultados de execução Notebook para um Job com uma única tarefa:

Na página Detalhes Job , clique no link view detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias) .
Clique em Exportar para HTML.

Para exportar resultados de execução Notebook para um Job com várias tarefas:

Na página Detalhes Job , clique no link view detalhes da execução na coluna Executar da tabela Execuções concluídas (últimos 60 dias) .
Clique na tarefa Notebook para exportar.
Clique em Exportar para HTML.

Exportar logs de execução Job

Você também pode exportar os logs da execução do seu Job . Você pode configurar seu trabalho para entregar logs automaticamente ao DBFS ou S3 por meio da API Job. Veja o objeto new_cluster.cluster_log_conf no corpo da solicitação passado para as operações Criar um novo Job (POST /jobs/create) na API Jobs.