Trabalhos com um grande número de tarefas
O senhor pode criar trabalhos que contenham até 1.000 tarefas. Os tópicos a seguir descrevem como resolver problemas específicos que podem surgir com trabalhos grandes que tenham mais de 100 tarefas.
Receber um erro informando que apenas 100 tarefas são permitidas
Se o senhor receber um erro como Resources with more than 100 tasks can only be handled by API 2.2 and above. Your resource has 200 tasks, deverá atualizar o Databricks SDK ou o Databricks CLI.
Veja a seguir as versões mínimas necessárias do SDK, por idioma:
Idioma do SDK | Versão |
|---|---|
Vá | 0,60,0 |
Python | 0,45,0 |
Java | 0,42,0 |
Para obter informações sobre o uso e a atualização de SDKs, consulte Use SDKs with Databricks.
Sua CLI da Databricks deve ser, no mínimo, a versão 0.244.0. Para obter informações sobre a instalação e atualização do Databricks CLI, consulte Instalar ou atualizar o Databricks CLI .
Obtém um erro informando que somente 150 contextos de execução são permitidos
Se o senhor receber um erro como Too many execution contexts are open right now. (Limit set to 150), o trabalho está tentando executar muitas tarefas em um único clustering compute. O senhor deve dividir a tarefa em vários clusters. Para obter mais informações, consulte Configure compute for Job.
A matriz view para execução de trabalhos fica mais lenta ou não mostra a tarefa individual
Se o senhor estiver visualizando um grande número de tarefas na matriz view, por exemplo, um trabalho com 500 tarefas, visualizando 100 execuções de trabalho, a IU poderá ficar mais lenta. Em casos extremos, o site view pode mostrar apenas o resumo de cada trabalho, em vez de detalhes por tarefa.
O senhor pode filtrar sua visualização para um período de tempo mais curto para ver um número menor de tarefas em um único momento. Isso pode aumentar a velocidade e permitir que o site view mostre detalhes de todas as tarefas.
Para obter mais informações sobre a matriz view, consulte view execution for a single Job.