Pular para o conteúdo principal
Última atualização em

Tarefa de Notebook para Jobs

Use a tarefa de notebook para implantar notebooks Databricks.

Requisitos​

  • Seu notebook deve estar em um local acessível pelo usuário que configura o job.

Configure uma tarefa de Notebook​

nota

A IU de Jobs exibe opções dinamicamente com base em outras configurações.

Para iniciar o fluxo para configurar uma Notebook tarefa:

  1. Navegue até a tab de Tarefas na IU de Jobs.
  2. Clique Ícone de adição. em **Adicionar tarefa**.
  3. Insira um nome no campo Nome da tarefa .
  4. No menu suspenso Tipo , selecione Notebook.

Configure a fonte​

No menu suspenso **Source**, selecione um local para o notebook usando uma das seguintes opções.

workspace​

Use o **Workspace** para configurar um Notebook armazenado no workspace, concluindo os seguintes passos:

  1. Clique no campo **Caminho**. A caixa de diálogo **Selecionar Notebook** será exibida.
  2. Navegue até o notebook, clique para realçar o arquivo e clique em Confirmar .
nota

Você pode usar esta opção para configurar uma tarefa para um Notebook armazenado em uma pasta Git do Databricks. O Databricks recomenda o uso da opção de **provedor Git** e de um repositório Git remoto para versionar ativos agendados com jobs.

Provedor do Git​

Utilize o **Provedor Git** para configurar um notebook em um repositório Git remoto.

As opções exibidas pela UI dependem se um provedor Git já foi configurado em outro lugar. Apenas um repositório Git remoto pode ser usado para todas as tarefas em um Job. Veja Usar Git com Jobs do Lakeflow.

importante

Notebooks criados por Jobs do LakeFlow que são executados a partir de repositórios Git remotos são efêmeros e não podem ser usados para o acompanhamento de execuções, experimentos ou modelos do MLflow. Ao criar um Notebook a partir de um Job, use um experimento MLflow de workspace (em vez de um experimento MLflow de Notebook) e chame mlflow.set_experiment("/path/to/experiment") no Notebook de workspace antes de executar qualquer código de acompanhamento do MLflow. Para obter mais detalhes, consulte Evite a perda de dados em experimentos do MLflow.

O campo Caminho aparece depois que você configura uma referência Git.

Digite o caminho relativo para o seu notebook, como etl/bronze/ingest.py.

importante

Ao inserir o caminho relativo, não pode começar com / nem ./. Por exemplo, se o caminho absoluto para o Notebook que você deseja acessar for /etl/bronze/ingest.py, insira etl/bronze/ingest.py no campo Caminho .

Configure o compute e as bibliotecas dependentes​

nota

É possível selecionar um SQL warehouse como o compute para uma tarefa de notebook somente quando o notebook for escrito inteiramente em SQL e SQL estiver definido como seu idioma default. Se o Notebook usar outro idioma default ou misturar idiomas, selecione um cluster ou outro compute compatível.

  1. Utilize **Compute** para selecionar ou configurar um cluster que suporte a lógica em seu notebook.
  2. Se você usa Serverless compute, instale bibliotecas diretamente no notebook usando o painel Ambiente ou %pip install. Consulte Configurar ambiente serverless.
  3. Para todas as outras configurações de compute, clique em Ícone de adição. Adicionar em Bibliotecas dependentes . A caixa de diálogo Adicionar biblioteca dependente aparece.
    • O usuário pode selecionar uma biblioteca existente ou fazer upload de uma nova biblioteca.
    • Só é possível usar bibliotecas armazenadas em um local compatível com suas configurações de compute. Consulte Suporte à biblioteca Python.
    • Cada Fonte da biblioteca tem um fluxo diferente para selecionar ou fazer upload de uma biblioteca. Consulte Instalar bibliotecas.

Finalizar configuração do job​

  1. (Opcional) Configure **Parâmetros** como pares key-value que podem ser acessados no Notebook dbutils.widgets usando. Veja Configurar parâmetros da tarefa.
  2. (Opcional) Para configurar novas tentativas, limites de duração de execução ou backlog de transmissão, ou notificações, consulte configurações avançadas de tarefa.
  3. Clique em Salvar tarefa .

Para editar, clonar, desabilitar ou excluir esta tarefa, consulte Configurar e editar tarefas no Lakeflow Jobs.

Preparação de dados visuais​

A **preparação de dados visuais** no menu suspenso **Tipo** de **tarefa** cria uma tarefa de Notebook para um arquivo de preparação de dados visuais. Você cria esses arquivos em uma tela visual no Lakeflow Designer, que salva cada um como um Notebook chamado <name>.designer.ipynb. Para executar um como um Job, adicione uma tarefa Notebook e selecione seu arquivo .designer.ipynb como fonte. See Lakeflow Designer.

Limitações​

A saída total da célula do Notebook (a saída combinada de todas as células do Notebook) está sujeita a um limite de tamanho de 30 MB. Além disso, a saída de células individuais está sujeita a um limite de tamanho de 8 MB. Se a saída total da célula exceder 30 MB de tamanho, ou se a saída de uma célula individual for maior que 8 MB, a execução será cancelada e marcada como falha.

Se precisar de ajuda para encontrar células próximas ou além do limite, execute o notebook em um cluster multiuso e use essa técnica de salvamento automático do notebook.

Nesta página