Pular para o conteúdo principal
Última atualização em

Tarefa de script Python para Jobs

Use a tarefa de script Python para executar um arquivo Python.

Requisitos​

  • É preciso fazer o upload do script Python em um local acessível ao usuário que está configurando o job. O Databricks recomenda usar arquivos de workspace para scripts Python. Consulte O que são arquivos de workspace?.

Configure uma tarefa de script Python​

nota

A interface de usuário de jobs exibe opções dinamicamente com base em outras configurações.

A Databricks não recomenda armazenar código ou dados usando DBFS root ou montagens. Em vez disso, você pode migrar scripts Python para arquivos do workspace ou volumes ou usar URIs para acessar o armazenamento de objetos na cloud.

Para iniciar o fluxo para configurar uma tarefa Python script:

  1. Navegue até a tab **Tarefas** na UI de Jobs.
  2. Clique em Ícone de mais. Adicionar tarefa .
  3. Insira um nome no campo Nome da tarefa .
  4. No menu suspenso **Tipo**,Python script selecione.

Configure a fonte​

No menu suspenso Fonte , selecione um local para o script Python usando uma das seguintes opções.

workspace​

Use **Workspace** para configurar um script Python armazenado usando arquivos de workspace.

  1. Clique no campo Caminho . A caixa de diálogo Selecionar arquivo Python aparece.
  2. Navegue até o script Python, clique para realçar o arquivo e clique em **Confirmar**.
nota

É possível usar esta opção para configurar uma tarefa em um script Python armazenado em uma pasta Git do Databricks. A Databricks recomenda usar a opção Provedor Git e um repositório Git remoto para versionar ativos agendados com jobs.

DBFS/GCS​

Use DBFS/GCS para configurar um script Python armazenado em um volume, local de armazenamento de objetos na cloud ou no DBFS root.

O Databricks recomenda armazenar scripts Python em volumes do Unity Catalog ou armazenamento de objetos na cloud.

No campo Caminho , insira o URI para o seu script Python. Por exemplo, dbfs:/path/to/script.py ou gs://bucket-name/path/to/script.py.

Provedor do Git​

Use o provedor Git para configurar um script Python armazenado em um repositório Git remoto.

As opções exibidas pela interface dependem de você já ter ou não configurado um provedor Git em outro lugar. Apenas um repositório Git remoto pode ser usado para todas as tarefas em um Job. Consulte Usar o Git com Jobs do LakeFlow.

O campo **Caminho** aparece depois que você configura uma referência do Git.

Insira o caminho relativo para seu script Python, como etl/bronze/ingest.py.

importante

Ao inserir o caminho relativo, não pode começar com / nem ./. Por exemplo, se o caminho absoluto para o código Python que você deseja acessar for /etl/bronze/ingest.py, insira etl/bronze/ingest.py no campo Caminho .

Configurar compute e bibliotecas dependentes​

  1. Use o **Compute** para selecionar ou configurar um cluster que suporta a lógica em seu script.
  2. Clique em Ícone de mais. Adicionar em Bibliotecas dependentes . A caixa de diálogo Adicionar biblioteca dependente é exibida.
    • Você pode selecionar uma biblioteca existente ou fazer upload de uma nova biblioteca.
    • Você só pode usar bibliotecas armazenadas em um local compatível com suas configurações de compute. Consulte Suporte à biblioteca Python.
    • Cada **Origem da biblioteca** tem um fluxo diferente para selecionar ou fazer upload de uma biblioteca. Consulte Instalar bibliotecas.

Finalizar a configuração do Job​

  1. (Opcional) Configure Parâmetros como uma lista de strings passadas como argumentos de CLI para o script Python. Consulte Configurar parâmetros da tarefa.
  2. (Opcional) Para configurar novas tentativas, duração da execução ou limites de backlog de transmissão, ou notificações, consulte Configurações avançadas de tarefa.
  3. Clique em Salvar tarefa .

Para editar, clonar, desabilitar ou excluir esta tarefa, consulte Configurar e editar tarefas em Jobs do LakeFlow.

Nesta página