Python tarefa de script para Job

Use a tarefa de scriptPython para executar um arquivo Python.

Configurar uma tarefa de script Python

Antes de começar, o senhor deve upload o script Python em um local acessível ao usuário que estiver configurando o Job. Databricks recomenda o uso de arquivos workspace para scripts Python. Consulte O que são arquivos de espaço de trabalho?

Observação

A Job UI exibe opções dinamicamente com base em outras definições configuradas.

Databricks não recomenda o armazenamento de códigos ou o uso de dados DBFS root ou montagens. Em vez disso, o senhor pode migrar os scripts de Python para arquivos ou volumes de workspace ou usar URIs para acessar o armazenamento de objetos de cloud.

Para iniciar o fluxo de configuração de uma tarefa Python script:

  1. Navegue até a tarefa tab na UI de Jobs.

  2. No menu suspenso Tipo, selecione Python script.

Configurar a fonte

No menu suspenso Source (Fonte ), selecione um local para o script Python usando uma das seguintes opções.

Workspace

Use o espaço de trabalho para configurar um script Python armazenado usando arquivos workspace.

  1. Clique no campo Caminho. A caixa de diálogo Select Python File (Selecionar arquivo Python ) é exibida.

  2. Navegue até o script Python, clique para destacar o arquivo e clique em Confirm (Confirmar).

Observação

O senhor pode usar essa opção para configurar uma tarefa em um script Python armazenado em uma pasta Git do Databricks. Databricks recomenda o uso da opção de provedorGit e um repositório Git remoto para a versão ativa agendada com o Job.

DBFS/S3

Use DBFS/S3para configurar um script Python armazenado em um volume, no local de armazenamento de objetos cloud ou no DBFS root.

Databricks recomenda armazenar os scripts Python em volumes Unity Catalog ou no armazenamento de objetos cloud.

No campo Path (Caminho ), digite o URI do seu script Python. Por exemplo, /Volumes/path/to/script.py ou s3://bucket-name/path/to/script.py.

Provedor Git

Use o provedor Git para configurar um script Python armazenado em um repositório Git remoto.

As opções exibidas pela interface do usuário dependem do fato de o senhor já ter ou não configurado um provedor Git em outro lugar. Apenas um repositório Git remoto pode ser usado para todas as tarefas em um trabalho. Consulte Use Git with Job.

O campo Caminho aparece depois que você configura uma referência do git.

Digite o caminho relativo para seu script Python, como etl/bronze/ingest.py.

Importante

Ao inserir o caminho relativo, não comece com / ou ./. Por exemplo, se o caminho absoluto para o código Python que o senhor deseja acessar for /etl/bronze/ingest.py, digite etl/bronze/ingest.py no campo Path (Caminho ).

Configurar o site compute e a biblioteca dependente

  1. Use o compute para selecionar ou configurar um cluster que suporte a lógica do seu script.

  2. Se o senhor usar Serverless compute, use o campo Environment and biblioteca (Ambiente e biblioteca ) para selecionar, editar ou adicionar um novo ambiente. Consulte Instalar dependências do Notebook.

  3. Para todas as outras configurações de compute, clique em + Add (Adicionar ) em Dependent biblioteca (Biblioteca dependente). É exibida a caixa de diálogo Adicionar biblioteca dependente.

    • O senhor pode selecionar uma biblioteca existente ou upload uma nova biblioteca.

    • O senhor só pode usar o biblioteca armazenado em um local compatível com as configurações do site compute. Consulte Suporte à biblioteca Python.

    • Cada biblioteca Source tem um fluxo diferente para selecionar ou carregar uma biblioteca. Ver biblioteca.

  1. Use o compute para selecionar ou configurar um cluster que suporte a lógica do seu script.

  2. Clique em + Add (Adicionar ) em Dependent biblioteca (Biblioteca dependente). É exibida a caixa de diálogo Adicionar biblioteca dependente.

    • O senhor pode selecionar uma biblioteca existente ou upload uma nova biblioteca.

    • O senhor só pode usar o biblioteca armazenado em um local compatível com as configurações do site compute. Consulte Suporte à biblioteca Python.

    • Cada biblioteca Source tem um fluxo diferente para selecionar ou carregar uma biblioteca. Ver biblioteca.

Finalizar a configuração do trabalho

  1. (Opcional) Configure Parameters como uma lista de strings passadas como argumentos CLI para o script Python. Consulte Configurar parâmetros da tarefa.

  2. Clique em Save task (Salvar tarefa).