Python tarefa de script para Job

Use a tarefa de scriptPython para executar um arquivo Python.

Configurar uma tarefa de script Python

Antes de começar, o senhor deve upload o script Python em um local acessível ao usuário que estiver configurando o Job. Databricks recomenda o uso de arquivos workspace para scripts Python. Consulte O que são arquivos workspace?

nota

A Job UI exibe opções dinamicamente com base em outras definições configuradas.

Databricks não recomenda o armazenamento de códigos ou o uso de dados DBFS root ou montagens. Em vez disso, o senhor pode migrar scripts Python para arquivos ou volumes do workspace ou usar URIs para acessar o armazenamento de objetos na nuvem.

Para iniciar o fluxo de configuração de uma tarefa Python script:

1. Navegue até a tarefa tab na UI de Jobs.
2. No menu suspenso Tipo , selecione Python script.

Configurar a fonte

No menu suspenso Source (Fonte ), selecione um local para o script Python usando uma das seguintes opções.

espaço de trabalho

Use o espaço de trabalho para configurar um script Python armazenado usando arquivos workspace.

1. Clique no campo Caminho . A caixa de diálogo Select Python File (Selecionar arquivo Python ) é exibida.
2. Navegue até o script Python, clique para destacar o arquivo e clique em Confirm (Confirmar ).

nota

O senhor pode usar essa opção para configurar uma tarefa em um script Python armazenado em uma pasta Git do Databricks. Databricks recomenda o uso da opção de provedorGit e de um repositório Git remoto para a versão do ativo agendada com o Job.

DBFS/S3

Use DBFS/S3para configurar um script Python armazenado em um volume, em um local de armazenamento de objetos na nuvem ou no DBFS root.

A Databricks recomenda o armazenamento de scripts Python em volumes do Unity Catalog ou no armazenamento de objetos na nuvem.

No campo Path (Caminho ), digite o URI do seu script Python. Por exemplo, /Volumes/path/to/script.py ou s3://bucket-name/path/to/script.py.

Provedor Git

Use o provedor Git para configurar um script Python armazenado em um repositório Git remoto.

As opções exibidas pela interface do usuário dependem do fato de o senhor já ter ou não configurado um provedor Git em outro lugar. Somente um repositório remoto Git pode ser usado para todas as tarefas em um trabalho. Consulte Use Git with Job.

O campo Caminho aparece depois que você configura uma referência do git.

Digite o caminho relativo para o seu script Python, como etl/bronze/ingest.py.

important

Ao inserir o caminho relativo, não comece com / ou ./. Por exemplo, se o caminho absoluto para o código Python que o senhor deseja acessar for /etl/bronze/ingest.py, digite etl/bronze/ingest.py no campo Path (Caminho ).

Configurar o site compute e a biblioteca dependente

1. Use a computação para selecionar ou configurar um clustering compatível com a lógica do seu script.
2. Se o senhor usar Serverless compute, use o campo Environment and biblioteca (Ambiente e biblioteca ) para selecionar, editar ou adicionar um novo ambiente. Consulte Configurar o ambiente serverless.
3. Para todas as outras configurações de compute, clique em + Add (Adicionar ) em Dependent biblioteca (Biblioteca dependente ). É exibida a caixa de diálogo Adicionar biblioteca dependente .
   • O senhor pode selecionar uma biblioteca existente ou upload uma nova biblioteca.
   • O senhor só pode usar o biblioteca armazenado em um local compatível com as configurações do site compute. Consulte Suporte à biblioteca Python.
   • Cada biblioteca Source tem um fluxo diferente para selecionar ou carregar uma biblioteca. Ver biblioteca.

Finalizar a configuração do trabalho

1. (Opcional) Configure Parameters como uma lista de strings passadas como argumentos CLI para o script Python. Consulte Configurar parâmetros da tarefa.
2. Clique em Save task (Salvar tarefa ).