Pular para o conteúdo principal
Última atualização em

Spark Submit (legado, obsoleto, remoção planejada para meados de 2026)

O tipo de tarefa **Envio Spark** é um padrão legado para configurar JARs como tarefas.

atenção

A tarefa de Envio do Spark está obsoleta e com remoção pendente em meados de 2026. O uso deste tipo de tarefa não é permitido para novos casos de uso e é fortemente desencorajado para clientes existentes. O Databricks recomenda usar a tarefa JAR em vez disso para cargas de trabalho JVM. Consulte tarefa JAR para jobs.

Limitações​

  • Você pode executar tarefas de envio do spark somente em novos clusters.
  • Você deve fazer upload do seu arquivo JAR para um local ou repositório Maven compatível com sua configuração de compute. Consulte suporte a bibliotecas Java e Scala.
  • Não é possível acessar arquivos JAR armazenados em volumes.
  • O Spark-submit não oferece suporte ao autoscale de clusters. Para saber mais sobre escalonamento automático, consulte Escalonamento automático de cluster.
  • Spark-submit não oferece suporte à terminação automática de cluster. Aplicações Spark iniciadas utilizando Spark-submit devem chamar explicitamente System.exit quando forem concluídas.
  • O Spark-submit não é compatível com a referência das Utilidades do Databricks (dbutils). Para usar as Utilidades do Databricks, use tarefas JAR em vez disso.
  • Se você usar um cluster habilitado para Unity Catalog, o spark-submit será suportado somente se o cluster usar o modo de acesso dedicado. O modo de acesso padrão não é suportado. Consulte Modos de acesso.
  • Job de transmissão estructurada nunca deve ter o máximo de execução concorrente definido como maior que 1. Jobs de transmissão devem ser configurados para serem executados utilizando a expressão cron "* * * * * ?" (a cada minuto). Como uma tarefa de transmissão é executada continuamente, ela sempre deve ser a tarefa final em um Job.

Configurar uma tarefa de envio do Spark​

Adicione uma tarefa Spark Submit na tab Tarefas na interface do usuário de Jobs, fazendo o seguinte:

  1. Clique Ícone de mais. em **Adicionar tarefa**.

  2. Insira um nome no campo Nome da tarefa .

  3. No menu suspenso Type , selecione Spark Submit.

  4. Use o **Compute** para configurar um cluster que ofereça suporte à lógica da sua tarefa.

  5. Use a caixa de texto **Parâmetros** para fornecer todos os argumentos e configurações necessárias para executar sua tarefa como um array de strings JSON.

    • Os primeiros três argumentos são usados para identificar a classe principal a ser executada em um JAR em um caminho especificado, conforme o exemplo a seguir:

      JSON
      ["--class", "org.apache.spark.mainClassName", "dbfs:/Filestore/libraries/jar_path.jar"]

    • Você não pode substituir as configurações master, deploy-mode e executor-cores configuradas pelo Databricks.

    • Use --jars e --py-files para adicionar bibliotecas Java, Scala e Python dependentes.

    • Use --conf para definir as configurações do Spark.

    • Os argumentos --jars, --py-files, --files oferecem suporte a caminhos DBFS e S3.

    • Por default, o job de submit do Spark usa toda a memória disponível, excluindo a memória reservada para os serviços da Databricks. É possível definir --driver-memory e --executor-memory para um valor menor para deixar algum espaço para o uso off-heap.

  6. Clique em **Salvar tarefa**.

Nesta página