Pular para o conteúdo principal

Aviso de descontinuação da tarefa de envio do Spark e guia de migração

atenção

A tarefa Spark Submit está obsoleta e aguardando remoção. O uso desse tipo de tarefa não é permitido para novos casos de uso e é fortemente desencorajado para clientes existentes. Consulte Spark Submit (legado) para obter a documentação original deste tipo de tarefa. Continue lendo para obter instruções de migração.

Por que o Spark Submit está sendo descontinuado?​

O tipo de tarefa Spark Submit está sendo descontinuado devido a limitações técnicas e lacunas de recursos que não estão na tarefa JAR Python de script, Notebook ou . Essas tarefas oferecem melhor integração com o recurso Databricks , melhor desempenho e maior confiabilidade.

Medidas de depreciação​

A Databricks está implementando as seguintes medidas em conexão com a descontinuação:

  • Criação restrita : somente usuários que usaram a tarefa Spark Submit no mês anterior, a partir de novembro de 2025, podem criar uma nova tarefa Spark Submit . Se precisar de uma exceção, entre em contato com o suporte da sua account .
  • Avisos de descontinuação da API : solicitações de API que tentam criar ou editar uma tarefa de envio do Spark podem ser rejeitadas aleatoriamente para exibir um aviso de descontinuação. Tente novamente as solicitações com os mesmos parâmetros até que sejam bem-sucedidas.
  • Restrições de versão do DBR : o uso do Spark Submit é restrito às versões existentes do DBR e às versões de manutenção. As versões existentes do DBR com Spark Submit continuarão a receber versões de manutenção de segurança e correção de bugs até que o recurso seja desativado completamente. O DBR 17.3+ e 18.x+ não oferecem suporte a esse tipo de tarefa.
  • Avisos da IU : avisos aparecem em toda a IU Databricks onde as tarefas Spark Submit estão em uso, e as comunicações são enviadas aos administradores workspace em conta dos usuários existentes.

Migrar cargas de trabalho JVM para JAR tarefa​

Para cargas de trabalho JVM , migre sua tarefa Spark Submit para tarefa JAR . JAR tarefa fornece melhor suporte a recursos e integração com Databricks.

Siga estes passos para migrar:

  1. Crie uma nova tarefa JAR em seu trabalho.
  2. Nos parâmetros da tarefa de envio do Spark , identifique os três primeiros argumentos. Eles geralmente seguem este padrão: ["--class", "org.apache.spark.mainClassName", "dbfs:/path/to/jar_file.jar"]
  3. Remova o parâmetro --class .
  4. Defina o nome da classe principal (por exemplo, org.apache.spark.mainClassName) como a classe principal para sua tarefa JAR.
  5. Forneça o caminho para o seu arquivo JAR (por exemplo, dbfs:/path/to/jar_file.jar) na configuração da tarefa JAR.
  6. Copie todos os argumentos restantes da sua tarefa Spark Submit para os parâmetros da tarefa JAR.
  7. executar a tarefa JAR e verificar se ela funciona conforme o esperado.

Para informações detalhadas sobre a configuração JAR tarefa, consulte JAR tarefa.

Migrar cargas de trabalho R​

Se você estiver iniciando um script R diretamente de uma tarefa do Spark Submit , vários caminhos de migração estarão disponíveis.

Opção A: Usar tarefa Notebook​

Migre seu script R para um Databricks Notebook. Notebook tarefa oferece suporte a um conjunto completo de recursos, incluindo dimensionamento automático cluster , e fornece melhor integração com a plataforma Databricks .

Opção B: Bootstrap R scripts de uma tarefa do Notebook​

Use uma tarefa do Notebook para inicializar seus scripts R. Crie um Notebook com o seguinte código e referencie seu arquivo R como um parâmetro Job. Modifique para adicionar parâmetros usados pelo seu script R, se necessário:

R
dbutils.widgets.text("script_path", "", "Path to script")
script_path <- dbutils.widgets.get("script_path")
source(script_path)

Precisar de ajuda?​

Se precisar de ajuda adicional, entre em contato com o suporte da sua account .

Última atualização em