execução shell comando em Databricks terminal web

O terminal da Web da Databricks oferece uma maneira conveniente e altamente interativa de executar comandos do shell e usar editores, como o Vim ou o Emacs, no nó do driver do Spark. Diferentemente do uso do SSH, o terminal da Web pode ser usado por muitos usuários em um único computador e não requer a configuração de uma chave. Exemplos de uso do terminal da Web incluem o monitoramento do uso de recursos e a instalação do Linux pacote.

O terminal Web está desabilitado por default para todos os usuários workspace .

A ativação do Docker Container Services desativa o terminal da web.

Aviso

A Databricks faz proxy do serviço de terminal da Web a partir da porta 7681 no driver Spark do site compute. Esse proxy da Web destina-se a ser usado somente com o terminal da Web. Se a porta estiver ocupada quando o compute começar ou se houver algum outro conflito, o terminal da Web poderá não funcionar como esperado. Se outros serviços da Web forem iniciados na porta 7681, os usuários do site compute poderão ser expostos a possíveis explorações de segurança. A Databricks não se responsabiliza por nenhum problema resultante da instalação de software sem suporte em um site compute.

Requisitos

  • O senhor pode anexar a permissão em um compute.

  • Seu Databricks workspace deve ter o terminal da Web ativado.

Inicie o terminal web

O senhor pode iniciar o terminal da Web na página de detalhes compute ou em um site Notebook.

  • Para iniciar o terminal da Web na página de detalhes compute, clique em Apps tab e, em seguida, clique em Web Terminal. Um novo site tab é aberto com a interface de usuário do terminal da Web e o prompt do Bash.

  • Para iniciar o terminal da Web em um Notebook, clique no menu suspenso compute anexado, passe o mouse sobre o compute anexado e clique em Web Terminal. O terminal da Web é aberto em um painel na parte inferior da tela.

    No painel do terminal web do Notebook, você pode usar os botões no canto superior direito do painel para fazer o seguinte:

    • Abra uma nova sessão de terminal em uma nova tab abra uma nova sessão de terminal.

    • Recarregar uma sessão de terminal recarregar sessão do terminal.

    • Feche o painel inferior fechar painel inferior. Para reabrir o painel, clique em reabrir painel inferior na parte inferior da barra lateral direita.

Usar terminal web

No terminal da Web, o senhor pode executar o comando como root dentro do contêiner do nó do driver compute.

Cada usuário pode ter até 100 sessões de terminal web ativas (tab) abertas. as sessões do terminal web parado podem expirar e o aplicativo web do terminal web será reconectado, resultando em um novo processo de shell. Se você quiser manter sua sessão Bash, o Databricks recomenda usar tmux.

Limitações

  • A Databricks não oferece suporte à execução do Spark Job a partir do terminal da Web. Além disso, o terminal da Web da Databricks não está disponível nos seguintes tipos de compute:

    • Compute de jobs

    • compute iniciado com a variável de ambiente DISABLE_WEB_TERMINAL=true definida.

    • compute iniciado com o modo de acesso definido como Compartilhado.

    • compute iniciado com a configuração spark.databricks.pyspark.enableProcessIsolation do Spark definida como true.

  • Há um limite rígido de 12 horas desde o carregamento inicial da página, após o qual qualquer conexão, mesmo que ativa, será encerrada. Você pode refresh o terminal da web para reconectar. Databricks recomenda usar tmux para preservar sua sessão de shell.