Amazon
Web Services
Microsoft Azure
Google Cloud PlatformDatabricks Webターミナルでシェルコマンドを実行する
DatabricksWeb ポータルはCLI 、 コマンドDatabricksCLI などのコマンドライン インターフェイス ( ) でシェル コマンドを実行し、Databricks オブジェクトに対してプログラムでアクションを実行するための便利で高度に対話型の方法を提供します。これは、既存のユーザー インターフェイス (UI) では完全にサポートされていない可能性のある、複数のファイルに対するバッチ操作などの高度なユース ケースに特に役立ちます。
Webターミナルは、 SSHを使用する場合と異なり、キーの設定が不要で、1台のコンピュート上で多くのユーザーが利用できます。
Webポータルを使用すると、次のことができます。
VimまたはEmacsを使用してファイルをすばやく編集します。
htop(クラスター使用量) やnvidia-smi(GPU 使用量) などのコマンドを使用してリソース使用量を監視します。Spark 以外の Python スクリプトを実行します。
mvやmkdirなどのシェルコマンドを使用してファイル操作を実行します。コンピュートにライブラリをインストールして管理します。
Databricks CLI を使用して、Databricks のさまざまな側面を自動化します。
要件
警告
Databricks 、コンピュートのSparkドライバーのポート 7681 から Web ターミナル サービスをプロキシします。 この Web プロキシは、Web ターミナルでのみ使用することを目的としています。 コンピュートの起動時にポートが占有されている場合、または何らかの競合が発生している場合、Web ポータルが期待どおりに動作しない可能性があります。 他の Web サービスがポート 7681 で起動されると、コンピュート ユーザーは潜在的なセキュリティエクスプロイトにさらされる可能性があります。 Databricks 、サポートされていないソフトウェアをコンピュートにインストールしたことに起因する問題については責任を負いません。
Web ターミナルは、すべてのワークスペース ユーザーに対してデフォルトによって無効になっています。 有効にするには、 「Web ターミナルを有効にする」を参照してください。
コンピュートにCan Attach To 。
コンピュートは、 シングル ユーザー または 非分離共有 の アクセス モード を使用する必要があります。
Webターミナルを起動する
コンピュート詳細ページまたは、ポータルからWebターミナルを起動できます。
ノートブックから
ポータルから Web ターミナルを起動するには:
ノートブックをコンピュートに接続します。
ノートブックの右サイドバーの下部にある「下部パネルを開く」アイコンをクリックします。
。または、添付のコンピュート ドロップダウンをクリックし、添付のコンピュートの上にマウスを移動して、 [Web ターミナル]をクリックします。
Web ターミナルは画面下部のパネルで開きます。 パネルの右上にあるボタンを使用すると、次のことができます。
新しいターミナルセッションを新しいタブで
開きます。ターミナルセッション
をリロードします。下部パネル
を閉じます。 パネルを再度開くには、右サイドバーの下部にある をクリックします 。
Webターミナルを使う
Webターミナルでは、コンピュートドライバノードのコンテナ内のrootからコマンドを実行できます。
各ユーザーは、最大 100 個のアクティブな Web ターミナル セッション (タブ) を開くことができます。 アイドル状態の Web ターミナル セッションがタイムアウトし、Web ターミナル Web アプリケーションが再接続され、新しいシェル プロセスが発生する可能性があります。 Bash セッションを保持する場合、Databricks では tmux の使用が推奨されています。
Databricks CLIコマンドを実行します
Web ターミナルを使用してDatabricks CLIコマンドを実行することもできます。 利用可能な CLI は常に最新バージョンであり、認証は現在のユーザーに基づいて行われます。 コンピュートは以下の要件を満たす必要があります。
クラスターには Databricks Runtime 15.0 以降がインストールされている必要があります。
ワークスペースで PrivateLink を有効にしないでください。
Web ターミナルを起動し、次のコマンドを実行して現在のユーザーに関する情報を出力します。
databricks current-user me
Bundle コマンドも利用可能で、これを使用すると、Databricks Databricksワークスペース内の Web ターミナルから直接 アセット バンドル を作成および管理できます。たとえば、デフォルトのテンプレートを使用して単純なバンドルを作成、デプロイ、実行するには、次のようにします。
Web ターミナルのルートから、ワークスペースのホームに移動し、
bundle initを実行します。cd /Workspace/Users/someone@example.com databricks bundle init
デフォルトのテンプレートプロンプトを受け入れ、バンドルディレクトリに移動してデプロイします。
cd my_project databricks bundle deploy
デプロイされた
my_projectバンドルは、Databricks ワークスペース UI で表示できます。最後に、バンドル内のデフォルトのジョブを実行します。
databricks bundle run my_project_job
実行中のジョブを確認するには、[ジョブ 実行]に移動します。
制限事項
Databricks 、Web ターミナルからのSparkジョブの実行をサポートしていません。
Databricks Web Terminal は、次のコンピュート タイプでは使用できません。
ジョブコンピューティング
サーバーレスコンピュート
コンピュートは、
DISABLE_WEB_TERMINAL=true環境変数を設定して起動されました。アクセス モードをSharedに設定してコンピュートが起動されました。
コンピュートは、Spark 構成
spark.databricks.pyspark.enableProcessIsolationをtrueに設定して起動しました。
最初のページ読み込みから 12 時間というハード制限があり、その後、アクティブな接続であっても、すべての接続が終了します。 Web ターミナルを更新して再接続できます。 Databricks では、 tmux を使用してシェル セッションを保持することをお勧めします。
ARM コンピュートリソースは、Web ターミナルを使用して、 Gitフォルダー内のファイルを含むワークスペース ファイルにアクセスすることはできません。
Docker Container Services を有効にすると、Web ターミナルが無効になります。